Робастные методы непараметрической идентификации и обработки сигналов тема автореферата и диссертации по математике, 01.01.11 ВАК РФ

Ъ <1 1 А 9 Й

, * АКАДЕМИЯ НАУК СССР

ВСЕСОЮЗНЫЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ СИСТЕМНЫХ ИССЛЕДОВАНИЙ

Специализированный совет Д 003.63.02

Иа правах рукописи

ЦЫБАКОВ Александр Борисович

УДК 621.391.1:519.2

РОБАСТНЫЕ МЕТОДЫ НЕПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ И ОБРАБОТКИ СИГНАЛОВ

Специальность 01.01.11 — системный анализ и автоматическое управление

Автореферат

диссертации на соискание ученой степени доктора физико-математических наук

Москва —1991

Работа выполнена п Институте проблем передачи информации АН СССР.

Официальные о и п о и е н г ы:

доктор физико-математических наук, профессор А. А. }Киг-лявский,

доктор физико-математических наук, профессор М. Б. Магнатов,

доктор технических наук, профессор /О. С. Попков.

Ведущая организация — Институт проблем управления АН СССР

Защита состоится «_»__1991 г. п-час.

на заседании специализированного совета Д 003.63.02 Всесоюзного научно-исследовательского института системных исследований по адресу: 117312, г. Москва, проспект С0-летия Октября, д. 9.

С диссертацией можно ознакомиться в библиотеке Всесоюзного института системных исследований АН СССР.

Автореферат разослан «. _»_;-1991 г.

Ученый секретарь специализированного совета доктор физико-математических наук

В. С. Левченко1

• ""-СГ/Т -

''■■"": г /' гЛел

■ _>ссергОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задача идентификации систем является одной из основных в теории системного анализа и автоматического управления. В большинстве работ по теории идентификации предполагается существование параметрической модели системы и, как правило, гауссовское распределение случайных возмущений. Эти предположения являются вполне естественными во многих практических задачах, однако существует ряд случаев, когда их использование неоправданно. Последнее относится к моделям с достаточно общей априорной информацией о функциональной зависимости между входом и выходом системы и к ситуациям, ког- . да предположение о гауссовском распределении случайных помех нарушается из-за наличия определенного количества больших выбросов или по другим причинам. Общая априорная информация о функциональной зависимости может, например, состоять в том, что это функция, обладающая свойствами непрерывности, гладкости, монотонности или выпуклости. При этом параметрическая структура функции не постулируется. Для восстановления таких функциональных зависимостей используются методы непараметрической идентификации. Учет влияния больших выбросов, приводящих к отклонениям от исходной гауссовской модели случайных помех, послужил причиной создания робастных процедур идентификации, нечувствительных к таким отклонениям. Основы теории ро-бастного оценивания параметров и робастной идентификации систем были заложены в работах П.Хубера, Ф.Хампеля, Б.Т.Поляка, Я.З.Цыпкина. Известные методы робастной идентификации относились, в основном, к системам, функциональная структура которых известна с точностью до конечного числа вещественных пара-метров. Методы идентификации непараметрических систем, как прави-лог были линейными (по выходу системы), и потому оказывались чувствительными к большим выбросам помех. В связи с этим большую актуальность как с теоретической, так и с практической точки зрения имеет разработка нелинейных методов непараметрической идентификации, обладающих свойством робастности, исследование свойств сходимости и скорости сходимости нелинейных непараметрических оценок, выбора асимптотически оптимальных нелинейных оценок при заданной априорной информации.

Актуальным является расширение области применения непа-раыетрических методов и разработка робастных непараметрических методов для задач восстановления изображений (т.е. негладких многомерных зависимостей), задач стохастической оптимизации при пассивной схеме наблюдений, задач идентификации динамических систем.

Цель работы - разработка основ теории робастной непараметрической идентификации систем, включая задачи обработки изображений, стохастической оптимизации при пассивной схеме наблюдений, рекуррентной робастной идентификации статических и динамических непараметрических систем.

Методы исследования, использованные в диссертации, относятся к теории автоматического управления, математической ■ статистике, теории оптимизации, теории информации.

Основные научные положения, выносимые на защиту:

- в задачах непараметрической идентификации систем учет априорной информации о распределении случайных возмущений в общем случае приводит к нелинейным методам идентификации, которые обладают свойством робастности по отношению к грубым ошибкам; свойство робастности непараметрических оценок функциональных зависимостей формализовано как робастность по порядку скорости сходимости или как количественная робастность; указаны методы оценивания, обладающие этими свойствами; исследована их сходимость и скорость сходимости, разработаны способы синтеза наилучших методов при заданной априорной информации;

- непараметрическая идентификация статических и динамических систем и решение задач пассивной стохастической оптимизации может осуществляться с помощью простых и эффективных рекуррентных процедур; предложен класс таких процедур, основанный на идее ядерного, оценивания и включающий нелинейные алгоритмы, обладающие свойством робастности; исследована сходимость и скорость сходимости этих процедур;

- получены минимаксные нижние границы, определяющие потенциальные возможности произвольных методов непараметрической иден тификации и стохастической оптимизации; указаны рекуррентные алгоритмы, достигающие этих границ по порядку точности; дана

полная классификация оптимальных порядков скорости сходимости для задачи стохастической оптимизации^дана непараметрическая постановка задачи обработки изображений и указаны оптимальные по порядку скорости сходимости методы оценивания изображений, выделения контуров и квантования изображений по уровню; показано, что в этой задаче и в ряде других задач непараметрической идентификации линейные методы не являются оптимальными по порядку скорости сходимости.

Научная новизна результатов работы состоит в следующее.

1. Предложены оценки типа максимума правдоподобия для идентификации непараметрической функциональной зависимости между входом и выходом системы. Исследована сходимость и скорость сходимости оценок в различных метриках. При общей априорной информации о распределении помех доказана оптимальность скорости сходимости оценок в ¡-^ с точностью до неизвестной абсолютной постоянной.

2. Доказана асимптотическая оптимальность широкого класса критериев выбора порядка модели при непараметрической идентификации, включающего критерии Акаике, Меллоуза, Райса

и др.. Показана асимптотическая эквивалентность критериев из рассматриваемого класса. Установлено, что адаптивные нопара-летрические оценки, получаемые с помощью таких критериев, оптимальны по порядку скорости сходимости одновременно на всех «лассах гладких оцениваемых функций равномерно по показателю ' падкости.

3. Исследованы асимптотические свойства робастного мето-(а локальной аппроксимации произвольного порядка: сходность необходимые и достаточные условия), скорость сходимости, поточечная асимптотическая нормальность. Изучена количественная юбастность оценок метода локальной аппроксимации и указан ыбор характеристик метода, обеспечивающий оптимизацию асимп-отических констант скорости сходимости. Доказаны поточечная ходимость и асимптотическая нормальность совместных робастных ценок функции регрессии и масштабирующей функции. Предложен етод построения локально-адаптивных непараметрических оценок, симптотически эквивалентных оптимальной ядерной оценке.

4. Предложены рекуррентные алгоритмы робастной непараметрической идентификации статических и динамических систем. Исследована сходимость и скорость сходимости алгоритмов. Доказана оптимальность алгоритмов по порядку скорости сходимости.

5. Предложены рекуррентные алгоритмы стохастической оптимизации в схеме пассивного эксперимента для трех основных задач: оценивание корня уравнения регрессии, оценивание точки минимума функции, оценивание моды плотности распределения вероятностей. Найдены минимаксные нижние границы скорости сходимости произвольных оценок в этих задачах для многомерного случая и любого показателя гладкости неизвестной функции. Указан способ выбора характеристик алгоритмов, обеспечивающих их асимптотическую оптимальность по порядку скорости сходимости.

6. Предложен нелинейный алгоритм пассивной стохастической аппроксимации в задаче оценки корня регрессии. Исследована точная асимптотика среднеквадратичной ошибки алгоритма и проведена оптимизация характеристик алгоритма, обеспечивающая максимальную асимптотическую константу скорости сходимости. Изучена количественная робастность алгоритма.

7. Получена минимаксная нижняя граница точности поисковых многомерных алгоритмов стохастической оптимизации и найдены рекуррентные алгоритмы, достигающие этой границы по порядку точности при любом показателе гладкости минимизируемой функции. Таким образом, дана полная классификация оптимальных порядков скорости сходимости для задач стохастической оптимизации при активной и пассивной схеме эксперимента.

8. Дана постановка задач оценивания негладких изображениях и передачи квантованных изображений как задач непараметрической идентификации. Получены нижние границы, определяющие потенциальные возможности произвольных методов оценивания изображений, выделения контуров и квантования по уровню. Найдены оптимальные методы, достигающие этих нижних границ по порядку скорости сходимости.

9. Доказаны нижние границы для произвольных линейных оценок,' показывающие, что в ряде задач непараметрической идентификации оптимальные порядки скорости сходимости даже

при гауссовском распределении помех могут быть достигнуты только на нелинейных оценках.

Практическая ценность и реализация результатов работы. Полученные в диссертации результаты позволяют синтезировать алгоритмы идентификации широкого класса непараметрических систем при неполной априорной информации о распределении случайных помех. Предложенные рекуррентные алгоритмы просты в реализации и удобны для использования на практике. Результаты диссертации были применены при синтезе адаптивной системы управления отжигом на Новолипецком металлургическом комбинате, при оценке физического эффекта по активным воздействиям на слоистые облака и туманы, при разработке методов интерпретации результатов эксперимента по передаче сигналов по гидроакустическому каналу и в ряде других прикладных задач.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на 1У Всесоюзной школе-семинаре по непараметрическим и робастным методам статистики в кибернетике (Томск, 1983), на Всесоюзном совещании по теории адаптивных систем (Ленинград, 1983), на У1 Международном симпозиуме по теории информации (Ташкент, 1984), на 1У и У Международных вильнюсских конференциях по теории вероятностей и математической статистике (Вильнюс, 1985, 1969), на Ш Всесоюзной школе по адаптивным системам (Звенигород, 1986), на I Всемирном конгрессе общества теории вероятностей и математической статистики им^ Бернулли (Ташкент, 1986), на школе-коллоквиуме по теории вероятностей и математической статистике (Бакуриани, 1987), на Советско-французском семинаре по • прикладному многомерному статистическому анализу (Суздаль, 1987), на 11-ой Пражской конференции по теории информации, статистическим решающим функциям и случайным процессам (Прага, 1990), а также на научных семинарах ИППИ АН СССР, МИАН, ЛОМИ, ИПУ, ЦЭМИ АН СССР, МГУ, ЛПИ.

Публикации. Основное содержание диссертации опубликовано в 28 статьях.

Структура и объем работы. Диссертация состоит из введения, и 6 глав основного текста, изложенных на 283 страницах, списка литературы из 248 наименований и приложения.

СОДЕРЖАНИЕ РАБОТЫ

Во введении поясняется актуальность темы диссертации, формулируется цель исследования, определяется научная новизна и практическая ценность работы.

В главе I дается обзор работ по непараметрической идентификации систем, описываются применения непараметрической идентификации в системах управления, приводятся основные понятия теории робастности и формулируется задача робастной непараметрической идентификации.

Пусть вход.X и выход у дискретной системы при отсутствии помех связаны соотношением ^ = ^ . Считается, что X - вектор, принадлежащий N -мерному евклидову пространству (Iы , у. - скалярный выход системы. Рассматривается задача оценивания функции £ по наблюдениям вида ( , ), где X^ - случайный (вообще говоря) входной вектор системы в -¿-ый момент времени и у. -'искаженный случайной помехой выход системы в г-ый момент времени.

В задачах параметрической идентификации предполагается, что восстанавливаемая зависимость имеет вид /(¿с)= д (х,с), где %('> ') - известная функция от входа X и конечномерного параметра С . Оцениванию подлежит лишь истинное значение параметра С . Если такое представление для /(эс) априори не известно, то задача идентификации называется непараметрической, и оцениванию подлежит сама функция £ как элемент некоторого функционального класса . В качестве У , например, рассматриваются множество всех измеримых функций, множество всех непрерывных функций, или какие-либо узкие классы функций, определяемые ограничениями на дифференциальные и интегральные свойства . Типовым примером служат классы функций / , дифференцируемых на компакте и имеющих ограниченную

- норму старшей производной. Другой пример дают классы монотонных или выпуклых функций £ .

Наиболее разработанными являются линейные методы непараметрической идентификации, исходной посылкой для которых служит предположение о том, что условное математическое ожидание М { У; I = ~ { (*) ' Линейная непараметрическая оценка функции £ имеет вид

! (х) = А. Ы . (х.х. ... х„) иГа ' г—^ ги, ^ ' 11'"> IX' ¿ъ} х~л

где ^ ~ некоторые весовые функции. При соответствующем пи-боре весовых функций 13 качестве получаются различные

известные непарамстричсские оценки регрессии (ядерные, проекционные, сплайн-оценки и др.). Обзор этих оценок дается в § 2. Также там перечисляются возможные постановки задачи не-парамстрической идентификации систем (идентификация статического объекта, идентификация динамического объекта с конечной длительностью переходного процесса, идентификация общих динамических объектов и др.). Модель динамического объекта, рассматриваемая в диссертации, описывается соотношение»

(Я ) V = ( (у. . V ■ и . и. ) * £ . г-12 ..

где - независимые одинаково распределенные случайные величины, £ - неизвестная функция, которую требуется оценить,

~ скалярный вход системы в г-ый момент времени, к , пг-натуральные числа. Обобщенное входное воздействие имеет вид

'Чс-1 -~'Уь-к'ис-1 >• в § 3 описыва-

ются применения методов непараметрической идентификации для синтеза управлений методом обучения, адаптивного управления и систем экстремального управления. В 5 4 дается обзор основных понятий теории робастного оценивания параметров. Вводятся определения качественной робастности, количественной робастиости и робастности грубой асимптотики. В § 5 дается постановка' задачи робастной непараметрической идентификации (оценивания функций) и описываются некоторые основные типы робастных оце-Ю!1 функций. Простейшим примером является решение {^(х) сравнения

п,

? Г^к-!^) (х. *„..., = о,

где у/ - некоторая монотонная ограниченная функция. В § 5 даются определения робастности для оценок функций. Пусть "(/заданный класс функций распределения Q случайных помех f ^ . Например, в качестве ~V можно рассматривать некоторую окрестность фиксированной функций распределения - это соответствует модели больших выбросов. Пусть близость оценки к исходной • функции f измеряется некоторой псевдометрикой j> . Основными примерами псевдометрик р> , используемых в диссертации, являются: расстояние между ^(эь) и / (X.) в фиксированной точке х и метрики Lp ( 1 < р й ) • Робастность оценки f^ (в смысле состоятельности) означает, что р (, f) О в каком-либо вероятностном смысле при П -»■ оо для любых G-из класса IX и любых \ е. ^ . Вводится также понятие робастности по порядку скорости сходимости. Пусть ¿п t О -числовая последовательность, такая, что имеет место слабая эквивалентность

( 2 ) sup X

f е S *

X su-p MJwCCpCt^f))},

fe T f

где ЪТ (•) - некоторая функция потерь, гп-f - здесь и

далее нижняя грань по всем оценкам Т , т.е. всем измеримым функциям от наблюдений, и Mf I • } - математическое ожидание по совместному распределению ( х4 , yi ),...,( Хп, ) в случае, когда истинная функциональная зависимость равна £ . Последовательность , удовлетворяющая (2), называется оптимальным порядком скорости сходимости оценок на классе функций . Робастность (по порядку скорости сходимости) означает, что соотношение (2) выполняется при любых Q в Xf или что имеет место аналог (2), где вместо верхней грани по £ е 5Г стоит верхняя грань по fe У . G £ ЛХ • Вводится также понятие количественной робастности непараметрических оценок функций.

Глава 2 посвящена идентификации на основе непараметри-чс'-ких -пенок типа максимума правдоподобия. Рассматривается

задача идентификации функции -f ■ X R.1 ( X с R 1 -некоторый отрезок) по наблюдениям вида

( 3 ) = f , i-1,...,n.

Входные воздействия , вообще говоря, случайные. Пусть F -некоторая выпуклая функция, стремящаяся к +• оо при стремлении её аргумента к г оо , и известно, что f е , где У - некоторый класс функций на X . Если F и таковы, что решение экстремальной задачи

п.

( 4 ) f^ = a^^úxZ fÍ4~f(*S)

существует, то оно называется М-оценкой (оценкой типа максимума правдоподобия) функции f £ У

Определение оценки (4) удобно тем, что оно дается в терминах исходной информации о восстанавливаемой функции (класс <3Г ) и о законе распределения ошибок (функция F ). Большинство известных ранее непараметрических оценок было устроено по другому принципу - исходной являлась некоторая система базисных функций (ядер, потенциальных функций и др.), в виде разложения по которой отыскивалась оценка. Для оценок (4), как показано в диссертации, такие базисы тоже существуют. Однако они не постулируются априори, а определяются структурой класса '¿Г в результате решения экстремальной задачи в (4).

Преимущество оценок (4) состоит в том, что, во-первых, они единообразно охватывают как параметрический, так и непараметрический случаи, во-вторых, они могут применяться для различных сложных классов , и несмотря на это всегда £ еЗ^ и, в-третьих, возможность выбора F позволяет учесть априорную информацию о законе распределения случайных помех .

В § 2 показано, что при достаточно общих условиях решение задачи (4) существует. В частности для всех полунепрерывных снизу функций F оно существует на классах J~J ( 1 < £ оо , I - натуральное), где

Г/ = { f : X R1 •• f^eAC, L], L<~,

> >

а также на классах монотонных и выпуклых функций. Здесь Я С - множество абсолютно непрерывных функций на X , II • |( ^ норма в L^ (X) , £_я производная функции |

' Результат распространяется на классы функций У/ • определяемые условием: "Van. ( I =1) или Yon- (fie'vJi L, где Van. ) - полная вариация j? на X . В § 2 устанавливается, что при определенных условиях оценки (4) для классов представляют собой полиномиальные сплайны порядка 2 6-1 с узлами в точках Х^ . Приводятся условия единственности решения задачи (4) на У = У ^ и предлагается численный алгоритм для этой задачи, представляющий собой модификацию метода условного градиента и сходящийся со скоростью геометрической прогрессии в пространстве Соболева.

В § 3 дани условия сходимости оценки (4) к истинной функции £ для классов У = У^ . Сходимость доказывается в нормах *

11-11= <

если

1.

■И.о.-"- %> I- 11ИЛ , если <J, »1 , С >1,

I • II г , если

ГДе И * 1Г ^ - норма в пространстве Соболева , 0<г«<ю.

Доказано, что при достаточно общих условиях на функцию Я" и на СС^ имеет место сходимость II £ ~ £ II О по вероятности при п -»■ оо , если £ > 1 . При несколько более жестких условиях показано, что аналогичный результат справедлив при = £ =1. Если а^ , ,... - последовательность независимых одинаково распределенных случайных величин, то сходимость имеет место почти наверное.

В 5 4, 5 исследуется скорость сходимости оценок (4) на классах функций У/ . Показано, что при определенных усло-

виях на функцию F и на входные воздействия имеет место сходимость оценок (4) в метрике L со скоростью порядка „ -£/(*«♦<) „ z

П, . Вычислен постоянный коэффициент при скорости

сходимости, равный (при F = - вп- р , где р - плотность распределения , Г (р) - фишеровская информация плотности р ) с (L i/l / Г (р))г/С*г"» где с > О - абсолютная числовая постоянная, значения которой заключены в определенных пределах. Результат о скорости сходимости имеет место при общих предположениях о распределении случайных возмущений,' если функция F выбрана подходящим образом. В частности, если F имеет ограниченную производную, то условия на моменты распределения J - не накладываются.

С помощью теорем вложения получены верхние границы для

-f^^liz i • иэ которых следует оптимальность

fff* как оценок производных / , j = £-1,

в смысле порядка скорости сходимости. В § 5 показано, что точность оценок (4) в Lz неулучшаема в асимптотически минимаксном смысле по порядку величины. При > 4 имеет место более точное утверждение: постоянный множитель в асимптотически минимаксной нижней границе имеет вид

, где С > О - абсолютная постоянная. Таким образом, совпадение верхней и нижней границ показано с точностью до постоянной, не зависящей от параметров задачи.

Далее изучается свойство робастности оценок (4). Пусть задан класс 4P плотностей распределения, которому принадлежит неизвестная истинная плотность р . Пусть класс 4P выпуклый, все его элементы имеют конечные фишеровские информации и

существует f>* — ал.д min- Г(р) - наименее благоприятная

о +

плотность в классе iP . Тогда, выбрав F = - сп р , и предполагая, что F удовлетворяет условиям 4.2°, 4.3® гл.2 для всех р € & . получим при достаточно больших П. границу

f e 5"

где JU, не зависит, от n, L и f> . Таким образом, какова бы ни была плотность р g iP , гарантируется скорость сходимости, определяемая наименее благоприятной плотностью р *. Это свойство интерпретируется как робастность оценок (4). С другой стороны, при р = р* и достаточно больших п. теорема 2.4 дает

М sup MlMTlfc-fHi}>j44(LvV»irCp*))M/C"^

Тп, и V

где ju2>0 не зависит от П. , L и р . Таким образом, равномерно по р € ^ скорость сходимости, определяемая наименее благоприятной плотностью, не может быть превзойдена более чем в конечное (не зависящее от М и L ) число раз. В теореме 2.5 получены нижние границы точности произвольных линейных оценок функции £ .

* Если распределение ошибок имеет "тяжелые хвосты", то линейные оценки не обязательно состоятельны и потому хуже оценок (4) с правильно выбранной функцией F . Но даже если линейная оценка состоятельна, то сходится она не быстрее, чем оценка максимума правдоподобия. Так, при <}, = 2 скорость сходимости линейных оценок пропорциональна (б г/п)

а скорость сходимости оценки максимума правдоподобия пропорциональна (Г(.р ) П,) _ отношение МОжет быть сколь угодно большим, если плотность р-не гауссовская. Таким образом, поведение оценок здесь аналогично параметрическому случаю. Если же 1 £ Ц, < 2. , то аналогия с параметрическим случаем нарушается. Как показывает теорема 2.5, в этом случае линейные оценки оказываются хуже оценок максимума правдоподобия по порядку скорости сходимости. Например, для классов монотонных и выпуклых функций нижние границы скорости сходимости линейных оценок есть п~1/Гх и гС3^, а верхние границы для оценок максимума правдоподобия имеют

порядки ((6г п,)/гь) /Э и (/61 п /п)^соответственно.

В § б рассматривается задача адаптивного выбора порядка модели при непараметрической идентификации. Она формулируется как задача выбора размера с£ расширяющейся последовательности классов ЧЗг д , где оС = Лп ( оо при Л -*• оо ) для М-оценок вида

п.

^ = 2 - /

Рассматриваются расширяющиеся классы, описываемые конечными отрезками ряда Фурье. Пусть £ представима в виде сходящегося в Ь2 (о, 1) ряда

ОО

| (х) = 2 с■ б.

где С• - неизвестные коэффициенты и { ^ } - ортонор-мальная тригонометрическая система на (о 1), и пусть наблюдения имеют вид (3). Число <£ называется порядком модели. Задача выбора порядка модели рассматривалась во многих работах по теории идентификации. Были предложены адаптивные (т.е. Использующие только выборку наблюдений) методы выбора сб-критерий Акаике, Вапника, Меллоуза, Райса, Шибаты, обобщенной кросс-проверки и др. Эти методы определяют оценку порядка в виде ¿¿^ - апугий, где 2)^ - некоторая функция,

зависящая от остаточной суммы квадратов ^ . В диссертации рассматривается общий класс критериев вида

(5) л ,

гьб. П.Л

где У(-) - функция на (О, I), удовлетворяющая определенным условиям (условия (6.18) главы 2). Данный класс включает большинство известных критериев и дает возможность построения новых.

Пусть (i д - интегральная квадратичная ошибка оценки £ nd. * ® теореме 2.7 показано, что если Cj удовлетворяют некоторым слабым ограничениям и бесконечное число Cj отлично от нуля (т.е. задача непараметрическая), то при использовании для выбора dкритериев веда (5) выполнено свойство асимптотической оптимальности

R , / m¿n. R , -=* i а-> оо,

П<*-П. lít. '

din.

(по вероятности).

В теореме 2.8 и следствии 2.4 показано, что критерии вида (4) обеспечивают оптимальность оценки fne¿ по порядку скорости сходимости на классах гладких функций в L& равномер но по показателю гладкости. Свойство оптимальности по порядку сохраняется и в параметрическом случае, когда число коэффициентов С• , отличных от нуля, конечно. В этом случае оценка ¥ nd сходится со скоростью О (l/^íj • Модификации критериев (5), обеспечивающие асимптотически оптимальный выбор порядка в параметрическом случае, предлагаются в теореме 2.9.

В главе 3 рассматривается, робастная идентификация на основе метода локальной аппроксимации. Пусть имеется модель (3), где функция f дифференцируема 1-Í раз и её (6-i}-я производная удовлетворяет условию Липшица с константой L . Множество функций f , отвечающих этим требованиям, обозначим .

Пусть х, - фиксированная точка множества X , К (tí.) -весовая функция (ядро), -> О - последовательность положительных чисел, U - векторная функция действительного переменного XL , определяемая равенством l/T(tt) ® «( i, И ,..., К. Ы/(1-0! ). Обозначим ,

Пусть существует

rv

. 0п (*) - mu I к (U.J •

be. a1

>Ф

и пусть ^ (ас) есть значение ( ^ + 1)-й компоненты

деленное на Д.' , так что и...../ГЫО.

Методом локальной аппроксимации (МЛА) называется процедура, в которой в качестве оценок для (х.) берутся величины

(*) ( ] = ОЛ..... i )• Здесь и далее

- у-я производная функции £ в точке , {(°'(ос) - /¿Ф • Соответственно, служит оценкой для вектора

В теореме 3.1 даются условия поточечной сходимости оценок МЛА при общих предположениях о функции Р , которым удовлетворяют (для типовых р ) широкие классы распределений случайных величин с "тяжелыми хвостами".* Например, если = I£| , то единственное требование к Сг состоит в том, чтобы эта функция распределения имела положительную плотность в окрестности нуля. В теореме 3.2 показано, что условие

И-А.^ = со необходимо и достаточно для поточечной сходимости оценок МЛА по вероятности. В § 3 получены нижние минимаксные границы точности произвольных оценок функции £ и её производных в фиксированной точке X и верхние границы для оценок МЛА и их производных, равномерные на классах , совпадающие с нижними границами по порядку величины. Доказывается, что асимптотически оптимальный порядок скорости сходимости при оценивании </-ой производной составляет величину ¥ 1) _ Доз этих результатов следует свойство робастности оценок МЛА по порядку скорости сходимости при определенном выборе их параметров. .

В § 4 доказывается теорема о поточечной асимптотической нормальности оценок МЛА. Этот результат получен.в условиях, когда входные воздействия случайны, независимы и одинаково распределены с плотностью уц. , а также существуют односторонние производные (х) функции в точке При предположениях, указанных в § 4, последовательность норми-

рованных уклонений ((эс)- в*(х)), где А.П ***

А. > О , асимптотически нормальна со средним В"1 В и матрицей ковариаций 6 ~1Н б . Здесь

Г £ + Ы), и ъо,

* < о,

и Ы ( 5 рМ ¿У Здесь Р -

плотность распределения случайного возмущения и (// - левосторонняя производная выпуклой функции Я .

Эта теорема затем используется для исследования количественной робастности МЛА-оценок, оптимизации выбора и ]С , сравнения точности МЛА-оценок и оценок Надарая-Ватсона.

В 5 б рассматривается робастное оценивание в модели

где б" (х) >0 - неизвестная масштабирующая функция, описывающая неоднородность помехи. Оцениванию подлежит пара функций ( -р Ос) , б'(*) )• Предлагается класс непараметрических оценок этой пары, обладающих свойством робастности. Доказывается поточечная состоятельность и асимптотическая нормальность оценок.

В § 7 решается задача синтеза локально-адаптивных оценок функции £ , т.е. оценок, которые строятся только на основе наблюдений (без привлечения дополнительной априорной информации о значениях производных функции , плотности уи и масштабирующей функции & ), и при этом асимптотически в

каждой точке X эквивалентны оптимальным оценкам, ширина окна которых вычислена из условия минимума асимптотической дисперсии. Локальность адаптации обеспечивается зависимостью ширины окна оценок от X . Для адаптации используется подстановка состоятельных оценок неизвестных величин в выражение для асимптотически оптимальной шйрины окна. В теореме 3.8 доказывается, что при определенных условиях адаптивная оценка с такой случайной шириной окна асимптотически эквивалент- .. на оптимальной.

В главе 4 решается задача рекуррентной робастной непараметрической идентификации статических и динамических систем. Необходимость применения рекуррентных процедур связана с их вычислительной простотой. Предлагаются рекуррентные процедуры, не уступающие по своей скорости сходимости оптимальным нерекуррентным процедурам, разработанным в предыдущих главах. Простейший рекуррентный нелинейный алгоритм предлагается в виде

( 6 > . № - С/*) -

где [ (х) - оценка значения функции £ в точке ас ла >г-ом шаге алгоритма, 0 - положительные последова-

тельности (длина шага и ширина окна соответственно). В качестве начального приближения' $а (я) берется некоторая фиксированная функция. В 5 3 исследуется сходимость алгоритма (6) с вероятностью I. Показано, что она имеет место при общих предположениях о распределении помех, если функция у выбрана подходящим образом. Далее вводится более общий алгоритм, пред-' ставляющий собой рекуррентный аналог МЛА:

( 7 ) в^(х)=ха(вл1 (*; * гпипяК(и^) у епт4(*)иЛ "■-1,2,...,

где вк (.х) - вектор оценки на п.-ом шаге," 7Са (•) -

эператор проектирования на замкнутое выпуклое множество О. которому априори предполагаются принадлежащими значения

в* (xj , Гл = (Х /inhj) Е£ _ матрица усиления, />0 , Е t - единичная матрица размера l*t> и начальное приближение 90 (х) - фиксированная функция. В теореме 4.2 показано, что для алгоритма (7) имеет место сходимость почти наверное и в среднеквадратичном, а также (при выборе fin =

= fin и при достаточно больших ¿Г > О )

равномерная по верхняя граница скорости сходимости Оп(рс) к в* (х) . Как следствие этой границы получено, что если ■f^' Сх) » j - О,..., » - оценки производных,

отвечающие вектору Qn (se) из (7), то порядок скорости сходимости К f Ф(х) равен пТ""^2^, что

совпадает с оптимальным порядком, найденным для оценок (4) в главе 2. Таким образом, алгоритм (7) дает оценку, робастную по порядку скорости сходимости на классах iFg .

В 5 4 рассмотрена задача идентификации общей динамической системы вида (Î) в предположении, что £ - непрерывная функция всех своих аргументов. Показано, что для решения этой задачи успешно может быть применен алгоритм (б), если положить

Xi '•••'Ус-К » ui-i • •••»'"¿-»«Л ПРИ этом предпола-

гается, что либо { Х.к) - стационарный векторный случайный процесс и плотность распределения положительна и ограничена, либо эта плотность зависит от л, , но стремится в метрике с определенной скоростью к некоторой стационарной положительной и ограниченной плотности (последнее условие выполнено для ряда моделей, в частности, для непараметрической авторегрессии 1-го порядка при естественных предположениях). В теореме' 4.3 показано, что в этих условиях последовательность оценок (6) сходится почти наверное к £ (х.) в кавдой точке х . Ограничения на распределение помех, принятые в теореме 4.3,достаточно общие, что позволяет сделать вывод о робастнос-ти .(в смысле состоятельности) оценок (6) для динамических систем на широких классах ХУ распределений помех.

Глава 5 посвящена разработке и исследованию рекуррентных алгоритмов пассивной стохастической оптимизации. Рассматривается три основных задачи стохастической оптимизации (I) оценивание корня уравнения регрессии (И) оценивание точки минимума функции .(Ш) оценивание точки максимума (моды) плотности распре-

деления вероятностей.

Задачи (I),(3D обычно исследовались в литературе для активной схемы наблюдений, т.е. для случая, когда входные воздействия можно выбирать. В гл.5 рассмотрена пассивная схема наблюдений, в которой входные воздействия СС^ порождаются случайным образом ( ос^ - независимые одинаково распределенные случайные векторы). В пассивной схеме оказываются неприменимыми обычные процедуры стохастической аппроксимации типа Роббинса-Монро и Кирера-Вольфовица. В § 2 предлагается алгоритм пассивной стохастической оптимизации для задачи (I). Пусть д ; R ы f^" - неизвестная векторная функция и - независише случайные помехи. Рассматривается задача оценки корня ас* уравнения д (х) — О по наблюдениям ( ос.^ , Yj \ ■С - 1,2,..., гь , где = д . Алгоритм оце-

нивания строится в виде

(8) г = jr (2 - ) п = 12

п.* 1 а4"- ¿¡" ^ fy / п.'t

где li - оценка на М--ом шаге, Q - выпуклый компакт, содержащий X* , а -»• О , О - последовательности положительных чисел. Здесь и далее начальное приближение считается фиксированным. Пусть ifp~ класс функций на Д^, имеющих обобщенный показатель гладкости р> 1 и таких, что (х-эс*)1" 2 (х) > cClX-X*lZ, хеО. , где сС > <5 и х* = X* (q) - единственный корень уравнения = В § 2 доказывается, что алгоритм пассивной стохастической аппроксимации (8) сходится почти наверное и в среднеквадратичном к истинному корню X* . Сходимость н а X* в среднеквадратичном имеет место со скоростью порядка равномерно на классе при соответствующем выборе параметров йл , ft и ядра К (теорема 5.1). Показано, что для достижения порядка точности с j3 > 1 необходимо использовать знакопеременные ядра К . Установлена асимптотическая^минимаксная нижняя граница для произвольных оценок, показывающая, что полученная скорость сходимости алгоритма (0) неулучшаема. В 5 2 предложен также более сложный локально-полиномиальный

алгоритм оценки корня уравнения д (аь) = О . Доказано, что он обладает тем преимуществом в сравнении с (6), что позг воляет достигать оптимальной скорости сходимости без дополнительных ограничений на гладкость плотности распределения .входных воздействий эт.*.

В § 3 предлагается робастный вариант алгоритма (8), содержащий нелинейное монотонное преобразование ц> наблюдений

Исследуется точная асимптотика среднеквадратичной ошибки алгоритма (9), выписываются явные формулы для асимптотического смещения и дисперсии . Проводится минимизация асимптотической среднеквадратичной I нлбки по а^ , ^ , К и устанавливаются асимптотически о.' .имальные значения этих параметров алгоритма. Решается задача робастного выбора функции ц/ при заданной априорной информации о распределении помех £ г-(в смысле количественной робастности).

В 5 4 рассматривается задача (1) в пассивной схеме наблюдений вида (3), где Х^ - негависимые одинаково распределенные случайные векторы из . Оцениванию-подлежит точка минимума х* — агентап £ С*1)• Априорная информация состоит в том, что £ принадлежит классу функций » имеющих обобщенный показатель гладкости f>~z-Z и таких, что (х-х*)т (х) * * |:с-х*1*, а:йО. • гДе оС>0 и X* = х* _ единственное решение рассматриваемой задачи на минимум для £ .

Решение этой задачи дается в виде алгоритма локально-полиномиального типа. Доказывается, что при подходящем выборе параметров алгоритма он сходится со скоростью порядка

П ( »

и \гъ ' ). , причем, данная скорость сходи-

мости не может быть улучшена в минимаксном смысле равномерно на классе функций • Исследование такого же типа прово-

дится в 5 5 применительно к задаче оценки моды (Ш), которая

относится к числу задач пассивной стохастической оптимизации, поскольку выборка наблюдений ( эс^ ) представляет

собой независимые реализации случайной величины с неизвестной плотностью распределения р (х) , асе Я" . Для оценивания моды 0* = о/с^плах р(эс) предлагается рекуррентный ал-

горитм

л

где 9п - оценка на п, -ом шаге, 0О - произвольный фиксированный вектор из . Ддро К в (10) - вектор-функция со значениями в Д." , определенная на N -мерном кубе [-1/2,1/2-3 и удовлетворяющая условиям

]к(х)^х=07 { К(эс)хтс(.2с =

(дифференцирующее векторное ядро). В §5 доказана сходимость алгоритма (10) с вероятностью I к истинной моде 9* и получен результат о том, что скорость сходимости к нулю величины

МК^-в*)*} составляет О (пТ**-""*'") , где

- обобщенный показатель гладкости плотности р . При этЬм накладываются дополнительные условия на ядро К . В телреме 5.9 исследована потенциальная точность произвольных оценок ■ моды в асимптотически минимаксном смысле и показано, что в этом смысле оценки (10) неулучшаемы.

В § 6 рассматривается задача оптимизации (Ю в постановке с активным выбором точек . Для этой постановки алгоритмы типа Кифера-Вольфовица в общем случае достигают минимальной скорости убывания среднеквадратичной ошибки порядка Дальнейшее увеличение гладкости £ не дает увеличения порядка скорости сходимости. В § 6 предлагается новый класс алгоритмов, основанных на применении ядер и по принципу построения сходных с алгоритмами из § 2-5 этой главы.. Они имеют шгд,

СП) ^

а 4 пкп

Здесь а> о ; - независимые случайные векторы, равно-

мерно распределенные на [-</2, -1/2,1" и не зависящие от

. >••• ! К -дифференцирующее векторное ядро. Особенностью алгоритма (II) является его рандомизированный характер и тот факт, что на каждом шаге алгоритма используемся Отолько одно измерение функции £ с помехой. В теореме 5.10 показано, что если К удовлетворяет определенным моменткым условиям, = к П А- >0 , а> (р-1.)

то равномерно по из класса У (для алгоритма (II)

( 12 ) М{ - о (п,-*-**) ,

Аналогичный результат установлен для алгоритма, сходного с

(11), но использующего на каждом шаге 2 измерения функции

с поырхой. Теорема 5.II дает минимаксную нижнюю границу точности произвольных методов оценивания точки минимума х.* при любом допустимом выборе эс^ ,..., ха . Порядок нижней границы совпадает с порядком скорости сходимости, указанным в

(12), откуда следует оптимальность оценок (II).

В главе б исследуются робастные непараметрические методы обработки изображений. Изображением считается функция £ определенная на кубе Х= [0,1]". Предполагается, что на X можно выделить область объекта А,, и область фона А0 , такие, что на значения £ достаточно велики, а на А0 -малы. Между областями имеется резкий перепад яркости, т.е. при пересечении границы 1С между До и А., значения £ испытывают скачок. Ставится задача оценивания £ по данным вида (3), где векторы СС^ € X подлежат выбору. В § 2 рассматривается случай полутонового изображения: предполагается, что как на До , так и на А4 , функция является гладкой, с обобщенным показателем гладкости р > О , причем значения

| на Ао строго меньше, чем на А1 , Также накладываются условия типа Липшица на границу ЪС • Класс таких изображений обозначается через . Предполагается, что П = п.%

( И1 - целое) и X^ расположены на равномерной сетке Г с шагом по каждой координате. Точность оценки ~Гп (ъ) изоб-

ражения измеряется величиной

асе Г

В § 3 предлагается робастный метод восстановления изображения и исследуется его скорость сходимости. Процедура построения предлагаемой оценки изображения можно разбить на два этапа -распознавание и сглаживание. На этапе распознавания область определения X изображения £ разбивается на большое число кубов, каждому из которых ставится в соответствие значение

=0 или ^ = I на основе медианного решающего правила. Значение т^ = 0 означает, что принято решение о принадлежности куба к области фона, значение £ = I - к области объекта. Второй этап - сглаживание исходных данных робастным методом локальной аппроксимации (рассматривается многомерное обобщение MJIA из главы 3). Однако в отличие от обычного МЛА из главы 3 сглаживание производится только по тем значениям из окрестности данной точки DC , для которых параметр I? такой же, как для X • Иными словами, если на этапе.распознавания принято решение, что точка X принадлежит области объекта (фона), то оценка изображения в этой точке строится только по тем элементам ее окрестности,- которые на этапе распознавания отнесены к объекту (фону). В общем случав граница сверху для величины sup где ^ - предлагаемая

оценка, дается в теореме 6.1. Как следствие этого результата получается, что при условиях, сформулированных в § 3,

( 13 ) sua

f 4 n, -»■ o°,

если JЪ >0 . ^p > 1 . Данный результат верен для общего класса XF распределений помех.

Тот факт, что оценка из § 3 является робастной по порядку скорости сходимости, устанавливается в 5 4 на Основа-соответствующей нижней границы, имеющей тот же порядок, что правая часть (13) (с точностью до логарифмического множителя).

В теореме 6.3 доказывается, что скорость сходимости линейных оценок изображения для случая кусочно-липшицевой границы ЧС между объектом и фоном не может превосходить в асимптотически минимаксном смысле величину порядка п,-1 Таким образом нелинейность введенной оценки £ существенна: окорость сходимости любых линейных оценок оказывается хуже по порядку. Например, при р = 2, N = 2 порядок скорости сходимости ^ на рассматриваемом классе изображений равен (Сп-)/п-) . а Для линейных оценок он не выше, чем

л'*6 •

В § 5 решается задача оптимального выделения контуров на изображениях. Рассматривается двухградационное изображение £ , т.е. изображение принимающее только значения 0 и I, причем £ (ас) = Г{ асл'> х , где эс *

-< х< ..... х" ) б £о, 13* и и-. 1о,±1~-* [о,1] -

поверхность разрыва (контур). Предполагается, что Ц как функция переменных имеет обобщенный показатель гладкости 3 > О . В § 5 предлагается оценка функции по наблюдениям вида (3), а также по двоичным наблюдениям с мультипликативной помехой. Доказывается, что если Х1 ,..., ОГ^ -независимые равномерно распределенные на X случайные векторь то равномерно по рассматриваемому классу контуров Щ среднее отклонение %С от 1С в метрике ограничено величиной

,С- п. ^ - некоторая постоянная.

Для этого результата существенна случайная природа величин Например, если не случайны и образуют равномерную сетку Г , то точность произвольных оценок контура в не может превосходить величину порядка п. ~1/л/ , что хуже, чем точность оценки при всех 8 ъ. ± . Далее, доказывается, что порядок точности п-Я/Сй^-Ч неулучшаем в асимптотически минимаксном смысле ни на каких оценках контуров

и из рассматриваемого класса. Таким образом, предлагаемая оценка оптимальна по порядку скорости сходимости.

В § 6 изучается минимаксная точность восстановления изображений по квантованным данным. Предполагается, что при передаче по каналу связи значения изображения преобразуются в

двоичную последовательность. На выходе системы наблюдаются значения этой двоичной последовательности, искаженные помехой. Рассматриваются только такие методы квантования, при которых для получения очередного двоичного символа используется лишь один текущий отсчет сигнала. В этом классе предлагается метод передачи (т.е. квантования и оценивания), имеющий оптимальный в асимптотически минимаксном смысле порядок точности. Доказывается, что этот порядок составляет величину где р>>0 - обобщенный показатель гладкости £ . Устанавливается, что в известном классе методов псевдошумового квантования данный оптимальный порядок не может быть достигнут.

ЗАКЛЮЧЕНИЕ

Цель диссертации - разработка основ теории робастной непараметрической идентификации систем и обработки сигналов - реализована в следующих результатах.

1. Для общей задачи идентификации непараметрических систем дано определение свойства робастности оценок. Предложены нелинейные методы оценивания, обладающие свойством робастнос- '. ти. Разработаны процедуры синтеза наилучших робастных методов при заданной априорной информации.

2. Предложен класс рекуррентных процедур непараметрической идентификации статических и динамических систем и процё-дур пассивной стохастической оптимизации, основанный на идее ядерного оценивания и включающий нелинейные алгоритмы, обладающие свойством робастности.

3. Получены минимаксные нижние границы, определяющие потенциальные возможности произвольных методов непараметрической идентификации и стохастической оптимизации.

4. Доказано, что при соответствующем выборе параметров процедур идентификации и стохастической оптимизации, предложенных в диссертации, они достигают минимаксных нижних границ по порядку скорости сходимости, и в этом смысле являются оп-. тимальными. Дана полная классификация оптимальных порядков скорости сходимости для задач стохастической оптимизации.

5. Задачи оценивания изображений, ввделения контуров-на изображениях и передачи квантованных изображений поставлены как задачи непараметрической идентификации. Найдено их решение в виде непараметрических методов, асимптотически оптимальных по порядку скорости сходимости и обладающих свойством Ербастности.

6. Доказано, что в ряде задач непараметрической идентификации линейные методы обладают принципиальным недостатком по сравнению с нелинейными, заключающимся в том, что они

не достигают оптимального порядка точности оценивания.

ПУБЛИКАЦИИ

Основные результаты диссертации опубликованы в следующих работах.

1. Цыбаков A.B. О сходимости непараметрических робастных алгоритмов восстановления функций // АиТ. IS83. К1 12.

С.66-76.

2. Немировский A.C., Поляк В.Т., Цыбаков A.B. Оценки типа максимума правдоподобия для непараметрической регрессии // Докл. АН СССР. 1963. Т.273. » 6. C.I3I0-I3I4.

3. Немировский A.C., Поляк Б.Т., Цыбаков A.B. Непараметрическая идентификация методом максимума правдоподобия // Теория адаптивных систем и её применения. Тез. докл. Всес. Конф. М.-Л. 1983. C.I7I-I74.

4. Немировский A.C., Поляк Б.Т., Цыбаков A.B. Метод максимального правдоподобия в непараметрической регрессии // Теория вероятн. и её примем. 1983. Т.28. !,' 4. С.794-795.

5. Цыбаков A.B. Асимптотические свойства метода локальной аппроксимации в задаче восстановления функций // Анализ сложн. информационных систем: Сб. Научн. тр. ИППИ АН СССР. М..1984. 4.1. С.33-36.

6. Цыбаков A.B. Границы точности передачи непрерывного сигна-. ла при двоичном квантовании // Анализ сложн. информационных систем: Сб. научн. тр./ ИППИ АН СССР. M.I984. 4.2.

С.62-65.

7. Немировский A.C., Поляк Б.Т., Цыбаков A.B. Обработка сигналов непараметрическим методом максимума правдоподобия// Пробл. передачи информ. 1984. Т.20. № 3. С.29-46.

8. Цыбаков A.B. Робастное восстановление значений сигналов и его производных // Тр. У1 Меладунар. симпоз. по теории информации. Тез.докл. 4.1. М.-Ташкент. 1984. С.196-198.

9. Цыбаков A.B. Робастные оценки в непараметрической регрессии // Статистика. Вероятность. Экономика. М. •."Наука". 1985. С. 382-384.

10. Немировский A.C., Поляк Б.Т., Цыбаков A.B. Скорость сходимости непараметрических оценок типа максимума правдоподобия //Пробл. передачи информ. 1985. Т.21. I.' 4. С. 17-33.

11. Цыбаков A.B. Оценивание гладкой функции по последовательности знаков // Тез.докл. 4 Междунар.конф. по теории вероятн." и матем.статистике. Т.З.Вильнюс. 1985. С.277-278.

12. Цыбаков A.B. Робастное восстановление функций методом локальной аппроксимации // Пробл.передачи информ. 1986. Т.22. № 2. С.69-84.

13. Цыбаков A.B. Непараметрическое оценивание функций'по последовательности знаков // Матем.статистика и её приложения. Вып. X. Томск: Изд-во TI7. 1986. С.250-255.

14. Цыбаков A.B. Адаптивная настройка ширины окна в ядерной непараметрической регрессии // Обработка данных в ий^юрма-ционных системах: Сб. научн.тр./ ИППИ АН СССР. М. 1986. ' 4.1. С.64-67. •

15. Цыбаков A.B." Адаптивный выбор ширины окна при непараметрическом оценивании регрессии // Тез.докл. I Всемирн.конгресса о-ва мат.статист, и теор. вер. им.Бернулли. И.: Наука. 1986. T.I. С. 187.

16. Цыбаков А.Б. Точность передачи непрерывного сигнала при двоичном квантовании // Пробл.передачи информ. 1987.

Т.23. № I. С.68-78.

17. Цыбаков A.B. О выборе ширины окна в ядерной непараметрической регрессии // Теория вероятн. и её примен. 1967. Т.32. № I. С.153-159.

18. Цыбаков A.B. Об оценке моды плотности распределения // Системы передачи и обработки информации": Сб.научн.тр./

19. Цыбаков A.B. Свойства информационного критерия выбора параметра проекционной оценки // Системы передачи и обработки информации: Сб.научн.тр./ШПИ АН СССР. М. 1988.' 4.2. С.31-35.

20. Поляк В.Т., Цыбаков A.B. Оптимальные проекционные оценки для функции регрессии неизвестной гладкости // Докл.

АН СССР. 1989. Т.304.2. С.297-301.

21. Цыбаков A.B. Оптимальные порядки точности оценивания негладких изображений // Пробл.передачи информ. 1989. Т.25. № 3. C.I3-28.

22. Назин A.B., Поляк В.Т., Цыбаков A.B. Пассивная стохастическая аппроксимация // Автоматика и телемеханика. 1989. Ш. С. 127-134.

23. Цыбаков А.Б. Робастные локально-адаптивные оценки непараметрической регрессии // Методы передачи и обработки информации: Сб.научн.тр./ЙППИ АН СССР. M.I989. С.12-15.

24. Поляк В.Т., Цыбаков A.B. Асимптотическая оптимальность Ср-критерия при проекционном оценивании регрессии // Теория вероятн. и её примен. 1990. Т.35. № 2. С.305-317.

25. Hazin A.V., Polyak В.Т., Tsybakov A.B. Passive stochastl approximation / Institute of Control Sciences.- Preprint - Moscow. 1990.

26. Tsybakov A.B. Locally-polynomial algorithms of passive stochastic approximation // Probl, of Control and Inform Theory. 1990. V.19. N.3. Г.1В1-195.

.27. Цыбаков A.B..Рекуррентное оценивание моды многомерного распределения // Пробл.передачи информ. 1990. Т.26. № I. С.38-45.

28. Поляк В.Т., Цыбаков A.B. Оптимальные порядки точности поисковых алгоритмов стохастической оптимизации // Пробл. передачи информ. 1990. Т.26. № 2. С.45-53.

Сдано в набор 18.00.01 Формат 60x901/16

Усл. печ. л. 1,75 Усл. жр.-от-г. 1,87

В печать 26.06.01

Почать офсвтвая

Уч.-над. л. 1,41 Зах. 4585

Тир. 100 »кз.

Проиэаодствеиио-иэдатвлъскнй комбинат ВИНИТИ 140010, Люберцы 10, Московской обл., Октябрьский проспект, 403