Двойственные экстремальные задачи и их применения к задачам минимаксного оценивания тема автореферата и диссертации по математике, 01.01.02 ВАК РФ

МАТЕМАТИЧЕСКИЙ ИНСТИТУТ имени В.А. СТЕКЛОВА РАН

Р Г Б ОД

На правах рукописи

2 5 НОЯ Ь^

СОЛОВЬЕВ Владимир Николаевич

УДК 519.6, 517.9

ДВОЙСТВЕННЫЕ ЭКСТРЕМА/ЬНЫЕ ЗАДАЧИ И ИХ ПРИМЕНЕНИЯ К ЗАДАЧАМ МИНИМАКСНОГО ОЦЕНИВАНИЯ

01.01.02 - дифференциальные уравнения и математическая физика

Автореферат диссертации на соискание ученой степени доктора физико-математических наук

МОСКВА 1996г.

Работа выполнена в Московском авиационном институте Официальные оппоненты:

академик РАН, доктор физико-математических наук, профессор Куржанский А.Б.

доктор физико-математических наук, профессор Тихомиров В.М. доктор физико-математических наук, профессор Ширяев А.Н.

Ведущая организация - Институт математики и механики уральского отделения РАН (г. Екатеринбург).

заседании специализирова „ _ совета Д 002.38.01 при

ордена Ленина Математическом институте имени В.А.Стеклова РАН (117333, г. Москва, В-333, ул. Вавилова, 42).

Защита состоится

1996г. в

часов на

С диссертацией можно ознакомиться в библиотеке

Математического института.

Автореферат разослан

1996г.

Ученый секретарь совета

Ю.Н.Дрожжинов

Состояние вопроса и актуальность темы. Основы теории двойственности экстремальных задач заложены еще в классических работах Г.Минковского, Г.Хана, Дж. фон Неймана. Стройные очертания эта теория приобрела после фундаментальных работ В. Фенхеля и Р.Т.Рокафеллара, в которых был введен и систематически развит аппарат сопряженных функций. Ввиду его очевидных связей с введенными ранее Г.Минковским опорными функциями и связей с классической механикой этот аппарат сразу занял центральное место в современной теории экстремальных задач. Затем последовал бурный поток работ, посвященных теории экстремальных задач и самым разнообразным приложениям теории двойственности, среди которых мы здесь отметим только лишь монографии В.М.Алексеева, В.М. Тихомирова и С.В.Фомина, А.Д.Иоффе и В.М.Тихомирова, Е.Г. Гольштейна, Ж.-П.Обена и И.Экланда, Б.Т.Поляка, Б.Н.Пшеничного, И. Экланда и Р.Темама. В частности, в первых двух монографиях установлена отчетливая связь между задачами оптимального управления и выпуклого программирования.' '

Настоящая работа посвящена теории двойственности экстремальных задач, причиной которой является связь выпуклости в исходном пространстве с гладкостью в сопряженном пространстве. Повидимому, впервые эта связь была установлена В.Л.Шмульяном, а затем Е.Асплундом и Р.Т. Рокафелларом. Много позднее и в других терминах такая связь была также подмечена в задачах минимаксного оценивания (С.Верду и Г.В.Пур, И.Ф.Пинелис). Наше изложение основано на работах [4,11,12], в которых систематически использовался аппарат сопряженных функций, и которые возникли в связи с различными приложениями теории двойственности экстремальных задач, в частности, к задачам минимаксного оценивания.

Теория минимаксного оценивания начала развиваться в 60-х

годах независимо в СССР и США. По-видимому, около 1963 года идеи устойчивого оценивания просто стали витать в воздухе, ибо в это время независимо друг от друга в разных постановках к ним пришли А.Н.Колмогоров, Н.Н.Красовский, М.Л.Лидов и П.Хьюбер. С тех пор на эту тему вышло огромное число работ.

Фундаментальные концепции и методы теории наблюдения и управления в условиях неопределенности были разработаны уральской школой Н.Н.Красовского, среди работ которой отметим лишь труды Н.Н.Красовского, А.Б.Куржанского, И.Я.Каца, Б.И.Ананьева и М.И. Гусева. Постановки задач минимаксного оценивания, предложенные А.Н. Колмогоровым и М.Л.Лядовым, выросли в научное направление, в развитие которого фундаментальный вклад внесли работы Б.Ц. Бахшияна, Р.Р.Назирова, П.Е.Эльясберга, М.Л.Лидова, А.И. Матасова, А.Н.Ширяева и других авторов. Настоящая работа возникла в рамках этого направления. Другой подход к задачам устойчивого оценивания, предложенный П.Хьюбером, получил развитие в исследованиях Я.З. Цыпкина и Б.Т.Поляка, С.А.Смоляка и Б.П. Титаренко. Оригинальное направление в теории минимаксного оценивания развивается школой В.С.Пугачева.

Различные фундаментальные и прикладные задачи минимаксного оценивания исследовались в трудах И.А.Ибрагимова и Р.3.Хасьминс-кого, В.Б.Малышева, А.И.Кибзуна, М.Н.Красильщикова, В.И.Карлова, Ф.Л.Черноусько, О.М.Куркина, Ю.Б.Коробочкина и С.А.Шаталова, Б.Н. Пшеничного и В.Г.Покотило, С.Верду и Г.Пура, М.Минца и других.

Цель работы. Разработка теории двойственности невыпуклых экстремальных задач, причиной которой является связь выпуклости в исходном пространстве с гладкостью в сопряженном пространстве, и ее применение к разнообразным задачам минимаксного. оценивания параметров в линейных моделях наблюдения с неопределенными

статистиками второго порядка.

Методы исследования. В работе применяются методы выпуклого анализа, теории экстремальных задач, теории игр, теории вероятностей и теории матриц.

Научная новизна работы.

1. Описаны связи выпуклости в исходном пространстве с гладкостью в сопряженном пространстве в терминах сопряженных функций, а также опорных функций. В частности, показано, что произвольная (слабо) полунепрерывная снизу функция, заданная на рефлексивном банаховом пространстве, будет выпуклой, если ее сопряженная дифференцируема по (Гато) Фреше.

2. Построена теория двойственности невыпуклых экстремальных задач, которые являются аналогами задач оптимального импульсного управления. Описано ее применение к задачам оптимизации космических перелетов.

3. Вычислены сопряженные функции к максимуму семейств квадратичных форм, а также опорные функции пересечений семейств эллипсоидов. На их основе получены теоремы двойственности для разнообразных постановок задач минимаксного и минимаксно-байесовского оценивания.

4. Получены различные обобщения теоремы о нормальной корреляции, в которых устанавлена линейность минимаксно-байесовских оценок и нормальность наименее благоприятных распределений. С их помощью установлена линейность минимаксно-байесовских оценок в линейных моделях наблюдения с неопределенными статистиками второго порядка.

5. Исследованы минимаксно- байесовские оценки параметров в линейных моделях наблюдения для двух противоположных постановок задачи оценивания: когда векторы параметров и ошибок измерений

не коррелированы. и когда напротив ничего не известно об их взаимной ковариации, и мы ожидаем самого худшего.

6. Установлена линейность минимаксных оценок скалярного параметра в задачах минимаксного оценивания в линейных моделях наблюдения с неопределенными статистиками второго порядка.

7. Сконструирован новый алгоритм минимаксного оценивания векторного параметра в указанных моделях наблюдения, основанный на методе наименьших квадратов. Доказана его сходимость.

8. Развиты методы аналитического вычисления сопряженных функций в теории оптимального гарантирующего оценивания, а на их основе - три численных метода решения двойственной,, задачи. Показано также, что оптимальная оценка может быть получена, если отбраковать часть измерений, и обработать оставшиеся методом наименьших квадратов с весовой матрицей максимальных ковариаций.

Теоретическая и практическая ценность работы.

1. Как показано в этой работе, характеризации выпуклости в терминах гладкости имеют самую широкую область приложений, которые отнюдь не исчерпываются задачами минимаксного оценивания.

2. Построенная теория двойственности невыпуклых экстремальных задач, которая была применена в этой работе к задачам оптимального импульсного управления, может найти дальнейшие приложения к задачам оптимального управления и минимаксного оценивания.

3. Сопряженные функции к максимуму семейств квадратичных форм, а также опорные функции пересечений семейств эллипсоидов, которые были вычислены в этой работе, могут иметь многочисленные приложения в анализе и статистике.

4. Установленная в работе линейность минимаксных и минимаксно-байесовских оценок в моделях наблюдения с неопределенными ста-

тистиками второго порядка принципиально упрощает теоретический анализ и численные методы минимаксного оценивания.

5. Развитые в работе численные методы решения двойственных задач, которые были здесь применены к задачам оптимального гарантирующего оценивания, тесно связаны с общепринятыми методами наименьших квадратов, и поэтому могут найти дальнейшие приложения к различным задачам минимаксного и минимаксно- байесовского оценивания и теории плохо обусловленных задач.

Апробация работы. Результаты работы докладывались на следующих семинарах и конференциях: Всесоюзной конференции по негладкому анализу (Баку, 1991); Международной конференции по многозначным отображениям и негладкому анализу (Ст. Петербург, 1995); Воронежской весенней математической школе "Понтрягинские чтения VI" (Воронеж, 1995); III-ей Всесоюзной школе по навигации и управлению движущимися объектами (Феодосия, 1990); семинаре ИКИ АН СССР "Навигационная привязка и статистическая обработка космической информации" под рук. проф. II.Е.Эльясберга (1987); семинаре ИКИ АН СССР "Навигационная привязка и статистическая обработка космической информации" под рук. проф. P.P. Назирова (Тарусса, 1989); семинаре механико-математического факультета МГУ "Управление в механических системах" под рук. проф. H.A. Парусникова (1989); семинаре МАИ "Стохастическая оптимизация" под рук. проф. А.И.Кибзуна (1989, 1995); семинаре МИЭМ "Управление и устойчивость" под рук. проф. В.Б.Колмановского (1996).

Публикации. Основные результаты диссертации опубликованы в 17 открытых работах.

Объем работы. Диссертация изложена на 194 страницах (включая 10 таблиц и 1 рисунок), напечатанных в текстовом редакторе Chi-Writer. Состоит из введения, 6 глав, заключения и

списка литературы. Библиография содержит 167 наименований. Краткое содержание работы.

Первая глава посвящена теории двойственности экстремальных задач, причиной которой является связь выпуклости в исходном пространстве с гладкостью в сопряженном пространстве. Пусть У будет локально выпуклое линейное топологическое (или нормированное) пространство, У будет его сопряженное, а <У,У >- значение линейного непрерывного функционала у*еУ на элементе уеУ. В выпуклом анализе и его приложениях часто используется равенство

е"<у0) - е(уа). (1.1.1)

справедливое для выпуклых полунепрерывных снизу (пн. снизу)

функций g(y). Отправной точкой данного исследования будет то, что

даже при отсутствии выпуклости равенство (1.1.1) остается

справедливым в некоторых точках уо.

Теорема 1.1.1. Пусть произвольная функция g(y):У->IR будет

(слабо) пн. снизу в точке. уоеК, которая является производной

(Гато) Фреше сопряженной функции ¿' (у*) в некоторой точке у*еУ*.

Тогда справедлива двойственность (1.1.1).

Следствие 1.1.2. Если функция Ё(у) :(слабо) пн. снизу в

нуле, и сопряженная функция дифференцируема по (Гато) Фреше в

точке своего минимума, то (0)^(0).

То, что в Теореме 1.1.1 нельзя заменить производную по Фреше

на производную по Гато, показывает пример Больца 1

¿(у)'.= | ( у2(Ь)+[1-(у(Ь))г]г №: У-»Е о

Мы рассмотрим функционал g(y) на гильбертовом пространстве У=Н*(ОД) абсолютно непрерывных функций у(Ь) : [0,1 , равных нулю на концах отрезка [0,1] и имеющих производную у(Ь)е.Ь^(0,1), и покажем, что уо(Ь)=0 - производная по Гато сопряженного функционала ё (у ) в нуле. В то же время l=g(0)>g" (0)=0,

хотя функционал ё(у) пн. снизу в сильной топологии.

В §1.2 описаны связи выпуклости в исходном пространстве с гладкостью в сопряженном пространстве в терминах сопряженных функций, функции расстояния либо опорных функций.

Теорема 1.2.1. Если произвольная функция ¿(у):У-> К С слабо.) полунепрерывна снизу на рефлексивном банаховом пространстве У, а сопряженная функция ё (у ) дифференцируема по (Гато) Фреше на непустом множестве СсУ , но не субдифференцируема вне его, то функция £(у) выпукла.

Теорема 1.2.1 является довольно гибким инструментом исследования выпуклости множеств. В §1.2 показано, что в проблеме выпуклости чебышевских множеств она дает такой тонкий результат: всякое слабо замкнутое чебышевское множество в гильбертовом пространстве выпукло (Н.В.Ефимов, С.Б.Стечкин) , который в конечномерном случае сводится к известной теореме Т. Моцкина.

Теорема 1.2.4. Пусть произвольное множество А будет (слабо) замкнуто в рефлексивном банаховом пространстве У^К1, а его опорная функция 5*(у*|А)*+<» и дифференцируема по (Гато) Фреше во всякой точке у *0, в которой 65*(у*\А)*&. Тогда, если замыкание его выпуклой оболочки сот А имеет непустую внутренность, то справедливо равенство conv А = (А+А)/2.

Следствие 1.2.6. Если множество АсКп гомеоморфно

некоторому выпуклому компакту в Еп, а его опорная функция дифференцируема всюду, кроме нуля, то это множество выпукло.

В §1.3 результаты §1.1 применяются к теории двойственности

невыпуклых экстремальных задач. В общей схеме двойственности,

введенной Р.Т.Рокафелларом, рассматривается функционал

з.п£ Ф(х,у) (1.3.1)

хеХ

где Ф(х,у)- произвольная (невыпуклая) функция. Исходная

задача заключается в минимизации (1.3.1) при у=0. В двойственной

задаче нужно найти минимум

g"(0) = -jnf. g'(y'), У еК

где g"(y") = sup Ф*(у'), Ф (у):= Ъ(х,у)

хчХ *

Предположим, что маргинальная функция (1.3.1) (слабо) пн. снизу.

Для этого достаточно, например, потребовать, что X -компактное

топологическое пространство и произвольная функция Ф(х,у):ХхУ->К

пн. снизу на XxY (У снабжается слабой топологией, если

используется производная Гато).

Теорема 1.3.1. Если функция £**(у*):К%R (Гато) Фреше

дифференцируема в точке своего минимума у*, то справедлива

двойственность g "(0)=g(0). Элемент хеХ т. и т. т. дает

глобальное решение задачи (1.3.1), когда Ф(х,0)+g*(у*)=0.

Таким образом, основной результат диссертации состоит в том,

что разрывы двойственности должны быть связаны с негладкостью

двойственной задачи (двойственная задача либо вообще не имеет

решения, либо она не дифференцируема в точке своего минимума). В

§1.3 приведены примеры задач автоматического управления, теории

операторных пучков и оптимального планирования эксперимента.

Обширный §1.4 посвящен вычислению сопряженных функций к

максимуму семейств квадратичных форм

к

2D(x)max <Dx,x>+Y, <с ,x>z, (1.4.1)

DeB.c еС i=i 1

i l

которые имеют многочисленные применения в анализе и статистике. Пусть K(fO:= {у=Кх: хеШп} и N(K)\= [xsWF: Кх=0} будут образом и ядром матрицы KzО, соответственно. Как известно, сопряженная функция к квадратичной форме g(x)=<Kx,x>/2 равна g*(y) = <К*у,у>/2, где К* обозначает псевдообратную матрицу, причем <К*у,у>:= +а> при уеЯ(К). Введем множество

к

К = ■( if = D+Y с сг I De»,с eC , i=l, . . . ,k (■ (1.4.2)

1 '-ill ' i i 1 i=i

неотрицательно определенных матриц К порядка п. Тогда

2D(x) = max <Кх,х> (1.4.3)

КеК

Следующий результат, в котором опять используется Теорема 1.2.1, будет играть ключевую роль в Главах II-VI.

Теорема 1.4.2. Пусть И - компактное выпуклое множество неотрицательно определенных матриц D порядка л, а С , i=l,. .. ,k -компактные выпуклые центрально симметричные множества в IRn . Пусть

£:= п И(К) = { xelR"| D(x)=0 } (1.4.9;

КеК

будет пересечением ядер всех матриц из множества (1.4.2). Тогда сопряженная к функции (1.4.3) имеет вид

, min <К*у,у>/2, уе2х D.iy; UeX (1.4.10)

[ +», угЯ

Лля фиксированного вектора уе£±, матрица К <=К т. и т. т.

будет решением вспомогательной задачи (1.4.10), когда

<К х ,х > = шах <Кх ,х > (1.4.11)

у у у КеК у у

для вектора х , такого что К х =у. В этом случае

У У У

D*(y)=D(x), х 4dD"(y) (1.4.12)

У У

Теорема 1.4.3. Если все матрицы из множества (1.4.2) положительно определены, то функция (1.4.3) строго выпукла, а ее сопряженная непрерывно дифференцируема, причем ее градиент равен

VD* (у) = х = К'1 у у у

Следствие 1.4.4. Если ядро Ü в (1.4.9) равно нулю, то

||х|| := max <Кх,х>1/г и ||у||° = min <К*у,у>г/г К КеК К КеК

являются двойственными нормами в IRn.

Этот результат дает новый класс аналитических неравенств [2]

\\уг+угII0 * llyj^llyjl0. IN 1|У|Г * <*,у>.

1 2 К К К к к

хеХ

В §1.5 строится теория двойственности для невыпуклых экстремальных задач, аналогичных задачам оптимального импульсного управления. Пусть действительные функции £^(х), 1=0,1,... определены на произвольном множестве X. Введем обозначения Р(у) ;=1п£ { f0(.x): / (х)ау1, 1 /1(х)=у1, к<ит } (1.5.1. а)

хеХ V. 0 1 = 1 1 1 )

С(у):= Бир { <р(.у,у*): } (1.5.1.с)

У*еКга

Функции Р(у) и И(у) называются значениями прямой и двойственной задачи соответственно. В §1.5 получены условия, гарантирующие равенство Р(у)=0(у) в нелинейных экстремальных задачах (1.5.1.а), имеющих специальный вид

х = (и ,...,и ). X = их...Xи ( п раз ), (1.5.3а)

1 П

Г (х) ), ¿=0,1.....т (1.5.ЗЬ)

.1 = 1

(аналогично задачам оптимального управления, условие хеХ в

задаче (1.5.1.а) имеет вид и^и, ¿=1.....л). Здесь ё1(и) -

действительные функции, определенные на произвольном множестве и. При этом предполагается, что числовой образ

й(и):= { (ё(и)_____ё (и;;еЕп+1 | иеи )

о ш ■

функций а=0,1,...,ш, является .(невыпуклым) конусом:

аде^Ш) УаЫЭ, че^Ш , (1.5.4)

и что выполнены условия

т

ЗгеК™: 2 *0, 1=1____,к, £ г 0Ли) з £ (и) УиеУ (1.5.5)

1 = 1

(двойственная задача (1.5.1.с) совместна), а также условие

пгт (1.5.6)

Экстремальные задачи с указанной структурой возникают также из задач оптимального управления, если рассмотреть игольчатые вариации произвольного допустимого управления и линеаризовать полученную конечномерную задачу относительно длин варьируемых

отрезков управления.

Теорема 1:5.1. Пусть значение прямой задачи пн. снизу и выполнены условия (1.5.3)-(1.5.6). Тогда:

1) значения двойственных задач совпадают и имеют вид

Р(у)= вир | <у,у*>: £ , УиеУ ]■ (1.5.7)

у** 0.1=1.....к 1 1 = 1 ;

2) вектор у =\ тогда и только тогда дает решение

двойственной задачи, когда является вектором Куна-Танкера в

прямой задаче, т.е. когда

Р(у) = 1п£ { / (х)-Е \ и Ш-у) I; хеХ 0 1=1 1 1 1 I

Замечание. Из условий (1.5.3)-(1.5.6) следует выпуклость значения Р(у). Поэтому оно непрерывно, если всюду конечно.

Теорема 1.5.2. Пусть х# - глобальное решение задачи (1.5.1а) и выполнены условия (1.5.3)-(1.5.6). Тогда:

1) найдутся числа X ,..., не все равные кулю, для которых выполнены условия

А^О, 1=0,1.....к, (/^ (х, )~У1 )=0, 1=1,...,к, (1.5.9а)

Ш

Ихя) = ^ Их), Их) = А / (х)-£ X / (х); (1.5. 9Ь)

хеХ 00 1=1 1 1

2) если . то условия (1.5.9) не только необходимы, но и достаточны, вектор А=(А .,.,Х ) является вектором Куна-Таккера и в точке у выполнено равенство (1.5.7).

В §1.6 вынесено аналитическое решение некоторых задач квадратичного программирования, необходимое нам для Главы IV.

Вторая глава посвящена задаче минимаксного оценивания параметров вей™ в линейных регрессионных моделях 7)=Дв+£ с

N

неопределенными статистиками второго порядка. В этой модели т)еК

Т г

- вектор измерении, ¿=С веК - оцениваемый вектор, £ - вектор случайных ошибок, имеющий среднее Е^е^сК1* и ковариационную матрицу КеК. Предполагается, что множество К состоит из

положительно определенных матриц порядка N и имеет вид к

X = -{ К = D+ Е е ет: De», е еб , i=l.....к }■, (2.1.2)

1 = 1

который возникает, когда суммарная ошибка С может быть разбита на cvmmv £ = £ +е е +..,+с е (слагаемые с е вносят систематические

* 3 4 sO 1 1 k к 11

ошибки, а £ - ошибку общей природы), если Е€ое6о, соv(£o,£o)eE, Ес=0, cov(c,c)=IK> cov(c,?o)=0. Предполагается также, что неизвестные векторы е не случайны, множества ^ и S выпуклы и компактны, причем множества Б clRM, i=0,...,k, симметричны относительно нуля, и что матрица А имеет полный ранг rasN.

Вначале рассматриваются линейные оценки -¿=(-6 , . .. ,-t ) ,

, x^eR*1, j=1.....г заданного параметра A=CT8elRr.

Максимальное (гарантированное) значение

2D(X): = sup 1Е|г-г|г, Х:=(х .....х )6|RNr

1 . Г

среднеквадратичной ошибки E|i--tj2 оценки будет конечным

лишь при условии ЛТХ=С. В этом случае

г

ZD(X) = max Y <Вх ,х > = шах <ВХ,Х>, (2.1.5)

ВеВ j=i J J ВеВ

где В - априорное множество матриц вторых моментов вектора £, а <X,K>=Sp XYr - скалярное произведение матриц X,YeRNr. Чтобы найти минимаксную оценку ¿-„—X^v, нужно решить задачу

аг /2:= min ( D(X): ХбКЫг, ЛТХ=С } (2.1.7)

min

Такая модель возникает, например, если наблюдения i)(t )= f(t Ес^=0, содержат неизвестный тренд f(t) с непрерывной

производной |jf(m)(t)j<с. Заменяя тренд f(t) его Тейлоровским разложением и затем включая его последний, член в суммарные ошибки £ , получим

J m- 1

v(t ) = Е е tVt.'+f , (4.6.1)

k = 0 J

0 =f(k)(0), I - с|t |m/m/ (4.6.2)

* J J

Эта модель была предложена А.Н.Колмогоровым в 1963г.

В §2.2, посвященном двойственности, предполагается, что либо оценивается скалярный параметр Í. либо ошибки наблюдений не содержат систематических составляющих Etei- Ключевую роль здесь играет следующий результат, вытекающий из Теорем 1.4.2 и 1.4.3.

Лемма 2.2.1. Пусть либо ¿eIR, либо множество ZMD компактно и выпукло. Тогда сопряженная функция d"(Y) непрерывно

дифференцируема ,и может быть записана в форме

d'(Y) = min <В"1У,У>/2 (2.2.1)

Be В

Для фиксированного вектора УеКНг, матрица ВуеЗВ т. и т. т. дает решение вспомогательной задачи (2.2.1), когда она дает решение задачи (2.1.5) для вектора Ху=В~хУ. В этом случае

D'(Y) = D(Xv), IJD'(Y) = Ху = В~'У (2.2.2)

Теорема 2.2.2. Справедливо разенство

-а2 /2 = rain ( ü'(Ав)-<С,в> } (2.2.3)

eeR"""

Если 9, - решение двойственной задачи (2.2.3), то вектор

Хш = ЪО~(Авш) (2 2.4)

является единственным решением исходной задачи (2.1.5),(2.1.7).

- Несмотря на свою простоту, последний.результат дает одно из самых ярких свидетельств в пользу применения теории двойственности. Вместо исходной негладкой задачи (2.1.7), в которой может быть очень много переменных, удобно перейти к двойственной задаче (2.2.3), в которой сопряженная функция D*(Y): IRNr-»IR непрерывно дифференцируема и для ряда практически важных случаев статистических ограничений будет вычислена аналитически. В этих случаях двойственная задача (2.2.3) заключается в безусловной минимизации эффективно вычисляемой гладкой выпуклой функции вектора состояния, имеющей небольшую размерность ( обычно m<<N ).

В §2.3 показано, что решением минимаксной задачи является оценка наименьших квадратов, соответствующая наименее

благоприятной матрице вторых моментов. Хотя связь минимаксных

оценок с методом наименьших квадратов, по-видимому, была впервые

замечена еще Вальдом, приводимая ниже Теорема 2.3.1, которая

следует из Теоремы 2.2.2 и Леммы 2.2.1, является новой и будет

играть ключевую роль в §2.5 и §3.2 при доказательстве линейности

минимаксных оценок.

Теорема 2.3.1. Пусть либо AelR, либо множество В=»

компактно и выпукло, и где

X. = В11А(АгВ'ш1А)~1С (2.3.1)

- МНК-оцениватель, соответствующий весовой матрице В,е В и

имеющий среднеквадратичную ошибку

Е|г.-А|2 = max <UTB'1A)'1C,C> (2.3.2)

BeS

Тогда сгг = ЕIt-L\ 2, оцениватель X является решением

min*1 *

минимаксной задачи (2.1.5),(2.1.7), а вектор

е. = (АТВ11А)~1С (2.3.3)

является решением двойственной задачи (2.2.3). И наоборот, если вектор - решение двойственной задачи (2.2.3), а матрица В -решение подзадачи (2.2.1), вычисленное для вектора У=А&щ, то В -наименее благоприятная матрица вторых моментов (.решение задачи (2.3.2)), и справедливы равенства (2.3.1), (2.3.3).

Этот результат позволяет также сконструировать новый алгоритм минимаксного оценивания, тесно связанный с методом наименьших квадратов (МНК), и доказать его сходимость. Минимаксный метод наименьших квадратов: Шаг 0: полагаем s=0 и выбираем начальную матрицу Шаг 1: решаем линейную систему уравнений

(АГВ~1А)8 = С (2.4.1)

S S

и вычисляем МНК - оцениватель

X = В_1Лв ; (2.4.2)

Шаг 2: выбираем новую матрицу В^^еВ, решая вспомогательную задачу

min <В~1Л9 ,Л9 >; (2.4.3)

Be В s s

Полагаем s:=s+l и переходим на шаг 1.

Со статистической точки зрения каждый шаг этого алгоритма состоит из итерации общепринятого метода наименьших квадратов с весовой матрицей В и поиска следующей наихудшей матрицы вторых моментов В (детали этого алгоритма описаны в §5.3).

s + 1

Теорема 2.4.1. Указанный алгоритм порождает последовательность смещенных оценивателей X := чО*(Ав ), s=0,1,..., такую что

S S

АТХ -с-»0 при s->m .

s

Таким образом, градиенты двойственной задачи (2.2.3) в точках в для минимаксного МНК сходятся к нулю. В Теореме 2.4.2

S

показано, что в этом алгоритме нет необходимости решать двойственную задачу с высокой точностью.

Как известно, в задачах минимаксного оценивания можно ограничиться линейными оценками, если ошибки измерений не случайны (С.А.Смоляк, Н.С.Бахвалов, А.Б.Куржанский, А.И.Матасов, М.И.Гусев и другие). В §2.5 этот результат установлен для случайных ошибок измерений, имеющих ковариационную матрицу из априорно заданного класса (2.1.2).

Введем обозначение Е£=0, Е££теВ./. Для произвольной

нелинейной оценки £(r¡) скалярного параметра -f., гарантированное значение среднеквадратичного уклонения ЕС Sí2), S¿. = í-t равно D(t):= sup í £(St2): v=Ae+?, СеН, веК™ J, (2.5.1)

и задача отыскания оптимального алгоритма гарантирующего оценивания в классе нелинейных оценок принимает вид

D : = inf D(t) (2.5.2)

min

í(-)

В (2.5.2) рассматриваются только те оценки í(r¡), для которых

выполнены условия регулярности ■■••..

| [¿(у)др(у\е)/ав1 |(1у < +ш, 1=1.....т. -I. •

где

р(у|6) = (2тг)~м/2|В|ехр { -(у-Лв)тВ"1(у-А0)/2 }

- плотность нормального распределения -л-!»!(40,В), обеспечивающие

выполнение неравенства Рао-Крамера для всех нормальных

распределений т)~М(А0,В), беК", ВеВ (будем писать £"1М(е,В),

если случайный вектор С имеет, нормальное распределение со средним

Е£=е и ковариационной матрицей В).

Теорема 2.5.1. Пусть г.=стееК, и $ ={о}. Тогда

справедливо равенство

V = шах ст(АтВ~1А)~1с (2.5.3)

п1л ВеВ

Решение задачи (2.5.1)-(2.5.2) достигается на линейной оценке

ст(АтВ11А)'1АтВ11V, (2.5.4)

соответствующей обобщенному методу наименьших квадратов с весовой матрицей В.еВ, которая дает решение задачи (2.5.3).

Иными словами: а) использование нелинейных алгоритмов не улучшает точности оценок параметров; б) минимаксная оценка получается по методу наименьших квадратов с наименее благоприятной весовой матрицей из априорно заданного класса В. При этом, как видно из доказательства, наименее благоприятным является нормальное распределение £ " И(0,В^).

Для задачи о наихудшей корреляции линейность минимаксной оценки установлена А.И. Матасовым.

Третья глава посвящена минимаксно- байесовскому оцениванию.

Обозначим через класс всех распределений Р(у) случайного

вектора Y=(r,e) с компонентами уеИ", 8e(Rm, имеющего известное

среднее ЕрУ=Уо=(уо,9q), но неизвестную ковариационную матрицу

к = соv(y,y), которая принадлежит априорно заданному классу к

неотрицательно определенных матриц порядка . п+га.. Пусть., по

наблюдениям компоненты у нужно найти оценку i = t(у) для

вектора t = CT0elRr. В качестве характеристики точности этой

оценки примем величину

DU) ~ sup Г \l~l\2P(dy) (3.1.1)

РеТ J

Для отыскания минимаксно- байесовской оценки ¿.(г) нужно на классе всех измеримых функций t(r) : IRn-»Rr найти решение задачи D := inf DU) - (3.1.2)

min

U-)

Мы покажем, что в минимаксной задаче (3.1.1)-(3.1.2) есть седловая точка (i^Pj, и поэтому она эквивалентна двойственной D = sup inf Г \b-L\zP(dy) (3.1.3)

min J 1 1

РеГ U•)

Распределение Р.еР, которое доставляет максимум в (3.1.3), мы

К =

К К vir г&

К К er ее

будем называть наименее благоприятным. Введем обозначения

К - cov (у,г) тгтг

где ™ ;

к = cov (у,0)

те

Sp К - след матрицы К; Кг - псевдообратная матрица.

Теорема 3.2.1. Если множество К компактно и выпукло, то

D = тах <(.К -К К* К )С,С> (3.2.1)

min JfeX &9 °r rr

Наименее благоприятным в априорном классе 7 является нормальное распределение Y~tN(Yo,R) , в котором КеК - любое решение задачи (3.2.1). Решение исходной задачи (3.1.1)-(3.1.2) дает линейная оценка , которая в случае невырожденной матрицы К имеет вид

=ст(в +К ГЧг-г ))

В §3.2 также рассмотрен более общий случай распределений, первые и вторые моменты которых принадлежат априорно заданным классам. Обозначим через У класс всех распределений, удовлетворяющих ограничениям ЕрУ=ее6о, £p(Y-e)(Y-e)T= К е К. В классе линейных оценок минимаксная оценка зависит только от матрицы вторых моментов В=ЕрУУт, которая принадлежит множеству

8 = {В = К + еет: КеК, ее€ } (3.1.4)

о

В Теореме 3.2.2 показано, что если ввести более широкий класс распределений Р , удовлетворяющих ограничению Ер(У—УоКУ-Уо>те® с априорно заданным вектором Yq и множеством S вида (3.1.4) (при Уо=0 распределения из классов V^ и ¥^ имеют одни и те же матрицы вторых моментов), то минимаксно- байесовская оценка для класса токе будет линейной (при этом придется

ограничиться случаем скалярного параметра Ь-<с,в>).

Теорема 3.2.3. Если множество К компактно и состоит из неотрицательно определенных матриц, то все утверждения Теоремы 3.2.1 останутся справедливы, если выпукло не само это множество, а матричное множество I К: 3 КеК, Кг=К }.

Теорема 3.2.1 является обобщением теоремы о нормальной корреляции, а также аналогичных результатов, полученных Vandelinde и А.Р.Панковым для случая, когда все распределения имеют

известные среднее Уо и матрицу ковариаций К. Формально Теорема 3.2.1 - частный случай Теоремы 3.2.3. Другой частный случай получается, когда множество К содержит максимальный элемент, т.е. К±К при всех КеК для некоторой матрицы КеК (Vandelinde, А.Р. Панков). Очевидно, что в этом случае "К ~ решение задачи (3.2.1).

В §3.3 рассмотрены минимаксно- байесовские оценки параметров в линейных моделях наблюдения тг-Ав+р, в которых вектор случайных параметров в некоррелирован с вектором ошибок р, а ковариационные

матрицы этих векторов принадлежат априорно заданным классам: Ев=во, Ер=0, соcov(e,p.)=0, соуСр,р;=ЯеК (3.3.1) Теорема 3.3.1. Если множества У и Я выпуклы и компактны и содержат положительно определенные матрицы, то

О = тах <(Т~1+АтВ~1А)~1С,С> (3.3.2)

™1п ГеУ.ЯеЯ

Минимаксно-байесовской для вектора -1=Ств является линейная оценка I = сТ(Г"1+ДТЛ"1А)"1(АТГ'у+Г19 ), (3.3.3,)

* • о

в которой ТеЯ, НеЯ - любое решение задачи (3.3.2). При этом

наименее благоприятными являются нормальные распределения в~И(во,Т) и р"Л(О,Я).

Самым простым априорным ограничением на параметры служит точность Е|в-в^|2^о-2 априорной оценки Е9=9о параметров е. В Теореме 3.3.2 показано, что если оценивать весь вектор параметров Ь=9, то при 0о=О минимаксно- байесовская оценка является простым сжатием МНК-оценки. В §3.4 рассмотрены минимаксные оценки точечных параметров в в линейных моделях наблюдения с неопределенными статистиками второго порядка в том случае, когда наряду с косвенными наблюдениями у=да+р имеются прямые наблюдения 0=0о+с параметров 0. Здесь показано, что минимаксно— байесовские оценки линейны и могут быть найдены путем решения любой из четырех эквивалентных задач. Это позволяет распространить на задачи минимаксно- байесовского оценивания все результаты и алгоритмы, полученные для точечных оценок параметров в Главах П,1УД.

В §3.5 рассмотрены минимаксно- байесовские оценки параметров в в линейной модели наблюдений

Т=А0+р, Е0=ео, Ер=0, соч(в,в):=ТеЗ, соч(р,р):=И<=Я (3.5.1) в той крайней ситуации, когда нам ничего не известно о взаимной ковариации векторов вир, и мы ожидаем самого худшего. Здесь считается, что ранг матрицы А равен т, и что У и Я - выпуклые

компакты положительно определенных матриц. Теорема 3.5.1. Справедливо равенство

£> = тах ( Бр СТРС; О^Г, АтЯ"1А)~г } (3.5.2) т1" СаО, ГеЭ", ЛеК

Наименее благоприятным в задаче (3.1.2), (3.5.1) будет нормальное распределение вектора (в,р) в случае

cov(в,e)=Tш, сосоу(р,в;=-АО., (3.5.3)

где О , Т , Я, - решение задачи (3.5.2), а минимаксно-байесовская оценка будет линейна.

Статистический смысл этого результата заключается в том, что матрица условной ковариации СтОщС вектора Ь=Ств для наименее благоприятного распределения равна, грубо говоря, минимальной из ковариационных матриц Оо:=СтТ^С, :=СТ(АТЯ~1А)~1С оценок

вектора полученных из априорных данных во и методом наименьших квадратов по измерениям у (поскольку отношение задает

лишь частичный порядок на матрицах ковариации, то упорядочивание производится относительно скалярной величины Е\£-£\г). Далее рассматривается случай известных ковариаций векторов в и р. Глубокий факт, доказываемый в Теореме 3.5.7, состоит в том, что если оценивать весь вектор параметров, то для получения минимаксной оценки в случае произвольной корреляции сигнала и шума нужно по одним направлениям взять МНК-оценки параметров, а по остальным довольствоваться априорными значениями этих параметров (т.е. минимаксно - байесовская оценка имеет вид

, где t =СТ0 - априорная оценка вектора 4-=Ств,

* * 1 га * О О О

=СТ1л;~11/ - МНК-оценка этого вектора, а - в общем случае неортогональный проектор (Я

Четвертая глава посвящена одному из направлений в теории минимаксного оценивания - оптимальному гарантирующему оцениванию. В этом направлении задача оценивания, описанная нами в §2.1,

рассматривается в случае скалярного оцениваемого параметра и ограниченных дисперсий и коэффициентов корреляции ошибок наблюдений (либо ограниченных средних значений и ковариаций), что позволило в явном виде вычислить гарантированную дисперсию ошибки оценивания для любой линейной оценки СБ.Ц.Бахшиян, Р.Р.Назиров, П.Е.Эльясберг). Основная задача, решаемая нами в Главе IV: в явном виде вычислить сопряженную функцию к этой гарантированной дисперсии, которая фигурирует в двойственной задаче (2.2.3).

В §4.1 рассмотрены различные ограничения на дисперсии и коэффициенты корреляции ошибок измерений. Вместо этих ограничений удобно считать, что заданы прямые ограничения на их ковариации:

= 0, < с/м, ... (4.1.7)

в которых заданная положительно определенная матрица с

неотрицательными элементами. К этим ограничениям следует добавить требование неотрицательной определенности ковариационной матрицы

К г цГ , где ц>0. (4.1.9)

Из Теоремы 2.5.1 вытекает, что использование нелинейных оценок не улучшает точности оценивания параметров при наличии априорных ограничений (4.1.7), (4.1.9) при ц>0.

Теорема 4.1.2. Пусть г=стееК и £еЕ: = {£: Е£=0, Е££теВ], где

з = { я=!|ьи!' ¿.¿=1.....}

Тогда решение задачи (2.5.1)-(2.5.2) достигается на линейной оценке (2.5.4), соответствующей обобщенному методу наименьших квадратов с весовой матрицей которая дает решение задачи

(2.5.3). Наименее благоприятно нормальное распределение £"N(0,6,) В §4.2 показано, что для определения сопряженной функции нужно решить задачу квадратичного программирования, имеющую специальный вид (аналитическое решение этой задачи было получено в §1.6). Для его описания, обозначим через ш ={^ } любой

п 1 п

набор из п различных индексов lsj <J2<•■•<J„-W и через 1с Си Л, i.jew , элементы матрицы порядка п, обратной к

11 i J n 11 n

матрице ¡d^fl, Введем также обозначение

J кеы

n

Теорема 4.2.2. Существует целое число n, lznsN, и набор и* из п различных индексов, удовлетворяющий условиям

n

h (u*) > О, jeu*, h (u ) s 0, j«u*, и u* и {j},

jn n Jn+1 n n +1 n

такой, что D*(y) E . с fu*; |yj|y,l /2

i,jeu n

n

Теорема 4.2.3. Вели матрица, обратная к матрице D, является матрицей Стилтьеса, то следующие условия эквивалентны: a) Jeun; b) h (ы )>0 для любого набора и , содержащего индекс j.

J г г

Далее будет видно, что для --ограничений (4.1.7), имеющих статистический смысл, эти результаты часто позволяют вычислить сопряженную функцию аналитически, ибо в таких случаях матрица максимальных ковариаций l^jjll = fc i ■ j11 • i ■ j=l, • ■ ■ ,Af,

определяется некоторой ковариационной функцией r(t,z), для

которой матрица, обратная к |r(ti,tj)||, i,j-1.....N, вычисляется

в явном виде для любых моментов измерений t ,...,t . Ясно, что

1 N

тогда в явном виде вычисляются и все матрицы Iе,j|. i.jeus^. Отметим еще, что в статистически интересных случаях обычно обратная матрица D_1=C=|c j имеет элементы cijs0, i*j (т.е. С — матрица Стилтьеса; как известно, в случае матрицы Стилтьеса С все элементы обратной матрицы £>=С-1 неотрицательны).

В §4.3 показано, что минимаксная оценка может быть получена, если мы отбракуем часть измерений, и обработаем оставшиеся методом наименьших квадратов с весовой матрицей максимальных ковариаций. Затем в §§4.4, 4.5 подробно разбираются следующие варианты априорных ограничений (г - коэффициент

корреляции ошибок измерений ^ и

a) случай ограниченной корреляции ошибок измерений

Е£ = О, |r I i к, ( 0<к<1 ), j*s;

j ' J s 1

b) случай затухающей корреляции ошибок измерений

• Е£ = О, |г | з exp(-o|t -t |), j*s;

J J s J s

c) случай ограниченных средних ошибок измерений

Во всех трех случаях предполагается, что дисперсии ограничены. В этих и нескольких других случаях сопряженная функция и смещенные оценки вычислены аналитически.

§4.6 посвящен аналитическим свойствам минимаксных оценок коэффициентов полиномиальной регрессии в рассмотренной выше модели А.Н.Колмогорова (4.6.1),(4.6.2). Мы рассмотрим модель (4.6.1) при общих априорных ограничениях

I Е£ IsJIift ), Ik Isaft )<т( t )r(t ~t ), s, j^—N,...,N,

1 s1 s 1 s j ' s J s j

r( t)= r(-t), M(t)= M(-1), <t( tj= a-(-t) t--t_Jf j- -W....W

Чтобы восстановить неизвестный тренд f(t), нужно оценить

коэффициенты i.=e , к= 0,...,т-1 полинома (4.6.1). к

Теорема 4.6.1. Решения х = (х* .....х*), в = (е*,...,е* )

* —N N »О *ш-1

двойственных задач (2.1.7), (2.2.3) подчиняются равенствам в* =0, r= 1,...,[т/2]

2 г — 1

х*= х*} , j=-N,...,N, если к четно; 0* = О, ,г= О.....[(т-1)/2],

2 г

х*= -х j , j=-N,...,N, если к нечетно. В §4.7 вычисляется наименее благоприятная матрица вторых моментов, в §4.8 рассматривается случай положительной корреляции ошибок наблюдений, а в §4.9. - еще несколько достаточно общих случаев статистических ограничений на ошибки измерений, один из

которых был предложен П.Е.Эльясбергом.

Пятая глава, посвященная численным алгоритмам минимаксного оценивания, начинается с оценок неоптимальности метода наименьших квадратов, которые играют важную роль в рассматриваемых нами методах, поскольку по самой своей природе задача оптимального гарантирующего оценивания не требует высокой точности поиска минимума ни по функционалу, ни по аргументу. В некоторых случаях благодаря таким оценкам можно вообще не решать .задачу оптимизации, приняв классическую МНК-оценку в качестве оптимальной.

В Главах 11-1У задача вычисления оптимальных оценок была сведена к задаче безусловной минимизации некоторой гладкой выпуклой функции. Для решения двойственной задачи (2.2.3) в §5.2 предложены градиентные методы, а в §5.3 - минимаксный метод наименьших квадратов. В §5.4 описано применение метода Ньютона к решению двойственной задачи, который в силу ее специфики оказался тесно связанным с использованием (взвешенного) метода наименьших квадратов на усеченных выборках измерений. Сравнение эффективности всех трех методов проводится в §5.5 на задаче оценивания параметров движения спутника по околокруговой орбите. Здесь описан опыт использования разработанного автором комплекса программ оптимального гарантирующего оценивания, реализующих градиентный метод, минимаксный МНК и усеченный МНК для трех указанных выше вариантов статистических ограничений.

В шестой главе рассмотрена задача восстановления параметра Ь=<с,в> из вектора случайных данных т)=Ае+£ при наличии априорной информации вев и априорных ограничений Е£=0, Е££теК, где множество К определено в (2.1.2). Сначала мы сосредоточимся на случае центрально-симметричного множества в. В §6.2 дано обобщение одного результата, принадлежащего И.А.Ибрагимову и Р.З.

Хасьминскому, а также А.М.Федотову на задачи минимаксного оценивания с неопределенными- статистиками второго порядка. Полученная здесь теорема двойственности обеспечивает многие возможности для конструирования численных алгоритмов, которые обсуждаются в §6.5. В §6.3 приведено обобщение красивого результата, принадлежащего В.Б.Меласу, которое в случае точно определенных статистик первого и второго порядка приводит к аномальной двойственной задаче. В §6.4 показано, что если априорное множество 0 не симметрично относительно нуля, все результаты Главы VI по-прежнему применимы, но множество 9 следует симметризовать относительно нуля. Так же, как и в Главах Н-1У, в доказательствах используются результаты о сопряженных функциях к максимуму семейств квадратичных форм, полученные в §1.4.

ЗАКЛЮЧЕНИЕ.

В работе получены следующие основные результаты:

1. Описаны связи выпуклости в исходном пространстве с гладкостью в сопряженном пространстве в терминах сопряженных функций, а также опорных функций.

2. Построена теория двойственности невыпуклых экстремальных задач, которые являются аналогами задач оптимального импульсного управления. Эта теория может найти дальнейшие приложения к задачам оптимального управления и минимаксного оценивания.

3. Вычислены сопряженные функции к максимуму семейств квадратичных форм, а также опорные,функции пересечений семейств эллипсоидов . На их основе получены теоремы двойственности для различных задач минимаксного и минимаксно- байесовского оценивания.

4. Получены различные обобщения теоремы о нормальной корреляции, в которых устанавлена линейность минимаксно-байесовских оценок и нормальность наименее благоприятных

распределений. С их помощью установлена линейность минимаксно-байесовских оценок в линейных моделях наблюдения с неопределенными статистиками второго порядка.

5. Исследованы минимаксно- байесовские оценки параметров в линейных моделях наблюдения с неопределенными статистиками второго порядка для двух противоположных постановок задачи оценивания, в которых векторы параметров и ошибок измерений либо совсем не коррелированы, либо могут быть коррелированы совершенно произвольным образом.

6. Установлена линейность минимаксных оценок скалярного параметра в задачах минимаксного оценивания в линейных моделях наблюдения с неопределенными статистиками второго порядка, что принципиально упрощает теоретический анализ и численные методы минимаксного оценивания.

7. Сконструирован новый алгоритм минимаксного оценивания векторного параметра в указанных моделях наблюдения, который тесно связан с общепринятыми методами наименьших кзадратов, и поэтому может найти дальнейшие приложения к различным задачам минимаксного и минимаксно- байесовского оценивания и-теории плохо обусловленных задач. Доказана его сходимость.

8. - Развиты методы аналитического вычисления сопряженных функций в теории оптимального гарантирующего оценивания, а на их основе - три численных метода решения двойственной задачи. Показано, что оптимальная оценка может быть получена, если отбраковать часть измерений, и обработать оставшиеся методом наименьших квадратов с весовой матрицей максимальных ковариаций.

Основные публикации автора по теме диссертации.

1. Соловьев В.Н. Применение двойственности экстремальных задач к задаче линейной многоимпульсной коррекции// Тезисы доклада Всесоюзной научной конференции "Гагаринские научные чтения по авиации и космонавтике 1985". М.: Наука, 1986.

2. Soloviov V. Support Functions and Analytic Inequalities// J. Math. Analysis and Its Appl., 1986. V.117. P.23-41.

3. Соловьев В.Н. Двойственность некоторых невыпуклых, экстремальных задач// Курн. вычисл. матем. и мат. физики, 1987. Т.27. N2. С.459-463.

4. Соловьев В.Н. Двойственность невыпуклых экстремальных задач// Доклады АН СССР, 1990. Т.314. N1. С.135-138.

5. Соловьев В.Н. Некоторые алгоритмы квадратичного программирования и оптимального гарантирующего оценивания // Автоматика и Телемеханика, 1990. N9. С.67-73.

6. Бахшиян Б.Ц., Соловьев В.Н. Применение теоремы двойственности к задаче оптимального гарантированного оценивания// Космич. исслед., 1990 . Т.28. N2. С.163-169.

7. Соловьев В.Н. Упрощение двойственных экстремальных задач, инвариантных относительно замены переменных // Матем. заметки, 1991. Т.49. N5. С.104-109.

8. Соловьев В.Н. Двойственные алгоритмы минимаксного оценивания параметров движения в непрерывной постановке// Космич. исслед., 1991. Т.29. N1. С.127-132.

9. Соловьев В.Н. Одна теорема о минимаксе // Тезисы доклада Всесоюзной конференции "Негладкий анализ и его приложения к математической экономике", Баку: изд. Элм, 1991.

10. Соловьев В.Н. Двойственные алгоритмы оптимального гарантирующего оценивания// Космич. исслед., 1992. Т.30. N1. С.10-24.

11. Soloviov V. Duality for Nonconvex Optimization and Its Applications // Analysis Mathematica, 1993. V.19. N4. P.297-315.

12. Soloviov V. Minimax Estimation and the Least Squares Method // Stochastics and Stochastics reports, 1993. V.42. P.209-223.

13. Соловьев Б.Н. О линейности оптимальных алгоритмов гарантирующего оценивания // Космич. исслед., 1994. Т.32. N2. С.122-124.

14. Соловьев В.Н. Двойственные алгоритмы оптимального гарантирующего оценивания и усеченный метод наименьших квадратов // Космич. исслед., 1995. Т.33, N1. С.3-11.

15. Соловьев В.Н. Минимаксно - байесовское оценивание ка классах распределений с ограниченными вторыми моментами// Успехи мат. наук, 1995. Т.50. N4. С.171-172.

16. Соловьев В.Н. О связи выпуклости и гладкости// Тезисы докладов III-ей Международной конференции женщин-математиков (29 мая - 2 июня 1995г.). Воронеж: ВИПКРО, 1995. С.60.

17. Соловьев В.Н. О связи выпуклости и гладкости. II// Тезисы докладов Воронежской весенней математической школы '"Современные методы в теории краевых задач", "Понтрягинские чтения-VII" (17-23 апреля 1996). Воронеж: ВГУ, 1996. С.168.

Автор сердечно благодарит Виктора Ивановича Влагодатских за многолетнюю поддержку своих научных исследований.