Фильтрованная арифметическая мера и минимаксные теоремы тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Математический институт им В А Стеклова РАН

На правах рукописи

□из44езза

Жданов Денис Александрович

Фильтрованная арифметическая мера и минимаксные теоремы

01 01 05 - теория вероятностей и математическая статистика

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

2 2 СЕН 2008

Москва 2008

003446339

Работа выполнена в Математическом институте им В А Стеклова в отделе теории вероятностей и математической статистики

Научный руководитель - доктор физико-математических наук А А Гущин

Официальные оппоненты

доктор физико-математических наук MB Бурнашев (Институт проблем передачи информации РАН),

кандидат физико-математических наук А В Селиванов (механико-математический факультет МГУ)

Ведущая организация - Центральный экономико-математический институт РАН

Защита состоится_9 октября 2008 года О О_

дата, время

на заседании диссертационного совета Д 002 022 01 при Математическом институте им В А Стеклова по адресу г Москва, ул Губкина, 8

С диссертацией можно ознакомиться в библиотеке

Математического института им В А Стеклова РАН

Автореферат разослан_б сентября 2008 года_

дата

Ученый секретарь Диссертационного совета

д ф -м н В А Ватутин

Основной целью математической статистики является выявление на основе "наблюдаемых данных" истинной теории в, то есть выявление той вероятностной модели, которая "лучше всего" согласуется с "наблюдаемыми данными" В связи с этим, основным объектом исследования является статистический эксперимент Е = (О, Т, Рв, 9 е ©) Для формализации самой постановки вопроса о том, какая из вероятностных мер Р0 (те какая из "теорий" в) "лучше всего согласуется" с наблюдаемыми данными, каково "качество" принимаемого решения относительно в, какие при этом возникают "потери" и тп , А Вальдом [1] была предложена теория решающих правил, основанная на идеях из теории игр Теория статистических игр рассматривалась, например, в монографиях Д Блэкуэлла и М А Гиршика [2], Т Фергюсона [3] и А А Боровкова [4]

В 1997 году Д Хаусслер [5] рассмотрел следующую игру статистика с"природой"

Имеется семейство {Рв}всв вероятностных распределений на полном сепарабельном метрическом пространстве X Природа выбирает (априорное) распределение р, на множестве 6 После чего выбирается 9 в соответствии с д Далее статистик, не зная это значение 9 и стратегию ц, выбирает некоторое распределение <3 на X Потери статистика описываются информацией Кульбака-Лейблера 0(Рв\\0)

Варианты этой игры рассматривались многими авторами Игра также имеет интерпретации в финансовой математике и теории игр, в теории машинного обучения, в теории кодирования минимаксное значение в этой игре соответствует емкости канала от 0 к X

Для антагонистических игр принципом оптимальности является принцип минимакса (называемый также принципом гарантированного результата), состоящий в выборе вторым игроком такой стратегии, чтобы минимизировать свой проигрыш в наименее благопри-

ятной ситуации, то есть какую бы стратегию противник ни выбрал Такие стратегии называются минимаксными

Рассмотрим максимальные потери, которые может понести второй игрок (статистик), пользуясь одной из своих стратегий, их нижняя грань по всем стратегиям называется верхней ценой игры Аналогично, максимизируя по всем стратегиям первого игрока (природы) тот гарантированный доход, который он может получить, пользуясь одной из своих стратегий, получаем нижнюю цену игры Важную роль в теории игр имеет минимаксная теорема, которая состоит в том, что верхняя и нижняя цены игры совпадают

Д Хаусслер доказал минимаксный результат для рассматриваемой им игры, а также показал, что минимаксная стратегия статистика существует и находится в замыкании множества всех байесовских стратегий

Естественно поставить вопрос об обобщении результата Д Хаус-слера на другие функции потерь

Подходящими функциями потерь в данной задаче являются потери, задаваемые /-дивергенциями (расходимость истинного и выбранного распределений), которые обобщают такие известные расстояния между вероятностными распределениями, как информация Кульбака-Лейблера, квадрат расстояния Хеллингера, расстояние по вариации Для таких функций потерь минимаксный результат для /-дивергенций для случая конечного © доказал в 1972 году И Чисар [6]

Во второй главе настоящей работы изучается игра статистика с природой, рассматриваемая Д Хаусслером, где в качестве функции потерь берется произвольная /-дивергенция ^{Р91|(?) Доказаны минимаксная теорема и существование минимаксной стратегии статистика

Наше доказательство существенно отличается от доказательства Д Хаусслера, которое использует специфику рассматриваемой им функции потерь и не переносится на другие функции потерь В частности, в доказательстве Д Хаусслера используется следующий факт

^ 10{Р»Щцт = 10{Р°\\РММ), (1)

где Р,; = f Рвц((Ю) есть арифметическая мера, а инфимум берется по всем борелевским вероятностным мерам Я на X Иными словами, если статистик знает стратегию природы ц, то его оптимальной (байесовской) стратегией будет Р;1. Если информацию Кульбака-Лейблера заменить произвольной /-дивергенцией, то равенство (1) уже не будет иметь место, и байесовская стратегия не равна Р;1

Помимо этого, для случая конечного 9 нами доказывается существование байесовской стратегии и найден ее вид в рассматриваемой игре с функцией потерь, задаваемой /-дивергенцией Стоит заметить, что И Чисар, по существу, доказал эти утверждения [б] Здесь мы их докажем иными методами — методами выпуклого анализа и с использованием понятия /-дивергенции для конечно-аддитивных мер, предложенному в статье [8]

В непараметрическом оценивании задача нахождения нижней границы для минимаксного риска часто сводится к оценке снизу для минимаксного риска на специально выбираемом конечном подмножестве значений параметра Одну из используемых оценок снизу для минимаксного риска в случае конечного параметрического множества дает лемма Фано, основанная на неравенстве Фано в теории информации и впервые использованная для получения нижних границ в задачах оценивания в работах И А Ибрагимова и Р 3 Хась-минского

Следующий вариант леммы Фано можно найти, например, в ра-

боте А А Гущина [7]

п

/n(p„xX>,i>(pm (2)

»-i

где Е = F", 1 < г ^ п) — статистический эксперимент, функция /„(ж) = (1-х) log(l-r)+a; log^j-E^i аг loga,, ра - байесовский риск, отвечающий априорному распределению а = {ai, , ап }, а R есть любая вероятностная мера на (П, F)

В соответствии с (1) минимум по i? в правой части (2) достигается на (нефильтрованной) арифметической мере Ра — ХГ-i Однако, как правило, оценка (2) с R = Ра практически не используется Это связано с тем, что величину D(P4\Pa) не удается вычислить даже в простых моделях Именно поэтому в применениях леммы Фано оценку (2) зачастую загрубляют, чтобы получить оценки, более удобные для вычислений Например, используется неравенство

п п

(3)

«=1

вытекающее из (2) с R = Ра в силу выпуклости информации Кульбака-Лейблера по второму аргументу

Введение фильтрации F = (^t)i€R+ в обычную схему статистического эксперимента приводит к новому объекту исследования — фильтрованному статистическому эксперименту

Оказывается, что в случае фильтрованного статистического эксперимента Е = (íl, J7,F = (-FjOteRT, Р1,1 < г ^ п) можно указать более точную по сравнению с (3) оценку, которая хоть и уступает оценке (2) с R = Ра, но во многих моделях доступна вычислению Идея состоит в том, чтобы в (2) взять в качестве R так называемую

фильтрованную арифметическую меру, коюрая, образно говоря, получается усреднением переходных вероятностей, а не самих мер, как для арифметической меры

Фильтрованная мера обладает также следующим замечательным свойством Неформально говоря, триплеты любого семимартингала по ней получаются усреднением с весами а, его характеристик по мерам Р'

Значительная часть диссертации посвящена изучению фильтрованной арифметической меры

Научная новизна. Основные результаты диссертации состоят в следующем

• Доказана минимаксная теорема в описанной выше игре с функцией потерь, задаваемой произвольной /-дивергенцией

• Для конечного случая доказано существование байесовской стратегии и найден ее вид в описанной выше игре с функцией потерь, задаваемой произвольной /-дивергенцией

• Введено понятие фильтрованной арифметической меры Изучены ее свойства, доказана теорема существования фильтрованной арифметической меры

• Найдена оценка снизу для минимаксного риска в лемме Фано в предсказуемых терминах

Методы исследования.

В работе применяются методы теории вероятностей, функционального анализа, выпуклого анализа и стохастического исчисления

Теоретическая и практическая ценность.

Работа носит теоретический характер Ее результаты могут быть полезны в теории вероятностей, теории случайных процессов, теории

принятия решений, стохастическом анализе, а также в некоторых задачах финансовой математики

Апробация диссертации и публикации.

Автор выступал с докладами на следующих конференциях, где излагались результаты, относящиеся к диссертации

1 XIII Всероссийская школа-коллоквиум по стохастическим методам, г Йошкар-Ола, 16- 22 декабря 2006 г Название доклада — Минимаксный результат для /-дивергенций

2 Российско-Япопский симпозиум "Complex Stochastic Models Asymptotic and Applications 4-5 июня 2007 г, Математический институт им В А Стеклова Название постерного доклада — Filtered Arithmetical Measure and Its Applications

3 XIV Всероссийская школа-коллоквиум по стохастическим методам, г Адлер, 29 сентября-7 октября 2007 г Название доклада — Решение мартингальной проблемы для фильтрованной арифметической меры

Кроме того, по теме диссертации был сделан доклад на семинаре „Стохастический анализ теория и приложения", проводимому в Математическом институте им В А Стеклова под руководством А Н Ширяева и А А Гущина

Основные результаты диссертации опубликованы в четырех работах, в том числе, включенных в список ВАК

1 Жданов Д А Минимаксный результат для /-дивергенций — Обозрение прикл и промышл матем , 2005, т 12, в 4, с 856857

2 Gushchm А А , Zhdanov D A A minimax result for /-divergences — In From Stochastic Calculus to Mathematical Finance The Shiryaev

Festschrift /Eds by Yu Kabanov, R Lipster, J Stoyanov Heidelberg Springer, 2006, p 287-295

3 Жданов Д А. О лемме Фано для случая фильтрованного пространства — Обозрение прнкл и промышл матем , 2006, т 13, в 6, с 1024-1026

4 Жданов Д А Фильтрованная арифметическая мера и ее применения — Теория вероятн и ее применен , 2008, т 53, в 2, с 354-364

Структура и объем работы. Работа состоит из введения, трех глав и списка литературы из 63 наименований Общий объем диссертации составляет 79 стр

Диссертация построена следующим образом В главе 1 приводятся некоторые определения и известные факты из теории вероятностей, выпуклого анализа и стохастического анализа, используемые в последующих доказательствах

Глава 2 посвящена решению общей минимаксной теоремы для /-дивергенций и для конечного случая — доказательству существования байесовской стратегии и нахождению ее вида

В главе 3 изучается фильтрованная арифметическая мера Содержание диссертации Диссертация состоит из трех глав В первой главе собраны основные определения и некоторые вспомогательные результаты, которые используются в последующих главах

Остановимся на подробном изложении содержании глав 2 и 3 Пусть (X, р) является полным сецарабельным пространством пространством и В(Х) есть борелевская <т-алгебра Обозначим Р(Х) множество всех вероятностных мер на (Х,В(Х)) Хорошо известно, что пространство V{X) с топологией слабой сходимости метри-

зуемо и, более того, является польским пространством (например, можно взять ограниченную липшицеву метрику или метрику Леви-Прохорова)

Обозначим Т>(Р(Х)) множество всех вероятностных мер на пространстве (Р(Х), В(Р(Х))) Пусть дано борелевское множество Р е В(Т{Х)) Элементы множества Р интерпретируются как возможные состояния природы

Рассматривается следующая статистическая игра против природы Сначала природа выбирает априорную меру

после чего случайным образом в соответствии с /л выбирается мера Р е Р Затем, не зная Р и /1, статистик выбирает меру С) е Т(Х) Его потери в этом случае описываются /-дивергенцией 1/(Р\|<5) Верхняя цена этой игры (минимаксное значение) есть

и нижняя цена (максиминное значение) выражается следующим образом

Интегралы выше определены, поскольку /-дивергенция является полунепрерывной снизу и ограниченной снизу функцией Ясно, что V

Основной результат главы 2 состоит в следующем при общих предположениях на 0 имеет место равенство У_ = V, и существует минимаксная стратегия <2* <Е Т{Х), то есть

^еР(Р) ={реР(Г{Х)) /х(Р) = 1},

V = вир /

,/р

Этот результат сформулирован в разделе 2 4 в теореме 2 5 и сообщает известные результаты И Чисара, относящихся к случаю конечного Р, и Д Хаусслера в случае функции потерь, выражаемой информацией Кульбака-Лейблера, те f(x) = хlogх

Доказательство Д Хаусспера существенно использует вид указанной функции потерь и не может быть перенесено на случай произвольной функции / Основная идея нашего доказательства состоит в том, чтобы компактифицировать пространство X и свести задачу к случаю компактного пространства В компактном случае метод доказательства будет достаточно стандартным для минимаксных теорем

Далее, пусть Р — вероятностная мера, эквивалентная Р1 + + Рп, положим р1 — dP'/dP В теореме 2 1 утверждается существование байесовской страта ии в конечном случае для любого априорного распределения fi существует байесовская стратегия Q, причем такая, что Q Р То есть существует такая вероятностная мера

q « р, что E'UMP'WQ) = ^El^JfiP'WQ)

В теореме 2 2 приводится вид байесовской стратегии А именно пусть f — функция, определяемая соотношениями f(x) = xf(l/x), х > 0, /(0) = lim f{u)/u, f(x) = +oo, x < О В случае /(0) < +oo

a |oo

под /'(0) понимается правая производная / в нуле Не ограничивая общности, будем полагать, что все /i® > 0 Положим £ = dQ/dP Тогда

Если /(0) = +оо или 7(0) < +оо, j'{0>) = -оо, то Р(£ > 0) = 1 Если /(0) = +оо, то U?=1{p' = 0} С {£ = 0} Р-п н В общем случае найдутся такие случайные величины д,, 1 < г ^ п, со значениями в (—оо, +оо] и число с € R, что Р-п н

на множестве {( > 0}

9> € д!Ш1 если р' > 0, 9% = /(0), если р' - О,

п

= С,

1=1

а на множестве {£ = 0}

дх G <9/(0), если р' > О,

3. = /(0), если р* = О,

П

Y^ > с

1=1

Здесь <9<?(а;) обозначает субдифференциал д в точке z

Глава 3 посвящена изучению фильтрованной арифметической меры

В разделе 3 1 дается определение фильтрованной арифметической меры и изучаются ее свойства

Рассматривается фильтрованный статистический эксперимент

E = (fi,^,F=(^)t6R+,(Pl)i<t<„) Пусть а,, 1 < г ^ п, есть набор нормированных весов а, > 0,

Неформально говоря, фильтрованная арифметическая мера — это такая вероятностная мера, относительно которой характеристики любого семимартингала получаются усреднением с весами а, его характеристик по мерам Рг Заметим, что (нефильтрованная) арифметическая мера Ра = а>Р' таким свойством не обладает Действительно, пусть з* есть процессы плотности мер Р1 относительно Ра Тогда триплет характеристик Та = (Ва,Са, va) семимартингала

X по мере Ра выражается через триплеты Тг = (В,,6'г,1/г) по мерам Рг следующим образом [9]

= oyL Д, Са = Си = v% Ра - пн

г г t

В связи с тем, что триплеты определяются с точностью до множеств меры нуль, а нулевое множество по одной из мер может не быть таковым по другой, приведенное выше неформальное определение фильтрованной арифметической меры не вполне корректно В действительности, мы предпочитаем исходить из другого харак-теризационного свойства фильтрованной арифметической меры, а именно стохастический логарифм ее процесса плотности получается усреднением стохастических логарифмов процессов плотностей по исходным мерам Стохастические логарифмы Log3® корректно определены, по крайней мере, на множестве Г' = > 0}, поэтому формула Z = £(Y^tai£°9i') корректно задает процесс Z, по крайней мере, на множестве Г = ПГ'

Однако, даже если все меры Р* локально эквивалентны (и, стало быть, Г = П х R,), мера с таким процессом плотности не обязана существовать (в разделе 3 1 в примере 3 1 рассмотрен такой случай) Тем не менее, Z является Ра-локальным мартингалом, поэтому существует такая последовательность моментов остановки Sm | оо, что ZSm есть Pa-равномерно интегрируемый мартингал И, значит, для каждого тп найдется такая мера Qm, процесс плотности которой относительно Ра есть ZSm Любой семимартингал по мерам Р' будет семимартингалом по мере Qm, и его триплет характеристик на [0, Sm| получается усреднением триплетов по мерам Р1 В принятой в работе терминологии такая мера является фильтрованной арифметической мерой, отвечающей моменту Sm

В общем случае, то есть когда Р1, . , Р™ не являются локально

эквивалентными, мы фактически требуем от фильтрованной арифметической меры, отвечающей моменту 5, чтобы 8(^11а,Сод}') был ее процессом плотности на |0,П Г, и свойство усреднения триплетов будет иметь место на том же интервале

Формально, вероятностную меру <3 назовем фильтрованной арифметической мерой, отвечающей марковскому моменту 5, если для любого такого марковского момента Т, что

Т < 5 всюду и |0, Т| с Г Ра — п н , (4)

выполнены следующие условия 1) б^лт (Р«)«лт ДОЯ любого £ ^ О, 2) процесс плотности меры <Э по мере Ра на [О, Т] имеет вид 8 а,£од?) Ра-п н

Для работы с фильтрованными арифметическими мерами, в частности, для их нахождения весьма важным является вопрос о том, сохраняется ли свойство усреднения стохастических логарифмов процессов плотности при замене Ра на произвольную локально доминирующую меру и, если да, то характеризует ли это свойство фильтрованные арифметические меры Положительный ответ на этот вопрос дается в теоремах 3 2 и 3 3

Другим центральным результатом данного раздела является теорема 3 б, в которой показывается, что характеристики любого се-мимартингала по фильтрованной арифметической мере получаются усреднением характеристик по мерам Р1 А именно, пусть процесс X является ¿-мерным семимартингалом на (П, Т, Р, Р1), 1 ^ г ^ п, с триплетами характеристик Т, = (В,, С,, иг) соответственно относительно одной и той же функции усечения Л, а Р есть фильтрованная арифметическая мера, отвечающая марковскому моменту 5 Тогда для любого марковского момента Т, удовлетворяющего (4), остановленный процесс Хт является семимартингалом на (П, ЗГ, Р) со

следующим триплетом характеристик Т[ —- (В/, С/, и/) относительно И

= В„ С/ = ^а,Сг, = на [О,Т| Р-п н

1 1 г

В разделе 3 3 доказывается теорема 3 8 о существовании фильтрованной арифметической меры существует такая возрастающая последовательность (Тт) предсказуемых марковских моментов, что Г С итЦ0,Тт| Ра-п н , и для любого т существует фильтрованная арифметическая мера, отвечающая марковскому моменту Тт

В разделе 3 4 приводится одно из применений фильтрованной арифметической меры дается вычислимая оценка в лемме Фано для минимаксного риска и байесовского риска Пусть Е = (П,^7^ = №)4ея+) (•Р,)кг<п)ссть фильтрованный статистический эксперимент Рандомизированное решающее правило есть набор ф = (ф\, , фп) измеримых функций на П со значениями в [0,1] и таких, что У], фг — 1 Пусть Ф — класс всех рандомизированных решающих правил, а = {с*1, , ап} — распределение вероятностей на {1, , п} Определим минимаксный риск рм = ш^ф тах!^^ Ер. (1—фг) и байесовский риск Ра = — ф%) Положим а* = тах^,^ аг и определим на отрезке [0,1 — а*] функцию ¡п{х) — (1 - х) 1(^(1 — х) + - аг 1°£аг (здесь 0 1ой0 = 0) Легко проверить, что /п(х) строго убывает и выпукла

Следующий вариант леммы Фано для неравномерного распределения можно найти, например, в работе А А Гущина [7]

п

¡п(рм) < к{ра) ^ £>,.0(Р1Р) (5)

для любой вероятностной меры Дна (П,^7), £>(Р'ЦР) есть информация Кульбака-Лейблера между соответствующими мерами О (Р® || й) = ¡\оё%ёР\ если Р1 -С К, и 1>(Рг\\Я) = оо в противном случае

Как отмечалось выше, минимум по Дв правой части (5) достигается на мере Ра =

^¿а,£>(Р,||Д) = |^а!£>(Р>||Ра) (6)

»=1 «=1 Однако оценка (5) с Л = Ра практически не используется Это связано с тем, что, как правило, величину В(Р1\\Ра) не удается вычислить даже в простых моделях Между тем, величину 0(Рг\\Р3) зачастую удается вычислить Именно поэтому в применениях леммы Фано оценку (5) обычно загрубляют Например, используются следующие неравенства, которые сразу вытекают из (5) (с К — Ра) в силу выпуклости информации Кульбака-Лейблера по второму аргументу

Шм) < кЫ < ¿а,¿а,Я(Р||Р) (7)

»=1

Оказывается, в случае фильтрованного статистического эксперимента

Е = (Л,Т,Г = (Л)(еП+, Р\ 1 < г < п)

можно указать более точную по сравнению с (7) оценку, которая хоть и уступает оценке (5) с Л = Ра, но во многих моделях доступна вычислению Идея состоит в том, чтобы в (5) взять в качестве Д фильтрованную арифметическую меру

Напомним, что для информации Кульбака-Лейблера между мерами, заданными на пространстве с фильтрацией существует представление через так называемый процесс Кульбака-Лейблера к(Р, Я) [10] £)(Рх||Дг) = ЕРк(Р,Н)т, где Т — произвольный марковский момент

Оказывается, что процесс Кульбака-Лейблера к(Р\ (5) между мерами Р! и фильтрованной арифметической мерой ф, отвечающей марковскому моменту 5, для многих моделей наблюдений имеет

удобное представление на стохастическом интервале [[О, Т| П Г Более того, можно определить (предсказуемый возрастающий) процесс к\ который совпадает с процессом к:(P',Q) на [0,S| П Г для любой фильтрованной арифметической меры Q (отвечающей моменту S) и сохраняет относительно простую структуру на всем временном интервале [0, +оо).

Основной результат этого раздела — теорема 3 9 — говорит, что для любого марковского момента Т, удовлетворяющего (4), имеют место следующие неравенства

п

Шм,т) «S ín(Ра,т) < {Ра)т) <

»=1

п п п

i=i i=i j=i где Рм,т п Ра,т, соответственно, есть минимаксный и байесовский риск в статистическом эксперименте Ет = (-Р/Ою^п)

Работа выполнена под руководством д ф -м н А А Гущина, которому автор выражает искреннюю благодарность за выбор направления исследования, поддержку и постоянное внимание к работе

Список литературы

[1] Wald A Statistical Decision Functions NY Wiley, London Chapman and Hall, 1950

[2] Блэкуэлл Д, Гиршик M А Теория игр и статистических решений М ИЛ, 1984, 144 с

[3] Ferguson Т Mathematical Statistics A decision Theoretic Approach NY Academic, 1967

[4] Боровков А А Математическая статистика Дополнительные главы М Наука, 1958, 100 с

[5] Haussler D A general minimax result for relative entropy — IEEE Trans Inform Theory, july 1997, v 43, №4, , p 1276-1280

[6] Csiszar I A class of measures of informatwity of observation channels — Periodica Mathematica Hungarica, 1972, v 2 (1-4), p 191-213

[7] Гущин А А О лемме Фано и аналогичных неравенствах для минимаксного риска — Теория вероятн и матем статист, 2002, в 67, с 26-37

[8] Гущин А А О расширении понятия /-дивергенции — Теория вероятн и ее примен , 2007, т 52, в 3, с 468-489

[9] Жакод Ж, Ширяев А Н Предельные теоремы для случайных процессов В двух томах Пер с англ М Физматлит, 1994

[10] Коломиец Э И Мартингальные методы в асимптотической теории проверки статистических гипотез Диссертация на соискание ученой степени кандидата физико-математических наук Москва, 1986

[11] Bvrge L A new lower bound for multiple hypothesis testing — IEEE Trans Inf Theory, 2005, v 51, №4, p 1611-1615

Подписано в печать 05 09 2008 г

Печать трафаретная

Заказ № 692 Тираж 120 экз

Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш, 36 (499) 788-78-56 www autoreferat ru

Введение

1 Необходимые сведения и определения

1.1 Необходимые сведения из теории вероятностей и функционального анализа.

1.2 Необходимые сведения из выпуклого анализа.

1.3 Необходимые факты и определения из стохастического анализа

2 Общая минимаксная теорема для /-дивергенций

2.1 Определения и постановка задачи.

2.2 Вспомогательные утверждения.

2.3 Основные теоремы. Случай конечного ©

2.4 Основные теоремы. Общий случай.

3 Фильтрованная арифметическая мера

3.1 Введение.

3.2 Определение и основные свойства фильтрованной арифметической меры.

3.3 Построение фильтрованной арифметической меры.

3.4 Применение фильтрованной арифметической меры.

Основной целью математической статистики является выявление на основе "наблюдаемых данных" истинной теории в, то есть выявление той вероятностной модели, которая "лучше всего" согласуется с "наблюдаемыми данными". В связи с этим, основным объектом исследования является статистический эксперимент Е = (0,,Т]Рв,в £ 0). Для формализации самой постановки вопроса о том, какая из вероятностных мер Ре (т.е. какая из "теорий" 9) "лучше всего согласуется" с наблюдаемыми данными, каково "качество" принимаемого решения относительно в, какие при этом возникают "потери" и т.п., А. Вальдом [63] была предложена теория решающих правил, основными компонентами которой являются пространство решений и функция потерь. Статистические игры являются частью теории статистических решающих функций. Теория статистических игр рассматривалась, например, в монографиях Д. Блэкуэлла и М. А. Гиршика [2], Т. Фергюсона [39] и А. А. Боровкова [3].

В 1997 году Д. Хаусслер [44] рассмотрел следующую игру статистика с "природой".

Имеется семейство {Р9}в'ее вероятностных распределений на полном се-парабельном метрическом пространстве X. Природа выбирает (априорное) распределение ц на множестве в. После чего выбирается в в соответствии с Далее статистик, не зная это значение в и стратегию д, выбирает некоторое распределение Q на X. Потери статистика описываются информацией Кульбака-Лейблера D{Pe\\Q).

Варианты этой игры рассматривались несколькими авторами (см., например, [30], [38], [46], [47]). Игра также имеет интерпретации в финансовой математике и теории игр [30], [28], в теории машинного обучения [45], в теории кодирования минимаксное значение в этой игре соответствует емкости канала от в к X [30].

Для антагонистических игр принципом оптимальности является принцип минимакса (называемый также принципом гарантированного результата), состоящий в выборе вторым игроком такой стратегии, чтобы минимизировать свой проигрыш в наименее благоприятной ситуации, то есть какую бы стратегию противник ни выбрал. Такие стратегии называются минимаксными [22], [6].

Рассмотрим максимальные потери, которые может понести второй игрок (статистик), пользуясь одной из своих стратегий; их нижняя грань по всем стратегиям называется верхней ценой игры. Аналогично, максимизируя по всем стратегиям первого игрока (природы) тот гарантированный доход, который он может получить, пользуясь одной из своих стратегий, получаем нижнюю цену игры. Важную роль в теории игр имеет минимаксная теорема, которая состоит в том, что верхняя и нижняя цены игры совпадают.

Д. Хаусслер доказал минимаксный результат для рассматриваемой им игры, а также показал, что минимаксная стратегия статистика находится в замыкании множества всех байесовских стратегий [44].

Естественно поставить вопрос об обобщении результата Д. Хаусслера на другие функции потерь.

Подходящими функциями потерь в данной задаче являются потери, задаваемые /-дивергенциями (расходимость выбранного и истинного распределений) , которые обобщают такие известные расстояния между вероятностными распределениями, как информация Кульбака-Лейблера, квадрат расстояния Хеллингера, расстояние по вариации. Для таких функций потерь минимаксный результат для /-дивергенций для случая конечного Э доказал в 1972 году И. Чисар [32].

В настоящей работе изучается игра статистика с природой, рассматриваемая Д. Хаусслером, где в качестве функции потерь берется произвольная /-дивергенция If(Pe\\Q). Доказаны минимаксная теорема и существование минимаксной стратегии статистика.

Наше доказательство существенно отличается от доказательства Д. Ха-усслера, которое использует специфику рассматриваемой им функции потерь и не переносится на другие функции потерь. В частности, в доказательстве Д. Хаусслера используется следующий факт: inf J D(P9\\R)fi(dO) = J D(Pe\\P,MdO), (1) где Рц = J Peii{d9) есть арифметическая мера, а нижняя грань берется по всем борелевским вероятностным мерам R на X. Иными словами, если статистик знает стратегию природы /л, то его оптимальной (байесовской) стратегией будет Рц. Если информацию Кульбака-Лейблера заменить произвольной /-дивергенцией, то равенство (1) уже не будет иметь место, и байесовская стратегия не равна Рц.

Помимо этого, для случая конечного © нами доказывается существование байесовской стратегии и найден ее вид в рассматриваемой игре с функцией потерь, задаваемой /-дивергенцией. Стоит заметить, что И. Чисар, по существу, доказал эти утверждения [32]. Здесь мы их докажем иными методами — методами выпуклого анализа и с использованием понятия /дивергенции для конечно-аддитивных мер, предложенного в статье [9].

В непараметрическом оценивании задача нахождения нижней границы для минимаксного риска часто сводится к оценке снизу для минимаксного риска на специально выбираемом конечном подмножестве значений параметра. Одну из используемых оценок снизу для минимаксного риска в случае конечного параметрического множества дает лемма Фано, основанная на неравенстве Фано в теории информации и впервые использованная для получения нижних границ в задачах оценивания в работах И. А. Ибрагимова и Р. 3. Хасьминского.

Следующий вариант леммы Фано можно найти, например, в [8]: п fn{Pa)^Y,a^P * И (2) г=1 где Е = 1 ^ г ^ п) — статистический эксперимент, функция fn{x) := (1 - х) log(l - х) + хlog^ - logoff, — байесовский риск, отвечающий априорному распределению а = {ai,., ап}, a R есть любая вероятностная мера на (П,^7).

В соответствии с (1) минимум по R в правой части (2) достигается на (нефильтрованной) арифметической мере Ра = Х)Г=1 агРг- Однако, как правило, оценка (2) с R — Ра практически не используется. Это связано с тем, что величину 0(Рг\\Ра) не удается вычислить даже в простых моделях. Именно поэтому в применениях леммы Фано оценку (2) зачастую загруб-ляют, чтобы получить оценки, более удобные для вычислений. Например, используется неравенство: п п

3) t=1 j=1 вытекающее из (2) с R = Ра в силу выпуклости информации Кульбака-Лейблера по второму аргументу.

Введение фильтрации F = (J-t)teR+ в обычную схему статистического эксперимента приводит к новому объекту исследования — фильтрованному статистическому эксперименту Е = (Г2, F = Рв■> 0 € Э).

Оказывается, что в случае фильтрованного статистического эксперимента Е = F = (^)f6R+;Pl, 1 < г ^ п) можно указать более точную по сравнению с (3) оценку, которая хоть и уступает оценке (2) с R — Ра, но во многих моделях доступна вычислению. Идея состоит в том, чтобы в (2) взять в качестве R так называемую фильтрованную арифметическую меру, которая, образно говоря, получается усреднением переходных вероятностей, а не самих мер, как для арифметической меры.

Фильтрованная мера обладает также следующим замечательным свойством. Неформально говоря, триплеты любого семимартингала по ней получаются усреднением с весами щ его характеристик по мерам Рг.

Значительная часть диссертации посвящена изучению фильтрованной арифметической меры.

Научная новизна. Основные результаты диссертации состоят в следующем.

• Доказана минимаксная теорема в описанной выше игре с функцией потерь, задаваемой произвольной /-дивергенцией.

• Для конечного случая доказано существование байесовской стратегии и найден ее вид в описанной выше игре с функцией потерь, задаваемой произвольной /-дивергенцией.

• Введено понятие фильтрованной арифметической меры. Изучены ее свойства, доказана теорема существования фильтрованной арифметической меры.

• Найдена оценка снизу для минимаксного риска в лемме Фано в предсказуемых терминах.

Методы исследования.

В работе применяются методы теории вероятностей, функционального анализа, выпуклого анализа и стохастического исчисления.

Теоретическая и практическая ценность.

Работа носит теоретический характер. Ее результаты могут быть полезны в теории вероятностей, теории случайных процессов, теории принятия решений, стохастическом анализе, а также в некоторых задачах финансовой математики.

Апробация диссертации и публикации.

Автор выступал с докладами на следующих конференциях, где излагались результаты, относящиеся к диссертации.

1. XIII Всероссийская школа-коллоквиум по стохастическим методам, г. Йошкар-Ола, 16- 22 декабря 2006 г. Название доклада — Минимаксный результат для /-дивергенций.

2. Российско-Японский симпозиум "Complex Stochastic Models: Asymptotic and Applications 4-5 июня 2007 г., Математический институт им. В. А. Стеклова. Название постерного доклада — Filtered Arithmetical Measure and Its Applications.

3. XIV Всероссийская школа-коллоквиум по стохастическим методам, г. Адлер, 29 сентября-7 октября 2007 г. Название доклада — Решение мартингальной проблемы для фильтрованной арифметической меры.

Кроме того, по теме диссертации был сделан доклад на семинаре „Стохастический анализ: теория и приложения", проводимому в Математическом институте им. В. А. Стеклова под руководством А. Н. Ширяева и А. А. Гущина.

Основные результаты диссертации опубликованы в следующих работах: [11], [43], [12], [13].

Структура и объем работы. Работа состоит из введения, трех глав и списка литературы из 63 наименований. Общий объем диссертации составляет 79 стр.

1. Алексеев В. М., Тихомиров В. М., Фомин С. В. Оптимальное управление. М.: Наука, 1979.

2. Блэкуэлл Д., Гиршик М.А. Теория игр и статистических решений. М.: ИЛ, 1984, 144 с.

3. Боровков А. А. Математическая статистика. Дополнительные главы. М.: Наука, 1958, 100 с.с

4. Богачев В. И. Основы теории меры. Том 1. Москва-Ижевск: НИЦ Регулярная и стохастическая динамика, 2006.

5. Булинский А. В., Ширяев А. Н. Теория случайных процессов. М.: ФИЗ-МАТЛИТ, 2003.

6. Воробьев Н. М. Основы теории игр. Бескоалиционные игры. М., 1984.

7. Гущин А. А. О сходимости последовательностей семимартингалов и их компонент. — Тр. МИРАН. Т. 202. Статистика и управление случайными процессами. М.: ТВП, 1993, с. 42-119.

8. Гущин А. А. О лемме Фано и аналогичных неравенствах для минимаксного риска. — Теория вероятн. и матем. статист., 2002, в. 67, с. 26-37.

9. Гущин А. А. О расширении понятия /-дивергенции. — Теория вероятн. и ее примен., 2007, т. 52, в. 3, с. 468-489.

10. Жакод Ж., Ширяев А. Н. Предельные теоремы для случайных процессов. В двух томах. Пер. с англ. М.: Физматлит, 1994.

11. Жданов Д. А. Минимаксный результат для /-дивергенций. — Обозрение прикл. и промышл. матем., 2005, т. 12, в. 4, с. 856-857.

12. Жданов Д. А. О лемме Фано для случая фильтрованного пространства. — Обозрение прикл. и промышл. матем., 2006, т. 13, в. 6, с. 10241026.

13. Жданов Д. А. Фильтрованная арифметическая мера и ее применения. — Теория вероятн. и ее применен., 2008, т. 53, в. 2, с. 354-364.

14. Ибрагимов И. А., Хасъминский Р. 3. Асимптотическая теория оценивания. М.: Наука, 1979.

15. Кабанов Ю., Липцер Р. Ш., Ширяев А. Н. Абсолютная непрерывность и сингулярность локально абсолютно непрерывных вероятностных распределений I. — Матем. сб., 1978, т. 107, №3, с. 364-415.

16. Кабанов Ю., Липцер Р. Ш., Ширяев А. Н. Абсолютная непрерывность и сингулярность локально абсолютно непрерывных вероятностных распределений II. — Матем. сб., 1979, т. 108, №1, с. 32-61.

17. Коломиец Э. И. Мартингальные методы в асимптотической теории проверки статистических гипотез. Диссертация на соискание ученой степени кандидата физико-математических наук. Москва, 1986.

18. Коломиец Э. И. Об асимптотическом поведении вероятностей ошибок второго рода в критерии Неймана-Пирсона (случай вполне асимптотически различимых гипотез). — Теория вероятн. и ее примен., 1987, т. 32, в. 3, с. 503-522.

19. Липцер Р. Ш., Ширяев А. Н. Теория мартингалов. М.: Физматлит, 1986.

20. Липцер Р. Ш., Ширяев А. Н. Статистика случайных процессов. М.: Наука, 1974.

21. Не её Ж. Математические основы теории вероятностей. М.: Мир, 1965.

22. Фон Нейман Дж., Моргенштерн О. Теория игр и экономическое поведение. М., 1970.

23. Черный А. С. Семейства согласованных вероятностных мер . — Теория вероятн. и ее примен., 2001, т. 46, в. 1, с. 160-163.

24. Ширяев А.Н., Черный А. С. Векторный стохастический интеграл и фундаментальные теоремы теории арбитража. — Тр. Матем. ин-та им. В. А. Стек лова РАН, 2002, т. 237, с. 12-56.

25. Экланд И., Темам Р. Выпуклый анализ и вариационные проблемы. М.: Мир, 1979.

26. Aliprantis C.D., Border К. С. Infinite Dimensional Analysis. 3rd Edition. Heidelberg: Springer, 2006.

27. Attouch H., Brezis H. Duality of the sum of the convex functions in general Banach spaces. — In: Aspects of Mathematics and Its Applications. Amsterdam: North-Holland, 1986, p. 125-133.

28. Barron A., Cover T. A bound on the financial value of information. — IEEE Trans. Inform. Theory, 1988, v. 34, p. 1097-1100.

29. Birge L. A new lower bound for multiple hypothesis testing. — IEEE Trans. Inf. Theory, 2005, v. 51, №4, p. 1611-1615.

30. Clark В., Barron A. Information-theoretic asymptotics of Bayes maethods. IEEE Trans. Inform. Theory, 1990, v. 36, p. 453-471.

31. Csiszar I. Eine Informationstheoretische Ungleichung und ihre Anwendung auf den Beweis der Ergodizitat von markoffschen Ketten. — Trud. Akad. Mat. Kutato Int. Kozl. Magyar, 1963, v.8, p. 85-108.

32. Csiszar I. A class of measures of informativity of observation channels. — Periodica Mathematica Hungarica, 1972, v. 2 (1-4), p. 191-213.

33. Davisson L., Leon-Garsia A. A source matching approach to finding minim&x codes. IEEE Trans. Inform. Theory, 1980, v. IT-26, p. 166-174.

34. Delbaen F., Schachermayer W. A General Version of the Fundamental Theorem of Asset Pricing. — Mathematische Annalen, 1994, v. 300, p. 463-520.

35. Dellacherie C., Meyer P. A. Probabilites et potentiel. Paris: Hermann.

36. Dudley R. M. Real Analysis and Probability. Wadsworth, 1989.

37. Dzhaparidze K., Spreij P., Valkeila E. Information Processes for Semimartingale Experiments. — Ann. Probab., 2003, v. 13, №1, p. 216-243.

38. Efroimovich S. Y. Information contained in a sequence of observations. — Probabl. Inform. Transm., 1980, v. 15, p. 178-189.

39. Ferguson T. Mathematical Statistics: A decision Theoretic Approach. NY: Academic, 1967.

40. Gallager R. Source coding with side information and universal, coding. Technical Report LIDS-P-937, Mass. Instit. Tech., 1976.

41. Gushchin A. A., Valkeila E. Approximations and limit theorems for likelhood ratio processes in the binary case. — Statistics & Decisions, 2003, v. 21, p. 219-260.

42. Gushchin A. A., Zhdanov D.A. A minimax result for /-divergences. — In: From Stochastic Calculus to Mathematical Finance. The Shiryaev Festschrift. /Eds. by Yu. Kabanov, R. Lipster, J. Stoyanov. Heidelberg: Springer, 2006, p. 287-295.

43. Haussler D. A general minimax result for relative entropy. — IEEE Trans. Inform. Theory, july 1997, v. 43, №4, , p. 1276-1280.

44. Haussler D., К earns M., Schapire R. E. Bounds on the sample complexity of Bayesian learning using information theory and the Vapnik-Chervonenkis dimension. — Mach. Learn., 1994, v. 14, №1, p. 83-113.

45. Haussler D., Opper M. Mutual information, metric entropy and cumulative relative entropy risk. Ann. Stat., 1997, v. 25, №6, p. 2451-2492.

46. Ibragimov I., Hasminski R. On the information in a sample about a parameter. — In: Proc. 2nd Int. Symp. on Information Theory, 1972, p. 295-309.

47. Jacod J., Shiryaev A. N. Limit Theorems For Stochastic Processes. 2nd Ed. Berlin-Heidelberg: Springer, 2003.

48. Jacod J. Calcul Stochastique et Problemes de Martingales. Berlin-Heidelberg: Springer, 1979.

49. Jacod J. Processus de Hellinger, absolue contiguite. Seminaires de probabilites Rennes 1983. — Publ. Sem. Math., Univ. Rennes I, Rennes, 1983, 22 p.

50. Jacod J. Filtered Statistical Models and Hellinger Processes. — Stoch. Proc. Appl., 1989, v. 32, p. 3-45.

51. Jacod J. Multivariate point processes: predictable projection, Radon-Nikodyme derivative, representation of martingales. — Z. Wahrcsch. Verw. Geb., 1975, v. 31, p. 235-253.

52. Kabanov Yu., Liptser R. Sh., Shiryaev A. N. On the variational distance for probability measures defined on a filtered space. — Probab. Theory Related Fields, 1986, v. 71, p. 19-36.

53. Krob J., Scholl H. R. A minimax result for the Kullback Leibler Bayes risk. Econ. Qual. Control, 1997, v. 12, p. 147-157.

54. Liese F., Vajda I. Convex Statistical Distances. Leipzig: Teubner, 1987.

55. Liptser R.Sh., Shiryaev A.N. On the problem of "predictable criteria" of contiguity. Lecture Notes in Math, 1983, 1021, p. 384-418.

56. Posner E. Random coding strategies for minimum entropy. — IEEE Trans. Inform. Theory, 1975, v. IT-21, p. 388-391.

57. Rockafellar R. T. Integral which are convex functionals. — Pacific J. Math, 1968, v. 24, №3, p. 525-539.

58. Rockafellar R. T. Integral which are convex functionals. II. — Pacific J. Math, 1971, v. 39, №2, p. 439-469.

59. Schachermayer W., Schachinger W. Is there a predictable criterion for mutual singularity of two probability measures on a filtered space? — Theory Probab. Appl., v. 44, №1, p. 51-59.

60. Sion M. On general minimax theorems. — Pacific J. Math., 1958, v. 8, p. 171-176.

61. Yosida K., Hewitt E. Finetely additive measures. — Trans. Amer. Math. Soc., 1952, v. 72, №1, p. 46-66.

62. Wald A. Statistical Decision Functions. NY: Wiley; London: Chapman andHall, 1950.