Приближенные методы разделения смесей вероятностных распределений тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Московский государственный университет имени М. В. Ломоносова

На правах рукописи

Назаров Алексей Леонидович

Приближенные методы разделения смесей вероятностных распределений

Специальность 01.01.05 — теория вероятностей и математическая статистика

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

005058087

Москва — 2013

і р май т

005058087

Работа выполнена на кафедре математической статистики факультета вычислительной математики и кибернетики Московского государственного университета имени М. В. Ломоносова.

Научный руководитель: доктор физико-математических наук,

профессор В. Ю. Королев

Официальные оппоненты: доктор физико-математических наук,

профессор Л. Г. Афанасьева

кандидат физико-математических наук В. А. Лапшин

Ведущая организация: Институт проблем информатики РАН

Защита диссертации состоится 26 апреля 2013 г. в 11 часов на заседании диссертационного совета Д 501.001.44 при Московском государственном университете имени М. В. Ломоносова по адресу: 119991, ГСП-1, Москва, Ленинские горы, МГУ, 2-й учебный корпус, факультет ВМК, аудитория 685. Желающие присутствовать на заседании диссертационного совета должны сообщить об этом за 2 дня до указанной даты по тел. (495) 939-30-10 (для оформления заявки на пропуск).

С диссертацией можно ознакомиться в Фундаментальной библиотеке МГУ им. М. В. Ломоносова. С текстом автореферата можно ознакомиться на официальном сайте ВМК МГУ http://cs.msu.ru в разделе «Наука» - «Работа диссертационных советов» - «Д 501.001.44».

Автореферат разослан 2 2 марта 2013 года.

Ученый секретарь диссертационного совета, к.т.н., в.н.с

В.А. Костенко

Общая характеристика работы

Актуальность темы. Смеси вероятностных распределений как математические модели используются во многих задачах, например, при непараметрическом оценивании плотности и в кластерном анализе. Они демонстрируют высокую адекватность при описании неоднородных данных. Смеси вероятностных распределений хорошо зарекомендовали себя при описании хаотических процессов, моделирующих, к примеру, поведение цен финансовых инструментов, турбулентной плазмы.

Первые работы по исследованию и применению смесей вероятностных распределений появились еще в конце XIX века. К числу пионерских работ этого направления можно отнести работы С. Ныокомба 1886 г.1 и К. Пирсона 1894 г.2 В них рассматривается смесь нормальных распределений, использующаяся для моделирования скошенных и островершинных распределений.

В общем случае задача разделения смеси вероятностных распределений заключается в поиске смеси из некоторого допустимого класса, которая в некотором смысле ближе всего к распределению наблюдаемой величины. Так как класс допустимых смесей чаще всего определяется классом допустимых смешивающих распределений, гарантирующих идентифицируемость модели, задача разделения смеси обычно сводится к задаче статистического оценивания смешивающего распределения по реализациям смеси3,4,5,6.

Традиционными статистическими инструментами при решении задачи разделения смеси являются метод моментов и метод максимального правдоподобия. Как правило, для оценки смешивающего распределения в рассматриваемых задачах используется метод максимального правдоподобия. При этом ищется точка глобального максимума функции правдоподобия, соответствующая семейству допустимых смесей, как функция параметров. Численно данная задача может быть решена с помощью стандартных методов оптимизации7. Для решения задачи статистического разделения смесей вероятностных распределений также используются метод моментов, метод минимума

1Newcomb S. A generalized theory of the combination of observations so as to obtain the best result // American Journal of Mathematics.- 1886.- Vol. 8, no. 4,- Pp. 343-366.

2Pearson K. Contributions to the Mathematical Theory of Evolution // Philosophical Transactions of the Royal Society of London- 1894.- Vol. 185 - Pp. 71-110.

3Everitt В., Hand D. J. Finite Mixture Distributions. Monographs on Applied Probability and Statistics.-Chapman and Hall, 1981.

4Titterington D. M , Smith A. F. M., Makov U. E. Statistical analysis of finite mixture distributions.- John Wiley & Sons, 1987.

5McLachlan G. J., Basford К. E. Mixture models, inference and applications to clustering - 1988.

6McLachlan G., Peel D. Finite Mixture Models. Wiley series in probability and statistics: Applied probability and statistics.- Wiley, 2004.

'Васильев Ф. П. Методы оптимизации - Москва: Факториал Пресс, 2002.

3

хи-квадрат, метод наименьших квадратов п пр. (см. работы O.K. Исаенко и В.Ю. Урбаха8, J. Grim9 и др.5'6'7'8).

Для конечных смесей нормальных распределений задача поиска оценок максимального правдоподобия может быть решена с помощью ЕМ-алгоритма. ЕМ-алгоритмом принято называть схему построения процедур итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, в прикладной статистике эта схема вполне работоспособна при поиске оценок максимального правдоподобия и родственных им в ситуациях, когда функция правдоподобия имеет сложную структуру, из-за которой другие методы оказываются неэффективными или вообще не применимы.

Появление первых электронно-вычислительных машин сделало возможной реализацию довольно сложных итерационных процедур, к числу которых принадлежит ЕМ-алгоритм, и стимулировало дальнейшее развитие идей, лежащих в основе ЕМ-алгоритма. Эти идеи нашли свое отражение в работах М. Healy, М. Westmacott, Н.О. Hartley, S.F. Buck, М.И. Шлезингера, N. Day, J. Wolfe, B.J.N. Blight и др.

Поиск оценок весов и параметров компонент смеси с помощью ЕМ-алгоритма работает эффективнее, чем стандартные методы оптимизации10. Однако в общем случае функция правдоподобия конечной смеси нормальных распределений нерегулярна, имеет много локальных максимумов (возможно, к тому же, бесконечных). Поэтому при численном решении данной задачи ЕМ-алгоритм так же, как и стандартные методы оптимизации, становится крайне неустойчивым. К сожалению, последнее обстоятельство является серьезным препятствием для корректной интерпретации результатов применения данных алгоритмов к разделению конечных смесей нормальных законов.

В частности, было экспериментально установлено, что ЕМ-алгоритм неустойчив по начальным данным. В некоторых случаях замена лишь одного наблюдения в выборке может кардинально изменить итоговые оценки, полученные с помощью ЕМ-алгоритма11. Поэтому необходимо иметь альтернативные методы разделения смесей, ориентированные не на максимизацию «полной» функции правдоподобия, а на оптимизацию других разумных критериев качества получаемых оценок.

Одно из серьезных ограничений использования метода максимального правдоподобия для решения рассматриваемой задачи заключается в том, что класс допустимых смешивающих распределений чаще всего параметризо-

8Исаенко О. К., Урбах В. Ю. Разделение смесей распределений вероятностей на их составляющие // Итоги науки и техники - Москва: ВИНИТИ, 1976 - Т. 13 из Теория вероятностей, математическая статистика и теоретическая кибернетика,- С. 37-58.

3Grim J. On numerical evaluation of maximum-likelihood estimates for finite mixtures of distributions // Kybernetika- 1982- Vol. 18, no. 3,- Pp. 173 - 190.

10Королев В. Ю. Вероятностно-статистические методы декомпозиции волатильности хаотических процессов.- Москва: Издательство Московского университета, 2011.

"Королей В. Ю. ЕМ-алгоритм, его модификации и их применение к задаче разделения смесей вероятности lix распределении. Теоретический обзор.- Москва: ИПИ РАН, 2007,

ван и задается точками из некоторого подмножества евклидова пространства. Это связанно с тем, что поиск точек глобального максимального правдоподобия обычно проводится численно. При этом задача поиска оценки смешивающего распределения, например, среди всех распределений, сосредоточенных на некотором компакте, не может быть решена с помощью данных методов без дополнительных ограничений.

Поиск новых эффективных методов является принципиально важным с точки зрения возможности адекватной практической интерпретации результатов работы алгоритмов разделения смесей. Именно такие альтернативные методы и предлагаются в данной работе.

Цель работы. Целью настоящей диссертации является описание и исследование класса приближенных методов разделения смесей вероятностных распределений - сеточных методов разделения смесей. Изучаются вопросы теоретического обоснования применимости данных методов и исследуются асимптотические свойства оценок, полученных с их помощью.

Научная новизна. Все основные результаты диссертации являются новыми и состоят в следующем:

1. Получены верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Исследованы вопросы существования нижних оценок устойчивости для подклассов смесей нормальных законов. Оценки для сдвиговых смесей нормальных распределений получены в явном виде.

3. Разработан, исследован и реализован класс сеточных методов разделения смесей. Проведено тестирование данных алгоритмов на различных наборах данных.

4. Исследованы асимптотические свойства оценок, получаемых с помощью сеточного метода максимального правдоподобия.

5. Доказана функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки.

Объектом исследования является модель сдвиг-масштабных смесей нормальных распределений, а также класс сеточных методов разделения смесей, применяемый для статистического оценивания параметров модели по ее реализациям.

Методы исследования. Для решении задач стохастической устойчивости рассматриваемой модели в первой главе используются свойства вероятностных метрик(метрик Леви, Леви-Прохорова и др.), свойства прямых и обратных преобразований Фурье, теорема Планшереля, теорема Прохорова,

а также общие методы теории вероятностей. Асимптотические свойства оценок, полученных с-помощью сеточных методов, рассматриваются с использованием результатов теории М-оценок и эмпирических процессов. Доказательство состоятельности данных оценок опираются на теоремы, описывающие сходимость вероятностных мер в пространстве Скорохода £>[0,1]. Для исследования предложенных в работе алгоритмов применяется аппарат математической статистики и численные методы оптимизации. Сравнительное тестирование сеточных алгоритмов проводилось на выборках логарифмических приращений финансовых индексов Amex, Nasdaq, Nikkei, САС 40. Данные алгоритмы были реализованы на языке С и с помощью пакета MATLAB.

Обоснованность научных положений. Теоретические положения и выводы диссертации сформулированы в виде утверждений, лемм, теорем и строго доказаны. Достоверность полученных результатов подтверждена экспериментальной проверкой алгоритмов и программ на реальных данных.

Теоретическая и практическая значимость Результаты диссертации являются вкладом в теорию статистического оценивания. Предложенный класс алгоритмов может применяться для численного решения задачи разделения смесей вероятностных распределений. Верхние и нижние оценки устойчивости смесей вероятностных распределений, полученные в работе и использующиеся для теоретического обоснования применимости данных методов, развивают теорию устойчивости стохастических моделей.

Апробация работы и публикации Основные результаты диссертации опубликованы в 10 печатных работах [1-10], 3 из которых - в журналах, включенных в перечень ВАК.

Результаты диссертации докладывались на ежегодной Международной конференции студентов, аспирантов и молодых ученых «Ломоносов» (Москва, Россия, апрель 2009 г. и апрель 2012 г.), на научной конференции «Ломоносовские чтения» 2012 года (Москва, Россия, 16-25 апреля 2012 г.), на XXX Международном семинаре по проблемам устойчивости стохастических моделей (Светлогорск, Россия, 24-30 сентября 2012 г.), на VI Международном рабочем семинаре «Прикладные задачи теории вероятностей и математической статистики, связанные с моделированием информационных систем» (Бер-Шева, Израиль, ноябрь 2012 г.), на научно-исследовательском семинаре «Теория риска и смежные вопросы» на факультете ВМК МГУ, на семинаре «Исследование асимптотического поведения и устойчивости стохастических моделей» на механико-математическом факультете МГУ, на семинаре «Моделирование финансовых рынков» в Высшей школе экономики.

Структура и объем диссертации Диссертация состоит из введения, трех глав, заключения и списка литературы. Полный объем диссертации 111 страниц текста с 12 рисунками. Список литературы содержит 70 наименований. Нумерация теорем и лемм в автореферате совпадает с нумерацией теорем и лемм в диссертации.

Содержание работы

Во введении дается обзор существующих методов разделения смесей вероятностных распределений, обосновывается актуальность темы диссертационного исследования, формулируются его цели, кратко излагается содержание работы.

В первой главе получены верхние оценки близости сдвнг-масштабньгх смесей нормальных законов через близость смешивающих распределений в метрике Леви-Прохорова, аналогичные оценки в метрике Леви рассмотрены для масштабных и сдвиговых смесей. Помимо этого, изучены нижние оценки устойчивости для различных подклассов смесей нормальных законов. Показано, что для сдвиговых смесей полученные оценки не могут быть улучшены без дополнительных ограничений. В заключение выписаны достаточные условия существования нижних оценок для произвольных классов смесей. Результаты первой главы используются во второй и третьей ^главах для обоснования применимости сеточных методов и исследования их свойств.

Основным объектом, который рассматривается во всех главах диссертации, является класс сдвиг-масштабных смесей нормальных законов. Пусть X - случайная величина, имеющая стандартное нормальное распределение, (I/, V) - случайный элемент со значениями в Е х Е+, X и {17, V) заданы на одном вероятностном пространстве и стохастически независимы. Здесь и далее через Фиф соответственно обозначается функция распределения и плотность стандартного нормального закона.

Рассмотрим случайную величину

Распределение случайной величины У - сдвиг-масштабная смесь нормальных законов. Если II вырождена в 0, распределение случайной величины У также называется масштабной смесыо, а в случае, когда V вырождена в 1, - сдвиговой смесыо. В таком контексте чисто сдвиговая смесь Н(х) = ЕФ(х — V) является не чем иным, как функцией распределения суммы двух независимых случайных величин X и {/, то есть сверткой их функций распределения. В то же время, чисто масштабная смесь Н(х) = ЕФ(рО является не чем иным, как функцией распределения произведения двух независимых случайных величин X а V. Если это специально не оговорено, считается, что все случайные величины и элементы, рассматриваемые в данной главе, определены на одном вероятностном пространстве (П, Л, Р).

В дальнейшем будем обозначать через р равномерное расстояние между функциями распределения, через Ь метрику Леви, через П - метрику Леви-Прохорова.

При выводе верхних оценок для класса сдвиг-масштабных смесей используется следующая лемма, доказанная в первой главе.

У = УХ +и,

Лемма 3. Распределения Р, <3 двух случайных элементов X, У, принимающих конечное число значений в И2, расстояние Леви-Прохорова между которыми П(Р, <3) < 5, можно представить в виде

3

X: Р{{х{})=Ри Рі> 0, гг.-єЕ2, г = 1,... £>¿ = 1,

¿=1 к

у ■ Я(Ы) = ® >0, Уі Є К2, г = 1,..., к, =

¿=1

Рі = Чі: <1(хі,уі)<5, г = 1 ,...,п, п < тіп{5,к},

5 к

X) рі ^ ь -5-

і=п+1 г=п+1

С помощью приведенной леммы в диссертации получены верхние оценки устойчивости для сдвиг-масштабных смесей нормальных законов.

Теорема 1. Пусть случайные величины УЇ, У2 имеют вид:

Уї = УгХ + Ї/.К У2 = У2Х + и2, X ~ що, 1), У: > О,У2> о,

причем случайная величина X и случайный вектор (С/,-, V;) стохастически независимы для г = 1,2. Тогда справедливо неравенство

т,у2) (і)

где

1п(1 + у/Ш~е)'

Отдельно получена аналогичная оценка расстояния между масштабными и между сдвиговыми смесями через расстояния между смешивающими распределениями в метрике Леви.

Теорем а 2. Пусть случайная величина X имеет стандартное нормальное распределение; 11\, 1/2, \\,У2 - не зависящие от X случайные величины, Ц > 0, г = 1,2. Тогда

Ь(Х + иъХ + и2) < Ь{иъи2), Ь^Х^Х) <22,(С1п(Ц), СВД)),

г3е С = 1а(1+^)-

Структура полученного класса верхних оценок на первый взгляд может показаться необычной из-за того, что в неравенствах используются не сами случайные величины, отвечающие смешивающему распределению параметров масштаба, а нх логарифмы. Однако переписать данные оценки с

8

использованием расстояния Леви между исходными величинами затруднительно. Это связанно с тем, что для двух положительных случайных величин V-!, У2 и любого положительного числа с справедливо равенство

Ь(1п(сЦ),1п(сК2)) = ЦНЮМШ

В то же время

Иш Ь(сУисУ2) =р(УиУ2),

оо

а р в общем случае не метризует слабую сходимость.

Далее в первой главе получены нижние оценки устойчивости для класса сдвиговых смесей нормальных законов, то есть для сверток некоторых смешивающих распределений со стандартным нормальным законом.

Теорема 3. Пусть случайная величина X имеет стандартное нормальное распределение; случайные величины Их, 112 не зависят от X и имеют конечные первые моменты, - соответствующие им функции распределения. Если Ь{Р\,Р2) > 6, то

* Ф - Ро * Ф||2 > ехр •

Нижняя оценка близости сдвиговых смесей, полученная в теореме 3, на первый взгляд может показаться достаточно грубой. В работе построен пример двух смесей, показывающий, что без дополнительных условий данная оценка не может быть принципиально улучшена.

Утверждение 1. Пусть случайная величина X имеет стандартное нормальное распределение. Существуют не зависящие от X случайные величины и2 такие, что расстояние Леви Ь(их,и2) > 6, 5 € (0, а

ЦХ + иъх + и2) < (^р)3 ¿ехр .

Верхние оценки устойчивости, описывающие близость масштабных смесей через близость соответствующих им смешивающих распределений, получены с использованием метрики Леви в начале первой главы. К сожалению, аналогичные результаты для нижних оценок устойчивости не могут быть выписаны без дополнительных ограничений на смешивающее распределение.

Лемма 7. Пусть случайная величина X имеет стандартное нормальное распределение. Справедливы следующие утверждения.

1. Для любых £ € (0,1), <5 > 0 существуют не зависящие от X положительные случайные величины VI, У2 такие, что 2) > с, Ь(ХУЪХУ2) < 5.

2. Для любых е € (0,1), 6 > О существуют, не зависящие от X положительные случайные величины У{, Уг такие, что Ь(\п У\, 1п У^) > е, Ь{ХУЪХУ2) < 5.

Если потребовать выполнения некоторых дополнительных условий, можно доказать существование искомых оценок и для сдвиговых, и для масштабных смесей нормальных законов. В диссертации данное утверждение сформулировано для произвольного класса смесей, порожденных некоторым ядром. Смеси нормальных законов являются частным случаем класса, описанного в теореме.

Рассматривается семейство смесей 21 = £ 6 Т} и семейство соответствующих смешивающих распределений !8 = 6 Г}, заданных на измеримых пространствах (^в,^®) соответственно. Пусть Т -некоторое параметрическое множество, и для любого 4 6 Т смеси Рь соответствует смешивающее распределение (,Через 93 обозначается семейство, содержащее все распределения, заданные на и являющиеся слабыми пределами последовательностей из 03. Семейству 23 соответствуют семейство смесей 21 и параметрическое множество Т. Предполагается, что а и ¡3 метри-зуют слабую сходимость в 21 и © соответственно.

Теорема 4. Пусть 21 идентифицируемо, 03 плотно. Если для 21 существуют верхние оценки устойчивости вида

Уе > О У4Ь г2 еТ /3(д(1,<?(2) <£ =» а(Рн, Рь) < 9и{е),

где ди - некоторая вещественная функция, определенная на вещественной положительной полуоси,

Нтр„(а;) =0,

то для этого семейства должны существовать нижние оценки устойчивости вида

Уе > 0 Ши12(=Т д<2) > £ а(Рг1, Рь) > ф) > 0,

где д1 - некоторая вещественная функция, определенная на вещественной положительной полуоси.

Доказательство состоятельности оценок, полученных с помощью сеточных методов разделения смесей вероятностных распределений, опирается на теоремы существования, доказанные в первой главе. Кроме этого, приведенные примеры позволяют лучше понять, насколько сильно могут изменяться оценки смешивающего распределения при работе с реализациями одной и той же смеси.

Вторая глава посвящена описанию сеточных методов разделения смесей вероятностных распределений. Работа сеточных методов рассматри-

вается сначала на примере конечной смеси функций распределения вида

F(*) = |> Ф(^), хеШ, (2)

где к > 1 - целое. В классической задаче разделения смесей параметрами, подлежащими статистическому оцениванию, являются тройки (р,-, а», сг{), г = 1,..., к, где а; 6 Ж, сг; > 0, pt > 0, рх + ... + рк = 1.

Предполагается, что заранее известны числа а, а и а такие, что а < <ii < а и <jj < а при всех г = 1,..., к. Другими словами, считается, что известны диапазоны изменения неизвестных параметров щ и ст,-.

Идея, лежащая в основе рассматриваемого подхода, заключается в замене интервалов [а, а] и (0, а] возможных значений неизвестных параметров масштаба и сдвига а, дискретными множествами известных точек. Эти точки могут быть выбраны, например, исходя из следующих соображений.

Пусть еа и £„ - положительные числа, определяющие априорные требования к точности оценивания параметров а; и сг*:

max jctj - Oi\ < еа, max |сг{ - | < еа, (3)

где а,- и 3{ - искомые оценки параметров. Числа га и га также можно интерпретировать как пороги различимости возможных значений параметров: значения а', а" и и', а" соответственно считаются неразличимыми, если

W-a"\<ea, \ег' — а"\ < еа. (4)

Положим ка = [(а - а)/еа] + I, ка = + 1, где [г] обозначает

целую часть числа г. Для г = 1,2,..., ка + 1 положим аГ = а + (г - 1)еа. Аналогично для I — 1,2, ...,ка положим <?; = 1еа. Тогда точки с координатами (аг, at) образуют узлы конечной сети, покрывающей прямоугольник {(а,а) : а < а < а, 0 < а < а}, который представляет собой множество возможных значений параметров сдвига и масштаба компонент смеси (2). Параметры масштаба не равны нулю, чтобы избежать возможной некорректности. Число узлов полученной сети равно К = (ка + 1 )ка. Для удобства записи и упрощения обозначений перенумеруем каким-либо образом узлы указанной сети, вводя единый индекс i для координат (а,-, <?;) узла с номером i после перенумерации, i = 1,..., К.

Основная идея предлагаемого подхода состоит в аппроксимации смеси (2) смесью с заведомо большим числом известных компонент:

F(x) = ¿д.ф(£^) и = F(x)j х е (5)

Такое приближение допустимо, поскольку в силу соотношений (3) и (4) для любой пары (аг, су) параметров компоненты смеси (2) обязательно найдется

11

практически неотличимая от нее пара (а;, аг) параметров компоненты смеси Р. Веса остальных компонент смеси Р, для параметров которых не найдется "близкой" пары параметров (ат,сгг) компоненты смеси (2), можно считать равными нулю. Действительно, в этом случае смешивающие распределения будут, например, близки в метрике Леви-Прохорова, а из этого напрямую следует близость самих смесей (см. теорему 1).

В общем случае для произвольного класса сдвиг-масштабных смесей нормальных законов применяется точно такая же аппроксимация. Таким образом, при использовании сеточных методов оценка смешивающего распределения ищется в классе распределений, сосредоточенных в конечном числе точек, то есть на сетке. При этом точки расположены в области, содержащей носитель смешивающего распределения

= хеК- (6)

Другими словами, при статистическом оценивании в качестве допустимого рассматривается не класс всех распределений, сосредоточенных на К х Е+, а лишь некоторое его подмножество. Обосновать такую замену позволяют верхние оценки устойчивости сдвиг-масштабных смесей нормальных законов. Заметим, что неизвестными параметрами смеси Р являются только веса Ри ■

В диссертации предложены методы приближенного разделения смесей, основанные на

• (¡) минимизации невязки между теоретическими и эмпирическими моментами

• (и) максимизации сеточной функции правдоподобия.

Показано, что задачи типа (¡) могут быть сведены к задачам линейного программирования. Для численного решения задач типа (¿1) предложены "усеченный" ЕМ-алгоритм и алгоритм условного градиента. Приведены результаты сравнительного анализа эффективности предложенных методов.

В сеточном методе максимального правдоподобия поиск оценок весов проводится с помощью итерационного процесса. В функцию правдоподобия, соответствующую распределениям, сосредоточенным на сетке, подставляются реализации случайной величины с оцениваемым распределением. Далее численно ищется точка максимума этой функции, как функции параметров. Распределение, соответствующее полученным величинам, используется в качестве оценки истинного. В работе доказывается, что максимизируемая функция выпукла вверх по неизвестным параметрам.

Теорем а 5. Любая «сеточная» функция правдоподобия как функция весов вогнута.

Теорема. 6. Сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента, сходится к точке глобального максимума «сеточной» функции правдоподобия.

Таким образом, в отличие от классического ЕМ-алгоритма, итерационный процесс в предложенном методе является устойчивым по начальным приближениям.

Наибольшую эффективность при решении задачи разделения смесей вероятностных распределений демонстрирует сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента. Этот вывод сделан как на основе исследования свойств алгоритмов, так и на основе анализа применения различных сеточных методов разделения смесей к решению задачи статистической декомпозиции волатильности финансовых индексов.

В третьей главе исследуются асимптотические свойства оценок смешивающего распределения, полученных с помощью сеточного метода максимального правдоподобия для масштабных смесей нормальных законов. К сожалению, классическая теория, описывающая свойства оценок максимального правдоподобия, не может быть применена для изучения свойств последних. Для их исследования используются аппараты М-оценок12 и эмпирических процессов13. Рассмотрены достаточные условия состоятельности оценок, описывающие алгоритм согласованного изменения структуры параметрического множества и числа элементов выборки.

Для формального описания процесса "измельчения" сетки, на которой сосредоточен класс распределений, приближающих исходное смешивающее распределение, вводятся следующие обозначения.

Рассмотрим некоторое множество Zq с к, содержащее носитель смешивающего распределения. Обозначим через Z\ с Z-2 с ... последовательность вложенных конечных подмножеств Zo, исчерпывающую счетное, всюду плотное подмножество Zq- Сопоставим каждому множеству Z{ параметрическое множество

Qi = {{Oj. fj)}%i\ Vj e Zi, crj < aj+u fj =

l

Pj> 0, j = l,...,kh Р1 + ...+ръ = 1, h = #Zi}, 1 = 1,2,...

Рассмотрим метрические пространства (©¿,d,) = (0;,d), i = 1,2,..., где расстояние между двумя элементами в1, в2 £ 9, задается через

d = ck{e\e2)= max |/,т-/]2)|, 1 <j<#zi 3 3

12van der Vaart A. W. Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics).- Cambridge University Press, 2000.

"Pollard D. Empirical Processes: Theory and Applications. Hayward, CA: Institute of Mathematical Statistics, 1990- Vol. 2 of NSF-CBMS Regional Conference Series in Probability and Statistics.

13

2 = 1,2,..

Далее рассмотрим статистическую структуру (X, Т7, V), где X = Е х К х ..., Т = В(Е) х х ...,

В (К) - борелевская сигма-алгебра, V = {Рв, 0 е 0,-, г = 1,2,...} и Ро - параметризованное семейство вероятностных распределений, отвечающих последовательностям независимых одинаково распределенных случайных величин (Хг,Х2,Хз,...). Здесь Рд - распределение реализаций оцениваемой смеси. Для каждого фиксированного г класс {Ре, в 6 в,} содержит распределения, приближающие истинное среди смесей, соответствующих смешивающим распределениям, сосредоточенным на множестве ¿Г,-.

Семейству V соответствует семейство

одномерных распределений. Одномерные распределения данных последовательностей для {Ро, в 6 ©¿,г = 1,2,...} являются конечными смесями нормальных законов. При этом каждому фиксированному в € В,, г = 1,2,..., соответствует плотность одномерного распределения последовательности относительно меры Лебега на К:

где ф - плотность стандартного нормального закона. Заметим, что от Ро, вообще говоря, лишь требуется, чтобы оно соответствовало распределению некоторой масштабной смеси нормальных законов. Будем считать, что Рц имеет плотность ро относительно меры Лебега.

Рассмотрим статистики, с помощью которых проводится оценка истинного распределения. Зафиксируем некоторый номер г сетки 0;. Как было описано выше, в функцию правдоподобия, соответствующую распределениям из набора {Рв, 0 £ 0,}, подставляются реализации независимых случайных величин с распределением Рд. Затем ищется точка максимума этой функции как функции параметров.

В работе исследуются свойства последовательности оценок О»1:

Такие оценки принадлежат классу М-оценок. При выполнении ряда условий они обладают некоторыми важными свойствами. Для их исследования изу-

Т1 = Р$и{Р},0 6 ©¿, г = 1,2,...}

где Dkl ~ расстояние Кульбака-Лейблера. Для распределений Р, Q, имеющих плотность р, q относительно меры Лебега,

Dkl(P, Q) = f ]n^p(x)dx J r q{x)

(считается, что ттд^в Окь(Ро, Рд) < °о).

Последовательность параметров {^У}^! соответствует последовательности распределений, сосредоточенных на сетках ближайших к истинному в смысле расстояния Кульбака-Лейблера.

Используя введенные обозначения, зафиксируем параметрическое множество © = 9,- для одного из значений г, г € N.

Лемма 8. Для <1(60,в) > 5, в е 9,

Рхатво - Р^те > Сн{0)5\

где

Ро1= [

JíR

для интегрируемой функции /, Сц{9) - константа, зависящая от множества 9.

Последовательность рассматриваемых оценок имеет предел.

Теорема 7. Пусть для последовательности оценок суще-

ствует последовательность такая, что

Мпфп) > Мп(в0) - ап, ап А О,

и /н Бир гпв(х)Р01 ((1х) < оо, тогда для любого е > О в ев

Ро(<10п,во) > е) 0.

Из теоремы 7 следует, что в сеточном методе максимального правдоподобия при достаточно большом размере выборки смешивающее распределение оценивается среди распределений, сосредоточенных на известной сетке, с помощью ближайшего к истинному в смысле расстояния Кульбака-Лейблера.

В работе получены оценки скорости сходимости в сеточном методе разделения смесей вероятностных распределений.

Теорем а 8. Пусть В - некоторое параметрическое множество из последовательности {©,, г € М}, р* > ^ для всех в е 9, вп - оценка, полученная при использовании сеточного метода, такая что

Мп(вп) > Мп(90) - (7)

15

Тогда VA > О

Po (yñV(Q)d{Ün,00) > А) < j,

где

'«ч-Ж.

с, ¿-¡i-l a¡

С - некоторая константа.

Далее исследуется сходимость последовательности получаемых оценок в функциональном пространстве при согласованном увеличении размеров сетки и числа элементов выборки, по которой строится оценка.

Каждому вW € 6¿ ставится в соответствие элемент хв«) пространства Скорохода Z3[0,1] следующим образом. Пусть F0 - функция оцениваемого смешиваемого распределения, тогда

s*o(t) = F0( о {Fo'it)), i € [0,1), xew(l) = 1,

Fo"I(í)=^{®№)><}, £ € [0,1),

Fg(i)(y) = min {fjloj > y}, y 6 1.

С учетом ЭТОГО вп' соответствует семейство конечномерных распределений fig({¡:

= Р° ■■■' xé^>{U)) е А) >

0 < ¿i < t2 < ... < ti < 1, А & Выданное семейство является согласованным. Справедливо следующее утверждение.

Лемма 12. Пусть В,- - некоторое параметрическое множество из последовательности {9¡,¿ € N}, pk. > ^ для всех 0 € 0,, Öh' - оценка, полученная при использовании сеточного метода,

ММ]) > Mn{ef)

Ся(е.)

2nV2(Qi)'

Тогда в 1] существует случайный элемент X¿м с конечномерными распределениями ЦдЩ.

Таким образом, каждому значению параметра 9 соответствует некоторая траектория хд, а каждой оценке в'п - случайный процесс Х^, со значениями в пространстве Скорохода 0[0,1] с заданными выше конечномерными распределениями.

Теорема, 9. Рассмотрим последовательность случайных элементов {Х^мп))}^! со значениями в пространстве Скорохода /?[0,1], где г(п) -возрастающая последовательность натуральных чисел.

Пусть выполнены следующие условия:

1. Последовательность распределений Р\п) сходится в смысле расстояния Кульбака-Лейблера:

ОкгХРа, Р1 .>) 0 при п оо.

"о

2. Для каждого элемента последовательности паральетрических множеств справедливо неравенство > и

где

= т—:—и >

3. Последовательность чисел {г(п)}^°=1 такова, что

■\/пРг(0г(п)) —> оо при п —»■ оо, и для некоторого а > 0 существует константа К:

У^П&г^Х" >К> ^ N.

где ¿г(п) ~ длина минимального отрезка, на котором х^и»» постоянна.

4. Семейство логарифмов случайных величин, отвечающих ■Р1 = {Р1,в{ ев^г = 1,2,...} и Р^, - плотно.

Тогда

V Л ЛргЫ) —> Хц.

Как известно, сходимость по распределению к неслучайной функции влечет за собой сходимость по вероятности. Следовательно, оценки смешивающих распределений, полученные с помощью сеточных методов разделения смесей вероятностных распределений, для указанных классов смесей нормальных законов являются состоятельными при согласованном увеличении размера выборки и числа узлов сетки.

Результаты, выносимые на защиту

1. Верхние оценки устойчивости для масштабных, сдвиговых и сдвиг-масштабных смесей нормальных законов.

2. Результаты исследования вопросов существования нижних оценок устойчивости для подклассов смесей нормальных законов.

3. Класс сеточных методов разделения смесей.

4. Результаты исследования асимптотических свойств оценок, получаемых с помощью сеточного метода максимального правдоподобия.

5. Функциональная предельная теорема, описывающая сходимость оценок, полученных с помощью сеточного метода максимального правдоподобия для разделения масштабных смесей, при согласованном увеличении размера выборки и числа узлов сетки.

Список публикаций автора по теме диссертации

1. Назаров А. Л. Разделение смесей вероятностных распределений сеточным методом максимального правдоподобия при помощи алгоритма условного градиента // Сб. статей молодых ученых факультета ВМиК МГУ. — 2009. - № 6. - С. 128-135.

2. Korolev V. Y., Nazarov A. L. Separating mixtures of probability distributions with the grid method of moments and the grid maximal likelihood method. // Autom. Remote Control. — 2010. — Vol. 71, no. 3. — Pp. 455-472.

3. Королев В. Ю., Назаров А. Л. Разделение смесей вероятностных распределений при помощи сеточных методов моментов и максимального правдоподобия. // Автомат, и телемех. — 2010. — Т. 71, № 3. — С. 98-116.

4. Назаров А. Л. Об устойчивости смесей вероятностных законов к возмущениям смешивающих распределений // Статистические методы оценивания и проверки гипотез. — 2010. — № 22. — С. 154-172.

5. Назаров А. Л. Нижние оценки в задаче устойчивости смесей нормальных распределений к возмущениям смешивающих распределений // Информатика и ее применения. — 2012. — Т. 6, № 4,— С. 24-32.

6. Назаров А. Л. Асимптотические свойства оценок, полученных с помощью сеточных методов разделения смесей вероятностных распределений // Статистические методы оценивания и проверки гипотез. — 2012. — № 24. - С. 22-35.

7. Назаров А. Л. О состоятельности оценок параметров масштабных смесей нормальных распределений, получаемых с помощью сеточных методов // Системы и средства информатики. — 2012. — Т. 22, № 2. — С. 227-243.

18

8. Nazarov A. L. Asymptotic properties of grid method estimators in the normal mixture separation problems // XXX International Seminar on Stability Problems for Stochastic Models (ISSPSM'2012) and VI International Workshop "Applied Problems in Theory of Probabilities and Mathematical Statistics Related to Modeling of Information Systems" (APTP + MS'2012). Book of abstracts. — Moscow: IPI RAS, 2012. — Pp. 56-57.

9. Nazarov A. L. Lower bounds for the stability of normal mixture models with respect to perturbations of mixing distribution // XXX International Seminar on Stability Problems for Stochastic Models (ISSPSM'2012) and VI International Workshop "Applied Problems in Theory of Probabilities and Mathematical Statistics Related to Modeling of Information Systems" (APTP +- MS'2012). Book of abstracts. — Moscow: IPI RAS, 2012, — Pp. 57-59.

10. Nazarov A. L. On the consistency of grid method estimators in gaussian scale mixture separation problems //VI International Workshop "Applied Problems in Theory of Probabilities and Mathematical Statistics Related to Modeling of Information Systems" (APTP + MS'2012), Autumn Session, 2012. Book of abstracts. - Moscow: IPI RAS, 2012. — Pp. 77-81.

Напечатано с готового оригинал-макета

Подписано в печать 19.03.2013 г. Формат 60x90 1/16. Усл.печл. 1,0. Тираж 100экз. Заказ 074.

Издательство ООО *МАКС Пресс" Л ицеизия ИД N 00510 от 01.12.99 г. 119992, ГСП-2,Москва, Ленинские горы,МГУ им. МВ. Ломоносова, 2-й учебны й корпус, 527 к. Тел. 8(495)939-3890/91. Тел./факс 8(495)939-3891.

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М. В. Ломоносова Факультет вычислительной математики и кибернетики

На правах рукописи

04201355582

Назаров Алексей Леонидович

ПРИБЛИЖЕННЫЕ МЕТОДЫ РАЗДЕЛЕНИЯ СМЕСЕЙ ВЕРОЯТНОСТНЫХ РАСПРЕДЕЛЕНИЙ

Специальность 01.01.05 - теория вероятностей и математическая статистика

Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель: доктор физико-математических наук, профессор В.Ю. Королев

Москва - 2013

СОДЕРЖАНИЕ

Page

Введение 4

ГЛАВА 1. Устойчивость смесей вероятностных законов к возмущениям

смешивающих распределений 13

1. Основные определения и свойства...................13

2. Верхние оценки устойчивости для нормальных распределений ... 17

3. Характеризация метрики Леви-Прохорова ..............21

4. Верхние оценки устойчивости для сдвиг-масштабных смесей нормальных законов.............................26

5. Верхние оценки для масштабных и сдвиговых смесей........29

6. Нижние оценки устойчивости......................36

7. Нижние ценки устойчивости для сдвиговых смесей нормальных распределений..............................38

8. Нижние оценки устойчивости для масштабных смесей нормальных распределений..............................45

9. О существовании нижних оценок устойчивости смесей вероятностных распределений............................47

ГЛАВА 2. Сеточные методы разделения смесей вероятностных распределений 51

1. Основная идея сеточных методов....................51

2. Разделение конечных смесей нормальных распределений с фиксированными компонентами с помощью сеточного метода максимального правдоподобия. «Усеченный» ЕМ-алгоритм........54

3. Разделение конечных смесей нормальных распределений с фиксированными компонентами с помощью сеточного метода максимального правдоподобия. Алгоритм условного градиента......56

4. Приближенное разделение конечных смесей нормальных распределений с помощью сеточного метода моментов...........62

5. Декомпозиция волатильности хаотических стохастических процессов с помощью метода скользящего разделения смесей.......66

6. Применение сеточных методов разделения смесей для декомпозиции волатильности конкретных финансовых индексов........69

ГЛАВА 3. Асимптотические свойства оценок, полученных с помощью сеточных методов 86

1. Основные обозначения..........................88

2. Основные свойства целевой функции.................91

3. Поведение оценок на фиксированном параметрическом множестве . 95

4. Состоятельность оценок, полученных с помощью сеточных методов 98

Заключение 103

Список литературы..............................105

\

ВВЕДЕНИЕ

Актуальность темы исследования. Смеси вероятностных распределений являются популярными математическими моделями, описывающими статистические закономерности в самых разных областях знания, например, в гидрологии, финансовом анализе, биологии, астрономии, физике плазмы, обработке изображений, актуарной и страховой математике, теории массового обслуживания. Они демонстрируют высокую адекватность при описании неоднородных данных. Смеси вероятностных распределений хорошо зарекомендовали себя при описании хаотических процессов, моделирующих, к примеру, поведение цен финансовых инструментов [1], турбулентной плазмы [1, 2]. Публикации, в которых используются смешанные вероятностные модели, исчисляются сотнями. Многочисленные примеры случайных процессов, имеющих в качестве одномерных распределений смеси нормальных распределений, можно найти в книге [1] и работах из библиографии к ней.

Смеси также используются как неотъемлемые составные части некоторых математических методов. Например, на представлении распределения вероятностей в виде смеси основан байесовский подход к статистическому анализу. Методы непараметрического (ядерного) оценивания распределения вероятностей и кластерного анализа также фактически сводятся к представлению оцениваемого распределения в виде смеси.

Согласно расхожему мнению, чрезвычайно высокая адекватность смешанных вероятностных моделей может быть формально объяснена большим числом настраиваемых параметров, позволяющих подогнать какую угодно модель к каким угодно данным. Среди статистиков хорошо известно высказывание Ж. Бертрана «Give me four parameters and I shall describe an elephant; with five, it will wave its trunk» (цитируется по статье Л.ЛеКама [3]). Это обстоятельство, конечно же, играет заметную роль, однако на самом деле

смешанные вероятностные модели в большинстве случаев адекватны по гораздо более естественным глубоким причинам.

В прикладной теории вероятностей принято считать ту или иную модель в достаточной мере обоснованной (адекватной) только тогда, когда она является асимптотической аппроксимацией, то есть когда существует довольно простая предельная схема (например, схема суммирования) и соответствующая предельная теорема, в которой рассматриваемая модель выступает в качестве предельного распределения [4]. В последнее время доказаны разнообразные предельные теоремы, устанавливающие критерии сходимости распределений статистик, построенных по выборкам случайного объема, в первую очередь, сумм случайного числа случайных величин [5, 6] и порядковых статистик [7, 8] к смесям тех распределений, которые выступают в качестве предельных при неслучайном объеме выборки.

Первые работы по исследованию и применению смесей вероятностных распределений появились еще в конце XIX века. К числу пионерских работ этого направления можно отнести работы С. Ньюкомба 1886 г.[9] и К. Пирсона 1894 г.[10]. В них рассматривается смесь нормальных распределений, использующаяся для моделирования скошенных и островсршшшых распределений.

Как отмечалось выше, платой за высокую адекватность смешанных моделей является большое число параметров, подлежащих статистическому оцениванию. Более того, задача отыскания статистических оценок параметров смесей распределений вероятностей (разделения смеси), вообще говоря, является некорректной и имеет единственное решение, только при дополнительном условии идентифицируемости рассматриваемого семейства смесей [11].

В общем случае задача разделения смеси вероятностных распределений заключается в поиске смеси из некоторого допустимого класса, которая ближе всего в некотором смысле к распределению наблюдаемой величины. Так как класс допустимых смесей чаще всего определяется классом допустимых

смешивающих распределений, гарантирующих идентифицируемость модели, задача разделения смеси чаще всего сводится к задаче статистического оценивания смешивающего распределения по реализациям смеси. Различные примеры решения таких задач можно найти в [12, 13, 14, 15].

Традиционными статистическими инструментами при решении задачи разделения смеси являются метод моментов и метод максимального правдоподобия. Эти подходы восходят к цитированным выше работам С. Нью-комба [9] и К. Пирсона [10]. Так, в работе Пирсона [10] применяется метод моментов. Эта работа вообще интересна тем, что в ней изучается не только сама задача разделения смеси распределения, но и корректность ее постановки.

Как правило, для оценки смешивающего распределения в рассматриваемых задачах используется метод максимального правдоподобия. При этом ищется точка глобального максимума функции правдоподобия, соответствующая семейству допустимых смесей, как функция параметров. Численно данная задача может быть решена с помощью стандартных методов оптимизации [16]. К примеру, в работе [17] сравнивается применение метода Ньютона и метода наискорейшего спуска. Показано, что для разделения конечных смесей нормальных распределений метод наискорейшего спуска лучше работает на выборках малого размера в то время, как метод Ньютона - на выборках большого объема. Информацию о других методах решения задачи статистического разделения смесей вероятностных распределений таких, как метод моментов, метод минимума хи-квадрат, метод наименьших квадратов и пр., можно найти, например, в обзорах [18, 19] и книгах [12, 13, 14, 15].

Для конечных смесей нормальных распределений задача поиска оценок максимального правдоподобия может быть решена с помощью ЕМ-алгоритма. ЕМ-алгоритмом принято называть схему построения процедур итерационного типа для численного решения задачи поиска экстремума целевой функции в разнообразных задачах оптимизации. В частности, в при-

кладной статистике эта схема вполне работоспособна при поиске оценок максимального правдоподобия и родственных им в ситуациях, когда функция правдоподобия имеет сложную структуру, из-за которой другие методы оказываются неэффективными или вообще не применимыми.

По-видимому, впервые итерационная процедура типа ЕМ-алгоритма, позволяющая находить численное решение задачи максимизации функции правдоподобия при разделении смесей распределений вероятностей, была предложена С. Ньюкомбом в уже упоминавшейся выше пионерской работе [9]. Затем после довольно большого перерыва эта идея вновь возникла в работе [20]. Появление первых электронно-вычислительных машин сделало возможной удобную и быструю реализацию довольно сложных итерационных процедур, к числу которых принадлежит ЕМ-алгоритм, и стимулировало дальнейшее развитие идей, лежащих в основе ЕМ-алгоритма. Эти идеи нашли свое отражение в работах [21, 22, 23, 24, 25, 26, 27, 28, 29]. Достаточно полный исторический обзор на эту тему сдержится в книге [30].

Теория ЕМ-алгоритма изложена и систематически исследована в работах [31, 32]. Само название ЕМ-алгоритм было предложено в работе [31], посвященной применению метода максимального правдоподобия к статистическому оцениванию по неполным статистическим данным. Возможно поэтому зарубежные источники традиционно ссылаются на эту статью [31], как на первую работу по ЕМ-алгоритму.

Основные свойства ЕМ-алгоритма были описаны еще в работе [24]. Позднее в работа [31, 12, 33, 34, 35] эти свойства были передоказаны и развиты.

Литература по ЕМ-алгоритму и его применениям к решению задач из конкретных областей обширна. Перечисление всех работ заняло бы слишком много места. Ограничимся упоминанием лишь книг, посвященных собственно ЕМ-алгоритму [36, 30], монографий, в которых ЕМ-алгоритму уделено значительное место [37, 38], а также работ [39, 40, 41, 1].

Поиск оценок весов и параметров компонент смеси с помощью ЕМ-алгоритма работает эффективнее, чем стандартные методы оптимизации [1]. Однако в общем случае функция правдоподобия конечной смеси нормальных распределений нерегулярна, имеет много локальных максимумов (возможно, к тому же бесконечных). Поэтому при численном решении дайной задачи ЕМ-алгоритм так же, как и стандартные методы оптимизации, становится крайне неустойчивым. К сожалению, последнее обстоятельство является серьезным препятствием для корректной интерпретации результатов применения данных алгоритмов к разделению конечных смесей нормальных законов.

В частности, было экспериментально установлено, что ЕМ-алгоритм обладает неустойчивостью по начальным данным. Например, в случае четырех-компонентпой смеси нормальных законов, при объеме выборки 200-300 наблюдений, замена значения лишь одного из них на другое может кардинально изменить итоговые оценки, полученные с помощью ЕМ-алгоритма [41]. Поэтому необходимо иметь альтернативные методы разделения смесей, ориентированные не на максимизацию «полной» функции правдоподобия, а на оптимизацию других разумных критериев качества получаемых оценок.

Одно из серьезных ограничений использования метода максимального правдоподобия для решения данной задачи заключается в том, что класс допустимых смешивающих распределений чаще всего параметризован и задастся точками из некоторого подмножества евклидова пространства. Это связанно с тем, что поиск точек глобального максимального правдоподобия обычно проводится численно. При этом задача поиска оценки смешивающего распределения, например, среди всех распределений, сосредоточенных на некотором компакте, не может быть решена с помощью данных методов без дополнительных ограничений.

Поиск новых эффективных методов является принципиально важным с точки зрения возможности адекватной практической интерпретации резуль-

татов работы алгоритмов разделения смесей. Именно такие альтернативные методы и предлагаются в данной работе.

Используемые подходы и методы. Рассматриваемых методы используют подход, основанный на замене исходной смеси другой, близкой к ней, для которой неизвестными являются только веса компонент. Первые результаты применения методов, разработанных в рамках этого подхода [42, 41], к анализу конкретных процессов описаны в [43, 44]. Данная работа развивает идеи из [42, 41, 43] и дополняет [44], в которой исследованы сеточные методы разделения смесей вероятностных распределений, основанные на минимизации невязки между эмпирической и теоретической функциями распределения.

Как было отмечено выше, при работе сеточных методов поиск оценки смешивающего распределения ведется в классе распределений, сосредоточенных на конечном множестве фиксированных точек, покрывающих область, содержащую носитель истинного распределения. Для доказательства допустимости такого подхода необходимо исследовать стохастическую устойчивость модели, с которой ведется работа. Поэтому в первой главе рассматриваются верхние и нижние оценки устойчивости смесей вероятностных распределений к возмущениям смешивающих распределений.

Оценкам устойчивости различных классов смесей нормальных распределений к возмущениям смешивающих распределений были посвящены работы [45, 46, 47]. Результат для частного случая - простой модели загрязнения (контаминации), предложенной Дж. Тьюки [45], был получен в [42, 47]. В [46] можно найти решение этой задачи для оценки расстояния между нормальным распределением и масштабной смесью при выполнении некоторых условий, наложенных на смешивающее распределение.

Цель работы. Исследовать свойства сеточных методов разделения смесей и теоретически обосновать их состоятельность.

Краткое содержание диссертации. В нерпой главе диссертации получены верхние оценки близости сдвиг-масштабных смесей нормальных законов через близость смешивающих распределений в метрике Леви-Прохорова, аналогичные оценки в метрике Леви рассмотрены для масштабных и сдвиговых смесей. Помимо этого, исследуются нижние оценки устойчивости для различных подклассов смесей нормальных законов. Показано, что для сдвиговых смесей полученные оценки не могут быть улучшены без дополнительных ограничений. В заключение выписаны достаточные условия существования нижних оценок для произвольных классов смесей. Результаты первой главы используются во второй и третьей главах для обоснования применимости сеточных методов и исследования их свойств.

Вторая глава посвящена описанию сеточных методов разделения смесей вероятностных распределений. Предложены методы приближенного разделения смесей, основанные на

• (1) минимизации невязки между теоретическими и эмпирическими моментами

• (11) максимизации сеточной функции правдоподобия.

Показано, что задачи типа (¡) могут быть сведены к задачам линейного программирования. Для численного решения задач типа (¿1) предложены "усеченный" ЕМ-алгоритм и алгоритм условного градиента. Приведены результаты сравнительного анализа эффективности предложенных методов.

Показано, что наибольшую эффективность при решении задачи разделения смесей вероятностных распределений демонстрирует сеточный метод максимального правдоподобия, реализованный с помощью алгоритма условного градиента. Этот вывод сделан как на основе исследования свойств алгоритмов, так и на основе анализа применения различных сеточных методов разделения смесей к решению задачи статистической декомпозиции во-латильности финансовых индексов.

В третьей главе исследуются асимптотические свойства оценок смешивающего распределения, полученных с помощью сеточного метода максимального правдоподобия для масштабных смесей нормальных законов. К сожалению, классическая теория, описывающая свойства оценок максимального правдоподобия, не может быть применена для изучения свойств последних. Для их исследования используются аппараты М-оценок и эмпирических процессов, достаточно подробно описанных в работах [48, 49].

При работе сеточных методов разделения смесей поиск оценки смешивающего распределения ведется в классе, который, вообще говоря, не обязан содержать истинное распределение. Однако для любого смешивающего распределения можно выбирать семейство допустимых распределений так, чтобы в нем существует распределение, приближающее истинное с заранее заданной точностью. С учетом этого в третьей главе представлен алгоритм согласованного пополнения класса допустимых распределений и увеличения размера выборки такой, что последовательность получаемых