Асимптотическое представление отношения правдоподобия для нерегулярных семейств распределений в многомерном случае тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Введение

Глава 1. Асимптотическое представление процесса отношения правдоподобия

§1. Постановка задачи и основной результат.

§2. Доказательство основного результата.

Глава 2. Оценка скорости сходимости распределений нормированных оценок максимального правдоподобия

§3. Формулировка теоремы 2.

§4. Доказательство теоремы 2.

§5. Проверка условия АЗ.

Асимптотический анализ процессов отношения правдоподобия представляет интерес не только для задач проверки статистических гипотез, где применяется критерий отношения правдоподобия, но и в связи с изучением предельного поведения оценок максимального правдоподобия. Для многих семейств распределений эти оценки являются в определенном смысле наиболее точными, и этим объясняется повышенный интерес к изучению их асимптотических свойств, когда объем наблюдений неограниченно возрастает.

На практике необходимо знать не только то, что построенная оценка - самая точная, но также и то, как ведет себя ее отклонение от истинного значения параметра. Такая информация позволяет, например, построить доверительный интервал для оцениваемого параметра. В связи с этим большую важность приобретает вопрос о существовании предельного распределения нормированных оценок максимального правдоподобия, а также, если такое распределение существует, о скорости сходимости к нему. Ниже приводится обзор результатов, полученных в рамках исследования данного вопроса. Введем предварительно необходимые обозначения.

Пусть . . ,Хп - выборка в Rd с общей плотностью f(x,6), зависящей от неизвестного параметра в £ 9 С Rm. Оценкой максимального правдоподобия параметра 9, построенной по этой выборке, называется случайная величина 9п, удовлетворяющая следующему соотношению: lim sup П f(Xu6) = sup П 1(Хив). в-^вп г<п öe0 г<п

Известно, что в так называемом "регулярном"случае (подробнее см., например, книгу Боровкова A.A. [1]) оценка максимального правдоподобия 9п является асимптотически нормальной. Этот результат можно получить в качестве следствия асимптотического представления процесса отношения правдоподобия с нормирующим множителем аргумента п

Представление имеет следующий вид:

7 ( ЛХ^в + п/п1/2) 1 г г<п /№» 0) 2 где 1(9) - информация Фишера, - последовательность случайных величин, сходящаяся по распределению к нормальной случайной величине, еп - последовательность, сходящаяся почти наверное к нулю. Таким образом, в главной части этого разложения присутствует гауссовская компонента. Случайная величина п1!2(9п — в) является точкой максимума процесса Zn(u), и, в качестве таковой, сходится по распределению к точке максимума процесса, предельного для Точка максимума предельного процесса имеет нормальное распределение.

Особый интерес представляет случай, когда плотности /(х,в) являются разрывными. При соответствующих условиях на это семейство скорость сходимости оценки максимального правдоподобия будет иметь порядок (с точностью до медленно меняющихся множителей) не п-1/2, а тг-1. Этот на первый взгляд парадоксальный факт объясняется тем, что наличие разрывов у плотности f(x,9) дает дополнительную информацию о неизвестном параметре, и позволяет строить более точную оценку. Существенно отличается также и асимптотическое представление процесса отношения правдоподобия, который в этом случае берется с нормировкой аргумента гГ1. При описании результатов, полученных для нерегулярного случая, нам потребуются дополнительные обозначения и предположения.

Мы будем считать, что плотность /(гс,(9) непрерывна по х = за исключением точек множества Кд. Предположим также, что Кд при всех 0 € Э - гладкое многообразие размерности с? — 1, и определены такие множества и Г21, которые, во-первых, вместе с Ко образуют разбиение пространства В?, а во-вторых, в точках у £ К в плотность /(х, 9) имеет разрывы 1- го рода по направлениям, задаваемым множествами Г2} и

0^q(y,e)= lim f(x,9),

О фр{у>9)= lim f(x, 9), где запись x —> y\üj означает, что x —> у и при этом х Е flg. в

Процесс отношения правдоподобия определяется как г<п J{J-i,V)

Пусть на многообразии Кд определена нормаль N(y,6), которая, как век-торнозначная функция непрерывна по в. Будем считать, что вектор N(y,6) "обращен"в множество fl2e.

Многообразие Кд представимо в параметрической форме кв = {у(г,ву, г е [од]""1}, де 0, где у(Ь, 9) = (у1^, 9),. ■ ■ в)) - векторная функция, имеющая второй порядок гладкости.

Процесс, распределение которого является предельным для распределений будем обозначать как К (и); он определяется следующим образом. Пусть IV — случайная пуассоновская мера на Я х [0,1]£г— 1. На непересекающихся множествах она принимает независимые целочисленные значения, распределенные по закону Пуассона, и для любого Ь Е Я и любого борелевского множества В С [0,1]*^ 1 выполняются следующие соотношения:

Е\¥{[0,Ь}хВ)=Ь IЬ> О, в

ЕЖ([6,0] х В) - -Ъ/д(2/Мо)АКМо)<Й, Ь < О, в где /(£, 90) = у/ёе! бо), ^о))|| - коэффициент искажения объема, возникающий при замене переменных в поверхностном интеграле (см. [2]). Положим .Д

1) п(и)= /

1п о где иИ - произведение вектора и и матрицы И = £>(£, 0О), = N (?/(£, во), 90), а скобки в верхнем пределе внутреннего интеграла обозначают скалярное произведение.

Определим процесс

Случайный процесс У (и) в рассматриваемой общности, по-видимому, впервые был введен в работе Ермакова М.С. [3]. Нетрудно видеть, что при й - 1 и т = 1 он принимает вид (см. [4]) где 7Г1 и 7г2 — независимые стандартные пуассоновские процессы на положительной полупрямой, и* = тах{0, ±и}— соответственно положительная и отрицательная части числа, у{9) — точка разрыва плотности ¡(х,в).

В работе Ибрагимова И.А. и Хасьминского Р.З. [4] при ¿,т — 1, и в статье Ермакова М.С. [3] для произвольных с1, т была получена аппроксимация распределения процесса Уп(и) распределением обобщенного пуассоновского про цесса У (и). В этих же работах было показано, что распределение нормированной оценки максимального правдоподобия п(вп — в0) (в которой достигается максимум процесса Уп(и)) сходится к распределению точки максимума процесса У {и).

В работе Мосягина В.Е. [5] для случая ¿,т= 1 была получена оценка скорости сходимости распределения процесса Уп(и) к распределению У (и). В работе [8] этого же автора, тоже в одномерном случае, в асимптотическом разложении процесса Уп(и) появилась вторая компонента, не зависящая от пуассоновской, и получена оценка точности такой аппроксимации. В качестве следствия последней работы в [16] были получены оценки расстояния между функциями распределения точек максимумов процессов Уп(и) и У (и).

Помимо того значения, которое асимптотическое разложение процесса отношения правдоподобия имеет для изучения предельного поведения нормированных оценок максимального правдоподобия, это разложение представляет интерес в связи с проблемой Колмогорова. Идея приближения распределений Уп(-) с помощью сверток гауссовских и обобщенных пуассоновских распределений восходит к классическим работам А.Н.Колмогорова и его последователей, посвященным проблеме аппроксимации распределений сумм независимых случайных величин (или векторов) безгранично делимыми законами (см., например, [6]). При этом выявленный феномен состоит в возможности значительно более точной аппроксимации (по сравнению с классическими приближениями) распределений указанных сумм безгранично делимыми законами, отличными, скажем, от гауссовских, при меньших ограничениях на слагаемые. Перечисленные выше результаты можно трактовать как многомерные варианты теоремы Колмогорова для сумм независимых процессов специального вида (первый бесконечномерный аналог указанной аппроксимации для другого класса случайных процессов — процессов частных сумм, был получен в [7]). Отметим также, что в приведенном в [8] разложении по существу использовалась асимптотическая факторизация распределения процесса Уп(-)> разработанная в [7] и [9].

Основным результатом настоящей диссертационной работы является аппроксимация распределения процесса отношения правдоподобия сверткой обобщенного пуассоновского и гауссовского распределений в нерегулярном случае при произвольных размерностях выборки и параметра. Кроме того, были получены оценки скорости сходимости распределений нормированных оценок максимального правдоподобия в случае многомерной выборки и одномерного параметра. Подобные оценки были также получены для конкретного семейства плотностей, зависящего от многомерного параметра .

Диссертационная работа состоит из введения, двух глав, которые делятся в общей сложности на пять параграфов, и списка литературы. Нумерация формул в каждой главе самостоятельная; при ссылках на формулы из другой главы указывается номер формулы и глава. Нумерация теорем и лемм сквозная.

1. Боровков A.A. Математическая статистика М.: Наука, 1984.

2. Зорин В.А. Математический анализ.М.: Наука, 1984.

3. Ермаков М. С. Асимптотическое поведение статистических оценок параметров многомерной разрывной плотности. Записки научных семинаров ЛОМИ, 1977, т. 74, с. 88-107.

4. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979.

5. Мосягин В.Е. Оценка скорости сходимости распределения процесса максимального правдоподобия в нерегулярном случае. Сиб. матем. жур., 1991, т. 32, N 4, с. 96-103.

6. Зайцев А.Ю. Многомерный вариант второй равномерной предельной теоремы Колмогорова. Теория вероятн. и ее примен., 1989, т. 34, N 1, с. 128-151.

7. Борисов И. С., Боровков A.A. Аппроксимация второго порядка случайных ломанных в принципе инвариантности Донскера-Прохорова. Теория вероят. и ее примен., 1986, т.31, N 2, с. 179-202.

8. Мосягин В.Е. Асимптотическое представление для процесса отношения правдоподобия в случае разрывной плотности. Сиб. матем. жур., 1994, т. 35, N 2, с. 416-423.

9. Borisov I.S. Strong Poisson and mixed approximations of sums of independent random variables in Banach spaces. Siberian Adv. in Math., 1993, vol 3, No 2, p. 1-13.

10. Пинелис И.Ф., Саханенко А.И. Замечания о неравенствах для вероятностей больших уклонений. Теория вероятн. и ее примен., 1985, т. 30, N 1, с. 127-131.

11. Саханенко А.И. О точности нормальной аппроксимации в принципе инвариантности. Асимптотический анализ распределений случайных процессов. М.: Наука, Сибирское Отделение, 1989, с. 40-66.

12. Einmahl U. Extension of Results of Komlos, Major, and Tusnady to the Multivariate Case. Journal of Multivariate Analysis, 1989, vol. 28, No 1, p. 20-68.

13. Зайцев А.Ю. Оценки квантилей гладких условных распределений и многомерный принцип инвариантности Сив. матем. жур., 1996, т. 37, N 4, с. 807831.

14. Боровков А.А. Теория вероятностей. М.: Наука, 1976.

15. Добрушин Р. Л. Задание системы случайных величин при помощи условных распределений. Теория вероятн. и ее примен., 1970, т. 15, N 3, с. 469-497.

16. Мосягин В.Е. Оценка скорости сходимости распределений нормированных оценок максимального правдоподобия в случае разрывной плотности. Сиб. матем. жур., 1996, т. 37, N 4, с. 895-903.

17. Борисов И. С., Миронов Д.В. Асимптотическое представление отношения правдоподобия для многомерных выборок с разрывными плотностями. Теория вероятн. и ее примен., 2000, т. 45, N 2, с. 345-356.

18. Борисов И. С., Миронов Д.В. Асимптотическое представление отношения правдоподобия для нерегулярных семейств распределений в многомерном случае. Сиб. матем. жур., 2001, Т.42, N 2, с. 275-288.