Асимптотика вероятностей больших уклонений черновского типа для функционалов Мизеса и U-статистик тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Санкт-Петербургский государственный университет

на правах рукописи

ПОНИКАРОВ Евгений Владимирович

УДК 519.24

АСИМПТОТИКА ВЕРОЯТНОСТЕЙ БОЛЬШИХ УКЛОНЕНИЙ

ЧЕРНОВСКОГО ТИПА ДЛЯ ФУНКЦИОНАЛОВ МИЗЕСА И И-СТАТИСТИК

01.01.05 — теория вероятностей и математическая статистика

ДИССЕРТАЦИЯ на соискание ученой степени кандидата физико-математических наук

Научный руководитель доктор физ.-мат. наук профессор Никитин Я.К).

САНКТ-ПЕТЕРБУРГ - 1999

Оглавление

Введение 3

1 Вспомогательные средства 21

1.1 Некоторые сведения о больших уклонениях............21

1.2 Некоторые сведения из теории экстремальных задач . 24

1.3 Некоторые сведения из теории неявных операторов . 26

2 Большие уклонения невырожденных функционалов Мизеса и [/-статистик 29

2.1 Вывод уравнения Эйлера-Лагранжа....................29

2.2. Анализ уравнения Эйлера-Лагранжа...............36

2.3 Вычисление А'(0а)..........................................39

2.4 Большие уклонения [/-статистик ....................50

2.5 Примеры....................................................53

3 Большие уклонения вырожденных функционалов Мизеса и II-статистик 60

3.1 Постановка задачи и формулировка результата .... 60

3.2 Вывод уравнения Эйлера-Лагранжа....................62

3.3 Анализ уравнения Эйлера-Лагранжа....................65

3.4 Примеры....................................................79

Литература 84

ВВЕДЕНИЕ

В современной теории вероятностей и математической статистике важную роль играют функционалы Мизеса, предложенные фон Мизесом в [51] и [/-статистики, введенные Хеффдингом в [42]. Особый интерес представляет фаЛщМШ в виде функционалов Мизеса и [/-статистик можно представить многие оценки и статистики, использующиеся в современной математической статистике. Количество работ, посвященных свойствам этих тесно связанных между собой объектов, постоянно растет. Помимо многочисленных журнальных публикаций свойствам [/-статистик посвящено уже несколько монографий, а именно работы Серфлинга [53], Ли [49], Ко-ролюка и Боровских [14] и Боровских [6].

Прежде всего введем необходимые обозначения. При этом в терминологии мы будем следовать монографии [14].

Пусть Х^ - независимые случайные величины со значени-

ями в измеримом пространстве (Л, Л) и общим распределением Р. Для п > т определим [/-статистику

ип = (с?)~1 Е ф(хг1,...,хгт), (о.о.1)

1<г'1 <...<{т<п

где Ф : Хт —» К - симметричная относительно любой перестановки то переменных функция.

Функционал Мизеса Уп определяется с помощью формулы

п п

к - п~т Е ... Е цхг1,...,х1т). (0.0.2)

¿1=1 гт=1

Функция Ф называется ядром ¿/-статистики или функционала Мизеса, натуральное число т - степенью ¿/-статистики (или функционала Мизеса).

Пример 0.0.1. Выборочную дисперсию для выборки Х\, со средним X, определяемую как

1 Е№-*)2,

п - 1

можно записать в виде ¿/-статистики

ип = (с1у1 Е Щх„х,)

1 <г<3<п

1

с ядром Ф(М) = -(§ - ¿)2.

Пример 0.0.2. Рассмотрим среднюю разность Джини, предложенную в [40], см. также [12, стр. 74-75]. Эта статистика определяется как

ип = Кг1 Е № - х3\.

1 <г<]<п

Поэтому средняя разность Джини является [/-статистикой с ядром =

Пример 0.0.3. Для проверки симметрии одномерной выборки Х\1Хп часто используется так называемая знаково-ранговая статистика Вилкоксона, которую можно записать в виде

^(С^Г1 £ 1{м,>о}- (0-0.3)

1 <Л<]<п

Таким образом, ядром этой статистики является функция

(0.0.4)

Пример 0,0.4. Более сложным примером ¿/-статистики является хорошо известная статистика и2 Крамера - фон Мизеса - Смирнова

Здесь Еп - эмпирическая функция распределения, построенная по случайным величинам имеющим равномерное распреде-

ление на [0,1]. Хорошо известно (см., например, [13]), что статистика ш2п имеет вид (0.0.2) при т = 2 и ядре

= + + (0.0.6)

Пример 0.0.5. Пример векторной II-статистики дает следующая статистика Хеффдинга [43].

Мерой зависимости для пары случайных величин X и У с совместной функцией распределения Р может служить величина

Тогда соответствующая ¿/-статистика есть

ип = (с5п)~1 Е

с двумерной выборкой Zj = = 1,...,п, из совокупности с

функцией распределения Е(х,у).

Ядро Ф этой статистики определяется формулой

где

= 1{42<<Х} - 1{<з«1}5

^ = 3 =

Можно проверить, что Е1/п = О(Р) (см., например, [43], [14]).

Пусть

0(Р) = /.../Ф(х1,...,жто)Р(^1)...Р(^то). При условии ¿^Ф! < оо определим

Фс(хъ...,хс) = ЕФ(х1,...,хс,Хс+1,...,Хт), с = 1,..., т. (0.0.7) Положим для с = 1,т

Ф = Ф-в(р), Фс = Фс-е(Р).

Наконец, введем в рассмотрение функции д1(хг) = Ф^Х^,

92(Х1,Х2) - Ф2(я1, х2) - д\{х\) - д\(х2),

_ з

д$(х1,х2,хз) = ф$(х!,х2,хз)-^Ш&д- £

г=1 1<г<У<3 _ т

9т{%\-} ••■■> %т) = Фт(х1,Х2,...,Хт) ~

г=1

— ¿С ■> жг2) ~~ • • • ~~ Л 9т-\{%11 ■> хгт-1 )•

1<г'1<г'2<т 1<г'1<...<гт-1<ш

Определенные таким образом функции называются каноническими.

Пусть г > 1 - первое целое число, для которого выполняются соотношения

дг = ... = 9г-х = 0, дг ф 0 (0.0.8)

(равенство понимается почти везде). Число г, удовлетворяющее (0.0.8), называется рангом ¿/-статистики или функционала Мизе-са. Говорят также, что г является рангом ядра Ф. Если г = 1, то

функционал Мизеса (или ядро Ф) называется невырожденным. При г > 2 функционал Мизеса (или ядро) называется вырожденным, а г - порядком вырожденности. При г = т говорят о полной вырожденности ядра. Для функционалов с наименьшим возможным порядком вырожденности г = 2 мы будем использовать термин слабая вырожденность.

Вернемся к примерам. Пусть в Примере 0.0.1 случайные величины равномерно распределены на [0,1]. Тогда

Поэтому

Поскольку не равна тождественно нулю, то ¿/-статистика, отвечающая выборочной дисперсии, является невырожденной.

Аналогично в Примере 0.0.2 для равномерно распределенных на [0,1] случайных величин имеем:

Поэтому

ф)=¡01 Ф(*,*) л -1=- *+

откуда следует, что ¿/-статистика, соответствующая средней разности Джини, также является невырожденной.

В Примере 0.0.3 для ядра (0.0.4) при симметричной относительно нуля непрерывной функции распределения ^ наблюдений ..., Хп верно

что показывает его невырожденность.

В Примере 0.0.4 мы встречаемся с вырожденным случаем. В самом деле, для статистики (0.0.5) справедливо

Я1(з) = £ Ф(М)

Здесь Ф определяется (0.0.6). Нетрудно проверить, что д\ = 0, в то время как тождественным нулем не является. Это означает, что рассматриваемое ядро вырождено, причем имеет порядок вырожденности 2.

Наконец, можно проверить, что при справедливости гипотезы независимости статистика Хеффдинга из Примера 0.0.5 также вырождена, причем ее ранг равен 4.

Заметим, что иногда вырожденность определяется по-другому. Например, в работе [33], см. также [5], ядро Ф называется г-вы-рожденным для распределения Р, если справедливо

г = тах{1 > 0 : Е(Ф(хь..., жго)|&) =0 п.н.}, (0.0.9)

где - поле, порожденное величинами Фактически ве-

личина ранга согласно (0.0.9) отличается от величины ранга, определенной с помощью канонических функций, на 1, так что при выполнении (0.0.9) невырожденное ядро имеет г = 0, а максимальная вырожденность достигается при г = т — 1.

Диссертация посвящена вычислению грубой асимптотики вероятностей больших уклонений для Уп и IIп. Большие уклонения появляются очень часто в статистической механике, оптике и радиотехнике, в теории информации и теории обнаружения сигналов, в других приложениях (см., например, [38], [10], [35], [22], [8], [9], [21], [58], [32]). Особый интерес в больших уклонениях для математической статистики заключается в том, что именно на асимптотику

вероятностей больших уклонений опирается вычисление асимптотической относительной эффективности (АОЭ) статистических оценок и критериев по Бахадуру, Ходжесу-Леману и Чернову. Именно благодаря запросам статистики и других приложений теория больших уклонений достигла в настоящее время значительных успехов и продолжает интенсивно развиваться.

Под большими уклонениями для II-статистик с нулевым средним мы подразумеваем события

а под вероятностями больших уклонений понимаем вероятности этих событий

для произвольных положительных постоянных а. Аналогичные определения используются для У-статистик. Такие большие уклонения принято называть черновскими в отличие от крамеровских, когда

а = ап = о(1), п оо, и умеренных, когда а — О , п —ь сю.

Нас будет интересовать в первую очередь так называемая грубая, или логарифмическая асимптотика вероятностей больших уклонений, то есть предел

Для целей статистики этот предел нужно уметь вычислять явно хотя бы при малых а. Мы докажем его существование, непрерывность по а в некоторой окрестности нуля, а также найдем первые члены разложения по степеням а в этой окрестности. Такой информации вполне достаточно для вычисления локальной асимптотической эффективности по Бахадуру и Ходжесу-Леману ([21], [32], [53]). Как указывается в монографии [9, стр.23], "из грубых теорем

{и» > а},

Рг{*7п > а}

(0.0.10)

ки(а) = Иш п 11п¥т{ип > а}.

о больших уклонениях можно вывести больше интересных грубых следствий, чем точных следствий из точных теорем".

Прежде всего отметим, что в диссертации всегда подразумевается т > 2. Если га = 1, то [/-статистики совпадают с Т^-статистиками и являются фактически суммами случайных величин. Задача нахождения грубой асимптотики вероятностей больших уклонений чер-новского типа для них уже давно была решена в работах [32], [36]. Например, в [36] доказана следующая теорема, ставшая классическим результатом.

Теорема 0.0.1 Пусть {Xj} - последовательность независимых одинаково распределенных случайных величин с функцией распределения F и производящей функцией моментов ip, т.е.

ip(t) = Eetx = j™ etx dF(x), -oo < t < oo.

Пусть

Pr{Xi > u} > 0, -oo < и < oo,

а un - числовая последовательность, такая, что ип —» и. Тогда

Jim п"1 InPriX, + ... + Хп > пип} = -/(«), Jim n"1 InРг{Хг + ... + > пип} = -/(и),

где f(u) непрерывна в некоторой окрестности нуля и определяется из равенства

ехр[-/(и)] = inf{e~tuip(t) : t > 0}.

Если предположить дополнительно, что cp(t) < oo в некоторой окрестности нуля, причем EXj = 0, а DXj = а2 > 0, то при и —> О

/« = ¿(1+ »(!))• 10

В случае же т > 2 задача резко усложняется, так что до недавнего времени каких-либо общих результатов в этой области не было вообще.

Многие авторы вычисляли поведение вероятностей (0.0.10) для II-статистик в более узких зонах, в частности, зонах крамеровских и умеренных уклонений, когда а = ап = о(п"/9), 0 < (3 < \ или а — ап = О (у^^) • Большинство этих работ посвящено доказательству асимптотической эквивалентности вероятностей больших уклонений (0.0.10) [/-статистик с невырожденным ядром Ф и хвоста нормального распределения. При различных условиях регулярности это устанавливалось с различными показателями /3 в [4], [6], [17], [23], [27], [28], [45], [46], [48], [51], [55], [57]. Для стьюдентизиро-ванных [/-статистик некоторые результаты были получены в [56].

Что касается постоянных а, то есть черновских уклонений, то здесь известно немногое. В упоминавшихся уже работах Борисова [5], [33] устанавливаются верхние оценки для вероятностей больших уклонений функционалов Мизеса произвольной вырожденности. Арконес в [30] и независимо Эйхсельбахер и Леве в [39] сформулировали так называемый принцип больших уклонений для II-статистик и функционалов Мизеса. В частности, в [39] доказано, что II- и У-статистики имеют одинаковое поведение вероятностей больших уклонений при условии конечности производящей функции моментов для Х^. В работе [54] принцип больших уклонений распространен на некоторые связанные с этими статистиками эмпирические меры. Однако совершенно неясно, как из этих результатов получить искомую асимптотику, то есть функцию кц{а) или главные члены ее разложения в ряд при а —> 0.

Для невырожденного случая попытка решения была предпринята в работе Дасгупты [37]. Свой результат Дасгупта формулирует для неодинаково распределенных случайных величин Х1,...,Х„. В случае одинаково распределенных случайных величин из его работы вытекает следующее утверждение.

Теорема 0.0.2. Пусть

ф(81) = Е(Ф(ХЬ = 81) и б2 = Еф\Х1) > 0.

Предположим, что

ЕФ(Х\,..., Хто) = 0, Еещ){1Ф2...,Хт)}< ос ШеЕ\

^нг^п-11пРг > п£о| < 00 для некоторого > 0.

Тогда для любой последовательности 7„ —> 0 при п —> со и для любого £ > 0 верно

К сожалению, в формулировке и доказательстве теоремы содержатся серьезные ошибки. Это тем более досадно, что теорема Дасгупты вошла в монографии [6] и [14] без изменений. Таким образом, вопрос для невырожденного случая оставался открытым.

Для вырожденного случая какие-либо общие результаты о больших уклонениях до последнего времени были вообще неизвестны.

Главные результаты настоящей диссертации состоят в следующем. Во-первых, исправляется и уточняется теорема Дасгупты: находится правильная асимптотика вероятностей больших уклонений

для невырожденных функционалов Мизеса и II-статистик. Во - вторых, впервые находится асимптотика вероятностей больших уклонений для слабо вырожденных (имеющих ранг 2) функционалов Мизеса и ¿/-статистик. Полученные результаты иллюстрируются многочисленными примерами.

Любые результаты о больших уклонениях для ¿/-статистик и функционалов Мизеса доказываются при определенных предположениях о распределении случайных величин Х^ и ядре Ф. На протяжении всей работы мы будем предполагать, что в определении II-статистики и функционала Мизеса случайные величины Х^ имеют равномерное распределение на [0,1]. Условие равномерности оправдывается тем, что нас интересуют главным образом приложения к "свободным от распределения" статистикам, для которых закон распределения Х^ не имеет значения, если только он непрерывен. Кроме того, мы можем перейти от случайных величин У"!,!^-- с непрерывной функцией распределения ^ к последовательности равномерно распределенных на [0,1] случайных величин Х\,Х2,.... полагая Х^ = ] = 1,2,... . Тогда ¿/-статистика степени т с ядром Ф, построенная по перейдет в ¿/-статистику степени т с ядром Фо, построенную по случайным величинам Х^^ причем ядра Ф и Фо связаны очевидной формулой:

Ф0(ХЬ..., Хт) = Ф^оиР-1(¥т)).

Для краткости обозначим / = [0,1]. Всюду в диссертации ^ означает ^-кратное интегрирование по единичному кубу 1к.

Таким образом, ограничения на распределения случайных величин можно свести к ограничениям на ядро.

На протяжении всей работы мы накладываем жесткое условие ограниченности ядра, не требуя, однако его непрерывности или глад-

кости. С одной стороны, это диктуется методами доказательств и используется, в частности, в доказательстве непрерывности в подходящей топологии функционала Мизеса как функционала от эмпирической меры. С другой стороны, подавляющее большинство ядер [/-статистик и функционалов Мизеса, встречающихся в непараметрической статистике, является комбинацией индикаторных функций, и потому они удовлетворяют условию ограниченности. Многочисленные примеры таких ядер будут приведены ниже.

Как известно, теорема Санова и ее обобщения (см., например, [21], [32], [38]) сводят задачу поиска вероятностей больших уклонений (0.0.10) к задаче минимизации информации Кульбака-Лейблера К на некотором множестве функций распределения Qa. Но чтобы утверждение

Jim ггЧпРг^» > а} = -K(iîa)

было справедливым, необходимо среди прочего доказать непрерывность функции а ь» K(Qa). Именно это является наиболее сложной задачей при использовании различных обобщений теоремы Санова. В работе [47] удалось показать, что для функционалов Мизеса степени 2 справедливо соотношение

lim а~1К{Па) = ^. (0.0.11)

где Ао является наименьшим характеристическим числом числом линейного интегрального оператора с ядром Ф($,£). Несмотря на вычисление главной части, авторам [47] не удалось доказать непрерывность функции а I—У K(Qa), а потому нельзя утверждать, что асимптотика (0.0.10) ведет себя так же, как найденная величина

Все же для некоторых статистик, имеющих вид (0.0.2), асимптотику вероятностей больших уклонений вычислить удалось. Первый

результат здесь принадлежит Могульскому, который в работе [18] решил эту задачу для классической статистики со2 Крамера - фон Мизеса - Смирнова (0.0.5). Задача минимизации информации Куль-бака - Лейблера является вариационной задачей на условный экстремум, так что экстремали можно найти из возникающего уравнения Эйлера - Лагранжа. В [18] это нелинейное дифференциальное уравнение второго порядка выглядит так:

х" -Хх- Хехх' = 0, (0.0.12)

причем оно рассматривается совместно с условиями

я(0) =ж(1) = 0, j\2(t)dt = 1.

Здесь Л - неопределенный множитель Лагранжа, а е - числовой параметр. Могульский показал, что решение такой задачи можно найти в классе функций

оо = £

71=0

где

/ ОО .

%n{t) = ]С ak' sin felfí, к=1

причем ряд сходится абсолютно и равномерно при достаточно малых £ > 0. Это позволило установить, что

00

Нт п-11пРг{^ >£} = - —e+Y,

¿ 3=3

причем ряд в правой части сходится при достаточно малых £ > 0.

Однако метод Могульского настолько существенно использует конкретный вид статистики что рассуждения [18] не удается перенести даже на общий случай взвешенной статистики, предложенной в [29]:

ul,q = /0 (Fn{u) ~ ufq{u) du, 15

где неотрицательная весовая функция д удовлетворяет условию

Поэтому для подобных статистик потребовались совершенно иные средства.

Задача для взвешенных статистик была решена в [19], [20]. Метод, предложенный там, оказался очень мощным. Суть его заключается в том, что возникающее уравнение Эйлера - Лагранжа, естественно, более сложное, чем (0.0.12), вместе с краевыми или нормировочными условиями рассматривается как неявный аналитический оператор, действующий в подх�