Асимптотические свойства критериев согласия для проверки гипотез в схеме выбора без возвращения, основанных на заполнении ячеек в обобщенной схеме размещения тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

На правах рукописи

Колодзей Александр Владимирович

АСИМПТОТИЧЕСКИЕ СВОЙСТВА КРИТЕРИЕВ СОГЛАСИЯ ДЛЯ ПРОВЕРКИ ГИПОТЕЗ В СХЕМЕ ВЫБОРА БЕЗ ВОЗВРАЩЕНИЯ, ОСНОВАННЫХ НА ЗАПОЛНЕНИИ ЯЧЕЕК В ОБОБЩЕННОЙ СХЕМЕ РАЗМЕЩЕНИЯ

Специальность: 01.01.05 — теория вероятностей и

математическая статистика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических паук

Москва 2006

Работа выполнена в Институте точной механики и вычислительной техники имени С. Л. Лебедева РАН

Научный руководитель:

доктор физ.—мат. наук А.Ф. Ронжин (ИТМиВТ им. С. А. Лебедева).

Официальные оппоненты:

доктор физ.—мат. наук профессор В. А. Иванов (НИИ Автоматики), кандидат физ.—мат. наук А. М. Шойтов (лаборатория ТВП).

Ведущая организация: Математический институт им. В. А. Стеклова Российской академии наук

Защита состоится 19 декабря 2006 г. в 17:00 в аудитории 411 на заседании диссертационного совета К 212.133.01 при Московском государственном институте электроники и математики по адресу: 109028, г. Москва, Б. Трехсвятительский пер., 3/12-

С диссертацией можно ознакомиться в библиотеке МИЭМ. Автореферат разослан "/Д" " ¿»м2006 г.

Ученый секретарь диссертационного совета, к. физ.—.мат. наук, доцент

Е.Р. Хакимуллин

1 Общая характеристика работы

1.1. Актуальность темы. В теории статистического анализа дискретных последовательностей особое место занимают критерии согласия для проверки, возможно, сложной нулевой гипотезы, заключающейся в том, -что для случайной последовательности такой, что Xi 6 1м, i = 1,..., п, где 1м ~ {0,1,..., М}, для любых i — 1,..., п, и для любого к € 1м вероятность события = А;} не зависит от i. Это означает, что последовательность (А'»)™^ в некотором смысле стационарна.

В ряде прикладных задач в качестве последовательности рассматривается последовательность цветов гпаров при выборе без возвращения до исчерпания из урны, содержащей п^ — 1 > 0 птаров цвета к, к €Е 1м- Если мощность множества 1м равна 2, то последовательность цветов птаров однозначно определяется последовательностью расстояний между местами соседних шаров одного фиксированного цвета. В этом случае можно установить взаимнооднозначное, соответствие между множеством выборов без возвращения и множеством векторов h(n, N) = (hi,..., hpf) с положительными целочисленными компонентами таких, что JZDLi hv = п. В качестве вероятностных распределений на множестве таких векторов в диссертационной работе рассматриваются распределения, представимьте в виде

N

Р{Цп, N) = f} = Р{£„ = r„, i/ = 1,..., N\ £ = n}, (1)

«/=1

где fi,..., — независимые неотрицательные целочисленные случайные величины, г = (ri,..., гд'). Распределения такого вида были названы Колчиным В.Ф. обобщенными схемами размещения п частиц по N ячейкам. Если случайные величины £ь • • • > £лг в (1) одинаково распределены по геометрическому закону

где р — любое в интернале 0 < р < 1, то получающаяся обобщенная схема размещения соответствует равномерному распределению

на множестве выборов. Для проверки по единственной последовательности гипотезы о том, что она получена как результат выбора бел возвращения, и каждый выбор из множества имеет одну и ту же вероятность, можно проверить гипотезу о том, что вектор расстояний между местами тпаров цвета 0 распределен как вектор частот в соответствующей обобщенной схеме размещения п частиц по ЛГ ячейкам.

При проверке гипотез о распределении векторов частот в обобщенных схемах размещения особое место занимают критерии, построенные на основе статистик вида

N

= (2) У=1

где /„, V — 1,2,... и ф - некоторые действительнозначные функции,

N

цт = = г},г = 0,1,....

ъ>=\

Пусть Но = (Я0(«, ./V)) — последовательность простых нулевых гипотез, заключающихся в том, что распределение вектора Л(п, М) есть (1), где случайные величины Сь • • •>?ЛГ в (1) одинаково распределены и

параметры п, N изменяются н центральной области, то есть

.. п

оо так, что — > 7, где 0 < ■у < оо.

Рассмотрим некоторое /3 6 (0,1) и последовательность, вообще говоря, сложных альтернатив Н = (Н(п, ЛГ)) такич, что существует

- максимальное число, для которого при любой простой гипотезе Н\ е Н(п, i\r) выполнено неравенство

> ап,М} > ¡3.

Булем отвергать гипотезу Но(п, М), если фн > Если суще-

ствует предел

^-^1пР{фм > = Зф{Р,Н),

где вероятность для каждого N вычисляется при гипотезе /Го(п, Л'), то значение jф(jЗ,li) названо Ронжиным А.Ф. индексом критерия ф в точке (/?,Н). Последний предел может, вообще говоря, и не существовать. Поэтому в диссертационной работе кроме индекса критерия рассматривается величина

где Лшл'-.оо <1АГ> означает нижний предел последовательности (а,у) при N —► со, которая автором диссертационной работы была названа нижним индексом критерия ф в точке (/?, Н). Целью диссертационной работы является построение критериев согласия с наибольшим значением индекса критерия (нижнего индекса критерия) для проверки гипотез в схеме выбора без возращения в классе критериев, которые отклоняют гипотезу Но(п, Лг) при

(4)

где ф — функция от счетного количества аргументов, и параметры п, N изменяются в центральной области, (адг) — некоторая последовательность констант.

Индексы критериев определяются вероятностями больших уклонений. Вопрос о вероятностях больших уклонений статистик от

неограниченного числа. /хГ) а также произвольных разделимых статистик, не удовлетворяющих условию Крамера,, оставался открытым (случайная величина г) удовлетворяет условию Крамера, если для некоторого II > 0 производящая функция моментов Ме^ конечна в интервале |£| < II). Это не позволяло окончательно решить задачу о построении критериев согласия для проверки гипотез в обобщенных схемах размещения с наибольшей скоростью стремления к нулю вероятности ошибки первого рода при несближающихся альтернативах в классе критериев (4). Актуальность диссертационного исследования определяется необходимостью завершить решение указанной задачи.

1.2. Методы работы: метод сопряженных распределений, метод перевала, метод непосредственной оценки вероятностей больших уклонений, метод условных множителей Лагранжа.

1.3. Научная новизна. Новизна работы заключается в следующем:

- дано понятие обобщенной метрики — функции, допускающей бесконечные значения и удовлетворяющей аксиомам тождества, симметрии и неравенства треугольника. Найдена обобщенная метрика VI указаны множества, на которых функции энтропии и информационного расстояния, заданные на семействе дискретных распределений со счетным числом исходов, непрерывны п этой метрике;

- в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений статистик пи да, (3), удовлетворяющих соответствующей форме условия Крамера;

- в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера;

- в классе критериев вида (4) построен критерий с наибольшим значением индекса критерия.

1.4. Результаты, выносимые на защиту:

- сведение задачи проверки по единственной последовательности цветов шаров гипотезы от том, что эта последовательность получена в результате выбора без возвращения до исчерпания тпаров из урны, содержащей шары двух цветов, и каждый такой выбор имеет одинаковую вероятность, к построению критериев согласия для проверки гипотез в соответствующей обобщенной схеме размещения;

- непрерывность функций энтропии и информационного расстояния Кульбака — Лейблера — Санова на бесконечномерном симплексе с введенной логарифмической обобщенной метрикой;

- теорема о грубой (с точностью до логарифмической эквивалентности) асимптотике вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера в обобщенной схеме размещения в семиэкспонен-циальном случае;

- теорема о грубой (с точностью до логарифмической эквивалентности) асимптотике вероятностей больших уклонений для статистик вида (3);

- построение критерия согласия для проверки гипотез в обобщенных схемах размещения с наибольшим значением индекса в классе критериев вида (4).

1.5. Научная и практическая ценность. В работе решен ряд вопросов о поведении вероятностей больших уклонений в обобщенных схемах размещения. Полученные результаты могут быть использованы в учебном процессе по специальностям математическая

статистика и теория информации, при исследовании статистических процедур анализа дискретных последовательностях и были использованы в [1], [6] при обосновании защищенности одного класса информационных систем.

1.6. Апробация работы. Результаты докладывалась на семинарах Отдела дискретной математики Математического института им. В. А. Стеклова РАН, отделения информационной безопасности ИТМиВТ им. А. А. Лебедева РАН и на:

- пятом Всероссийском симпозиуме по прикладной и промышленной математике. Весенняя сессия, Кисловодск, 2 — 8 мая 2004;

- шестой Международной Петрозаводской конференция "Вероятностные методы в дискретной математике" 10 — 16 июня 2004;

- второй Международной конференции "Информационные системы и технологии (IST'2004)", Минск, 8 — 10 ноября 2004;

- Международной конференции "Modern Problems and new Trends in Probability Theory", Черновцы, Украина, 19 — 26 июня 2005.

Основные результаты работы использовались r НИР "Апология", выполняемой ИТМиВТ РАН им. С. А. Лебедева в интересах Федеральной службы по техническому и экспортному контролю РФ, и вошли в отчет об исполнении этапа НИР [6]. Отдельные результаты диссертации вошли в отчет по НИР "Разработка математических проблем криптографии" Академии криптографии РФ за 2004 г. [7].

1.7. Публикации. Основные результаты работы отражены в 9 публикациях автора — 5 тезисах на научных конференциях, 2 статьях и 2 отчетах по НИР.

1.8. Структура и объем работы. Диссертация включает: введение, 3 главы, заключение, список литературы. Общий объем основной части — 63 страницы. Список литературы включает 54 названия.

2 Содержание работы

2.1. Введение. В введении обоснована актуальность проблемы, обозначена цель исследования и положения, выносимые на защиту, дан краткий о&зор литературы.

В первой главе исследуются свойства энтропии и информационного расстояния для распределений на множестве неотрицательных целых чисел.

В первом параграфе первой главы вводятся обозначения и даются необходимые определения. В частности, используются следующие обозначения:

х = (хц, хх,...) — бесконечномерный вектор со счетным количеством компонент;

Щх) = -Ех^о^1»^:

п* = >0,^ = 0,1,1}; п={г,ас„ >0,1/= 0,1,...,= 1};

£1Ы = {* 6 < 7};

= и£>1{х е пу,0 < Щ - -уМ1~1 < оо}.

П(п, Ю = {($, ..., о, о,...), к е 2, и = о, 1,..., П, *>К =

п};

Понятно, что множество Г2 соответствует семейству вероятностных распределений на множестве неотрицательных целых чисел, Г27 — семейству вероятностных распределений на множестве неотрицательных целых чисел с. математическим ожиданием -у. Если у € П, то для £ > 0 через Ое(у) будет обозначаться множество

Ое(у) = {х € х„ < уие£ для всех V = 0,1,...}.

Во втором параграфе первой главы доказывается, что энтропия дискретного распределения с конечным математическим ожиданием не превосходит энтропии геометрического распределения с

этим математическим ожиданием. Данный результат очевидным образом следует из формального применения метод условных множителей Лагранжа в случае бесконечного числа переменных. В статье К. Конрада, размещенной в сети Интернет, эта теорема приведена без доказательства. Автором, тем не менее, дано строгое доказательство следующей теоремы.

Теорема 1. Об ограниченности энтропии дискретных распределений с ограниченным математическим ожиданием.

Для любого х € Г27

Щх) < (5)

■где

р(у) = (7 + 1)1п(7+1) —71117.

Если х 6 П7 соответствует геометрическому распределению с математическим ожиданием 7, то есть

х„={1-р)р",1/ = 0,1,..., где р = ——,

1+7

то имеет место равенство

Щх) = Г(7).

В третьем параграфе первой главы дается определение обобщенной метрики — метрики, допускающей бесконечные значения. Для х, у € П определяется функция р(х, у) как минимальное £ > О со свойством

у„е~£ <хи< уие£ для всех V = 0,1,... Если такого е не существует, то полагается, что

р{х,у) = оо.

Доказывается, что функция р{х, у) — обобщенная метрика на семействе распределений на множестве неотрицательных целых чисел.

Обозначим через ./(а;, у) информационное расстояние Кульбака — Лейблера — Санова.

оо ^

"=9 у"

Здесь и далее полагается, что 01п0 = 0,01п д = 0. Информационное расстояние определено для таких х, у, что — 0 для всех V таких, что у,у = 0. Если это условие не выполнено, то будем полагать 3(х,у) — оо. Пусть А С £2. Тогда будем обозначать

= ]п1' Л{х, у).

хбА

Положим

7(0, у) = оо.

В четвертом параграфе первой главы дается определение компактности функций, заданных на множестве 42*. Компактность функции от счетного множества аргументов означает, что с любой степенью точности значение функции может быть приближено значениями этой функции в точках, где лишь конечное количество аргументов отлично от нуля. Доказывается компактность функций энтропии и информационного расстояния.

1. Для любого 0 < 7 < оо функция Н(х) компактна на

2. Если для некоторого 0 < 70 < оо

реО70,

то для любых 0 < 7 < оо, г > 0 функция

А(х) = J(x,p)

компактна на множестве П Ог(р).

В пятом параграфе первой главы рассматриваются свойства информационного расстояния, задаваемого на бесконечномерном пространстве.

Доказывается справедливость следующих неравенств для функций энтропии Н{х) и информационного расстояния 3(х,р):

1. Для любых х, х' 6 П

|Щх) - Н{х')\ < - 1 )(Н(х) + Н{х')).

2. Если для некоторых х,р & О, существует е > 0 такое, что х е Ое(р), то для любого х' е £2

Щх,р) - 3{х',р)I < - 1)(Я(х) + Я(х') + е£Н(р)).

Из этих неравенств с учетом теоремы 1 следует равномерная непрерывность функций энтропии и информационного расстояния па соответствующих подмножествах П в метрике р(х,у), а именно,

1. Для любого 7 такого, что 0 < 7 < оо, функция 11(3:) равномерно непрерывна на £2[7] в метрике р(х, у);

2. Если для некоторого 70, 0 < 70 < оо

Р е П70,

то для любых 0<7<оои£г>0 функция

Хр(х) = J(x,p)

равномерно непрерывна на множестве Г2[7] П Ое (р) в метрике р(х,у).

Метрика. р(х, у) подбиралась автором специально, чтобы функции энтропии и информационного расстояния были непрерывны в ней на указанных подмножествах Г2. Показывается, что функция информационного расстояния не является непрерывной на множестве Г2 ни в одной из метрик

оо

= I

Рз(х, у) = sup \xv — yv\.

v

Дается определение неэкстремальности функции. Условие неэкстремальности означает то, что функция не имеет локальных экстремумов, либо функция принимает в локальных минимумах (локальных максимумах) одинаковые значения. Условие неэкстремальности ослабляет требование отсутствия локальных экстремумов. Например, функция siria; иа множестве действительных чисел имеет локальные экстремумы, но удовлетворяет условию неэкстремальности.

Во второй главе исследуется грубая (с точностью до логарифмической эквивалентности) асимптотика вероятности больших уклонений функций от Д = (¿ад, • • ■, Мп, 0,...) — числа ячеек с заданным заполнением в центральной области изменения параметров N, п. Грубой асимптотики вероятностей больших уклонений достаточно для изучения индексов критериев согласия.

Пусть случайные величины в (1) одинаково распределены и

Pfó =fc}=pbfc = 0,l,...,

P(z) — производящая функция случайной величины — сходится в круге радиуса 1 < R < ос. Для 0 < z < R обозначим через |(z) случайную величину такую, что

Обозначим

P(Z) = ( P{C(*)=0},P{Í(*) = 1},...)

Через z.у обозначим решение уравнения М£(.г) = 7. В с году в дольней тем будет предполагаться, что

рк > 0, к = 0,1,....

В первом пункте первого параграфа второй главы находится асимптотика логарифмов вероятностей вида

= ка,..., цп = кп}.

Доказывается следующая теорема.

Теорема 2. Грубая локальная теорема о вероятностях больших уклонений. Пусть п, N —* оо так, что

^ 7,0 < 7 < оо,

существует г^ — корень уравнения М£(.г) = 7, с. в. £(г7) имеет положительную дисперсию. Тогда для любого к е Г1(п, ТУ)

Во втором пункте первого параграфа второй главы находится асимптотика скорости стремления к нулю вероятностей вида

где адг - последовательность действительных чисел, сходящаяся к некоторому а € К-, ф(х) — действительнозначная функция. Доказывается следующая теорема.

Теорема 3. Грубая интегральная теорема о вероятностях больших уклонений. Пусть выполнены условия теоремы 2, для некоторых г > О, С > 0 действительная функция ф(х) компактна, равномерно непрерывна в метрике р на множестве

А = Ог+с(р(г7)) П Ц7+с]

« удовлетворяет условию неэкстремальности на множестве П7. Если для некоторой константы а такой, •что

ф(х) < а < вир ф(х). хеПу

существует вектор ра € Й^ЛОг(р(г,)), такой, что

ф{ра) > а

и

то для любой последовательности а,л/, сходящейся к а,

^ -±1пР{фф ...) > ам} = Лра,р(г7)). (6)

При дополнительных ограничениях на функцию ф{х) информационное расстояние ./(ра,р(г7)) в (6) удается вычислить более конкретно. А именно, справедлива следующая теорема. Теорема 4. Об информационном расстоянии. Пусть для некоторого 0 < у < оо

р е

для некоторых г > 0, £ > 0 действительная функция ф{х) и ее частные производные первого порядка компактны и равномерно непрерывны в обобщенной метрике р(х, у) на множестве

А=Ог(р)ПЦ7+с],

существуют Т > О, К > 0, такие, что для всех |£| < Т,0 < г < Н,х € А

ОО ^

^Р^ехр^—ф{х)} < оо, (7)

V—0 1/

00 3 д

для некоторого е > О

оо ~

£ехр{г—ф(х)} < оо, (8)

и существует единственный вектор х(г, удовлетворяющий системе уравнений

х„(;г,г) =р1/г"ехр{4^— ф{х(г,г))},и = 0,1,----

функция ф{х) удовлетворяет на множестве А условию неэксгпре-малъности, а - некоторая константа,

ф(р)<а< вир ф(х)(г,г), 0<г<П,Щ<Т

существуют такие

что

|£а| < Т,0 < га < Д,

где

= 7>

1/=0

ф(р{га, ta)) = а, 0

Тогда р(га,Ьа) € и

J({ж € А, ф(х) = а},р) = J{p(za,ta),p) °° д 00 д

Условие (7) является соответствующей формой условия Крамера. Условие (8) используется при доказательстве наличия в областях вида {х € Г2, ф(х) > а} хотя бы одной точки из П(п, Лг) при всех достаточно больших п, N.

Пусть (/г)(п, Л>") = (Лг,..йлг) — вектор частот в обобщенной схеме размещения (1). В качестве следствия из теорем 3, 4 формулируется следующая теорема.

Теорема 5. Грубая интегральная теорема о вероятностях больших уклонений симметричных разделимых статистик в обобщенной схеме размещения.

Пусть тг, N —► оо так, что ^ —» 7, 0 < 7 < оо, существует — корень уравнения М£(.г) = 7, с. в. имеет положительную дисперсию и максимальный шаг распределения 1, а — некоторая константа, /(х) — действительная функция, а < М/(£(.г7)), существуют Т > О, Д > 0 такие, что для всех < Т, 0 < г < К,

оо

< оо,

существуют такие

\Ц<Т,0<га<11, ':

что

где

= 7,

к=0 оо

Е/МрЛ^»4«) = а>

1^—0

Ри{г,г) =

Тогда для любой последовательности адг, сходящейся к а,

1 1 "

Л—«ю 1V

оо

= 7 In + taa - In iWe^M. i/=0

Эта теорема впервые была доказана А. Ф. Ропжиным с использованием метода перевала.

Во втором параграфе второй главы исследуются вероятности больших уклонений разделимых статистик в обобщенных схнмах размещения r случае невыполнения условию Крамера для случайной величины /(£(-г)). Условие Крамера для случайной величины /(£(js)) не выполняется, в частности, если £(z) — пуассоновская случайная величина, а /(х) = х2. Заметим, что условие Крамера для самих разделимых статистик в обобщенных схемах размещения выполняется всегда, так как при любых фиксированных п, N число возможных исходов в этих схемах конечно.

Пусть P{£i = А;} > 0 для всех к = 0,1,... и функцию р(к) — — lnP{£i = к} можно распространить па правильно меняющуюся функцию непрерывного аргумента порядка р,0 < р < оо, функция /(х) при достаточно больших значениях аргумента — положительная строго возрастающая, правильно меняющаяся функция порядка q > 1, | < ^ < 1, то есть рассматривается семиэкспоненциальный случай правильного изменения распределения случайной величины /(&)•

Определим функцию ^з(х), положив для достаточно больших х

^(х)=р(/-1(х)).

Па остальной числовой оси <р(х) может быть задана произвольным ограниченным измеримым образом.

Тогда случайная величина /(£i) имеет моменты любого порядка и не удовлетворяет условию Крамера, = о(х) при х —> оо, и

справедлива следующая

Обозначим Ьл-((х)) = J2k=i f(xk)-Теорема 6. Пусть при достаточно больших х функция <р(х) монотонно не убивает, функция монотонно не возрастает, щ N —>

оо т.ак, что jij —► Л, 0 < Л < оо, z\ — единственный корень уравнения Mfi(z) = Л. тогда для любого с > b(z\), где b(z) = M/(£i (г)), существует предел

Ä дауln p(L»(h(n' > cjV> = -(с - •

Из теоремы 6 следует, что при невыполнении условия Крамера предел

lim ~lnP{Lfir(h(n,N))>cN} = 0.

N—юо Л»

Таким образом, значение индекса критерия согласия в обобщенных схемах размещения при невыполнении условия Крамера всегда равно нулю. При этом в классе критериев, когда условие Крамера выполняется, строятся критерии с ненулевым значением индекса. Отсюда можно сделать вывод, что использовать критерии, статистика которых не удовлетворяет условию Крамера, например, критерий хи—квадрат в полиномиальной схеме, для построения критериев согласия для проверки гипотез при несближающихся альтернативах в указанном смысле асимптотически неэффективно.

В третьей главе решается задача построения критериев согласия с наибольшим значением индекса критерия (наибольшим значением нижнего индекса критерия) для проверки гипотез в обобщенных схемах размещения. На основе результатов первой и второй глав о свойствах функций энтропии, информационного расстояния и вероятностей больших уклонений в третьей главе находится функция вида (3) такая, что критерий согласия, построенный на ее основе, имеет наибольшее значение точного нижнего индекса в рассматриваемом классе критериев.

Доказывается следующая теорема. Теорема 7. О существовании индекса. Пусть выполнены условия теоремы 3, 0 < ß < 1, Н = Hp(i), Нрр),... — последовательность альтернативных распределений, - максимальное чис.-

ло, для которого при гипотезе Нр(л) выполнено неравенство

существует предел Птдг_юо аД/3, ЛГ) = а. Тогда в точке (/?, Н) существует индекс критерия ф

Н) = 1{Щх) >а,хе

При этом где

оо

В Заключении излагаются полученные результаты в их соотношении с общей целью и конкретными задачами, поставленными в диссертации, формулируются выводы по результатам диссертационного исследования, указываются научная новизна, теоретическая и практическая ценность работы, а также конкретные научные задачи, которые выявлены автором и решение которых представляется актуальным.

3 Общие выводы.

В диссертационной работе были

- исследованы свойства энтропии и информационного расстояния дискретных распределений с неограниченным количеством исходов при ограниченном математическом ожидании;

- получена грубая (с точностью до логарифмической эквивалентности) асимптотика вероятностей больших уклонений широкого класса статистик в обобщенной схеме размещения при изменении параметров в центральной зоне;

- на основе полученных результатов построена функция критерия с наибольшей логарифмической скоростью стремления к нулю вероятности ошибки первого рода при фиксированной вероятности ошибки второго рода и несближающихся альтернативах;

- доказано, что статистики, не удовлетворяющие условию Крамера, имеют меньшую скорость стремления к нулю вероятностей больших уклонений по сравнению со статистиками, удовлетворяющими такому условию.

Однако, ряд вопросов остается открытым. В частности, не рассматривался вопрос, когда носитель распределения случайных величин, порождающие обобщенную схему размещения (1), не есть множество вида г,г+1,г + 2,.... Для практического применения критериев, построенных на основе предлагаемой функции с максимальным значением индекса, требуется изучение ее распределения как .при нулевой гипотезе, так и при альтернативах, в том числе и сближающихся.

Автор выражает глубокую благодарность научному руководителю доктору физико-математических наук Ронжину А. Ф. и научному консультанту доктору физико-математических наук старшему научному сотруднику Князеву А. В. Автор выражает признательность доктору физико—математических наук профессору Зубкову А. М. и кандидату физико-математических наук Круглову И. А. за внимание, оказанное работе и ряд ценных замечаний.

Публикации по теме диссертации

[1] Видякин В. В., Колодзей А. В. Статистическое обнаружение скрытых каналов, в сетях передачи данных // Тез. докл. II Между нар. конф. "Информационные системы и технологии 18Т'2004"(Минск, 8 — 10 окт. 2004 г.) - Минск: БГУ, 2004. — Ч. 1. - С. 116—117.

[2] Колодзей А. В. Теорема о вероятностях больших уклонений для разделимых статистик, не удовлетворяющих условию Крамера. // Тез. докл. Пятого всеросс. симпозиума по прикл. и про-мыптл. матема. (Кисловодск, 2 — 8 мая 2004 г.) — Обозрение прикл. и промытл. матем. — 2004. — Т. 11. — 3. — С. 647 — 648.

[3] Колодзей А. В. Теорема о вероятностях больших уклонений для разделимых статистик, не удовлетворяющих условию Крамера. // Дискретн. матем. — 2005. - Т. 17. — 2. — С. 87 — 94.

[4] Колодзей А. В. Критерии согласия для схем выбора без возвращения, основанные на заполнении ячеек в обобщенной схеме размещения // Тез. докл. Шестой Междунар. Петрозаводской конф. Вероятностные методы в дискретной математике (Петрозаводск, 10 — 16 июн. 2004 г.) — Обозрение прикл. и промытл. матем. - 2004. - Т. 11. — 2. — С. 239 — 240.

[5] Колодзей А. В. Энтропия дискретных распределений и вероятности больших уклонений функций от заполнения ячеек в обобщенных схемах размещения // Обозрение прикл. и промытл. матем. — 2005. — Т. 12. — 2. — С. 248 — 252.

[6] Колодзей А. В. Статистические критерии выявления скрытых каналов, основанных на изменении порядка следования сообщений // Научно-исследовательская работа "Апология": Отчет / ФСТЭК РФ, Руководитель А. В. Князев. — Инв. 7 дсп. — М., 2004. — С. 96 — 128.

[7] Колодзей А. В., Ронжин А. Ф О некоторых статистиках, связанных с проверкой однородности случайных дискретных последовательностей // Научно-исследовательская работа "Разработка математических проблем криптографии" N 4 - 2004 г.: Отчет / АК РФ, - М., 2004.

[8] Kolodzey А. V., Kravchenko I. A., Ronzhin А. P. About Distances between the Next Recurrences in Discrete. Random Sequences // Тез. докл. межд. конф. Modern Problems and new Trends in Probability Theory, (Черновцы, 19 — 26 июн. 2005 г.) — Киев: Институт математики, 2005. - Ч. 1. С. 120 - 121.

[9] Kolodzey А. V., Ronzhin A. F., Goodness of Fit Tests for Random Combinatoric Objects jj Тез. докл. межд. конф. Modern Problems and new Trends in Probability Theory, (Черновцы, 19 — 26 июн. 2005 г.) — Киев: Институт математики, 2005. - Ч. 1. С. 122.

Колодзей Александр Владимирович КРИТЕРИИ СОГЛАСИЯ ДЛЯ СХЕМЫ ВЫБОРА БЕЗ ВОЗВРАЩЕНИЯ, ОСНОВАННЫЕ НА ЗАПОЛНЕНИИ ЯЧЕЕК В ОБОБЩЕННОЙ СХЕМЕ РАЗМЕЩЕНИЯ АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук Усл. печ. л. 0,93. Уч.-изд. л. 0,8. Тираж 100 экз.

Московском государственном институте электроники и математики 109028, г. Москва, Б. Трехсвятительский пер., 3/12.

Введение

1 Энтропия и информационное расстояние

1.1 Основные определения и обозначения.

1.2 Энтропия дискретных распределений с ограниченным математическим ожиданием.

1.3 Логарифмическая обобщенная метрика на множестве дискретных распределений.

1.4 Компактность функций от счетного множества аргументов

1.5 Непрерывность информационного расстояния Кульбака — Лейблера — Санова

1.6 Выводы.

2 Вероятности больших уклонений

2.1 Вероятности больших уклонений функций от числа ячеек с заданным заполнением.

2.1.1 Локальная предельная теорема.

2.1.2 Интегральная предельная теорема.

2.1.3 Информационное расстояние и вероятности больших уклонений разделимых статистик

2.2 Вероятности больших уклонений разделимых статистик, не удовлетворяющих условию Крамера.

2.3 Выводы.

3 Асимптотические свойства критериев согласия

3.1 Критерии согласия для схемы выбора без возвращения

3.2 Асимптотическая относительная эффективность критериев согласия.

3.3 Критерии, основанные на числе ячеек в обобщенных схемах размещения.

3.4 Выводы.

Объект исследования и актуальность темы. В теории статистического анализа дискретных последовательностей особое местозанимают критерии согласия для проверки, возможно, сложной нулевой гипотезы, которая заключается в том, что для случайной последовательности такой, что

Xi е hi,i = 1, • • • ,п, где hi = {0,1,. • ,М}, для любых i = 1,., п, и для любого к £ 1м вероятность события

Xi = к} не зависит от г. Это означает, что последовательность в некотором смысле стационарна.

В ряде прикладных задач в качестве последовательности (Хг-)™=1 рассматривается последовательность цветов шаров при выборе без возвращения до исчерпания из урны, содержащей щ — 1 > 0 шаров цвета к, к € 1м-Будем обозначать множество таких выборок ОЯ(п0 - 1, .,пм — 1). Пусть всего в урне содержится п — 1 шаров, м к=0

Обозначим через r(k) (fc) Jk) rw - Г! , . . . , последовательность номеров шаров цвета А; в выборке. Рассмотрим последовательность где к)

Кк-п- ГПк1.

Последовательность h^ определена при помощи расстояний между местами соседних шаров цвета к таким образом, что

Пк Кf = п. 1>=1

Совокупность последовательностей h(fc) для всех к £ 1м однозначно определяет последовательность Последовательности hk для разных к зависимы между собой. В частности, любая из них однозначно определяется всеми остальными. Если мощность множества 1м равна 2, то последовательность цветов шаров однозначно определяется последовательностью расстояний между местами соседних шаров одного фиксированного цвета. Пусть в урне, содержащей п — 1 шаров двух различных цветов, находится N — 1 шар цвета 0. Можно установить взаимнооднозначное соответствие между множеством ffl(N— l,n — N) и множеством 9\n,N векторов h(n, N) = (hi,., hjf) с положительными целочисленными компонентами таких, что К = П. (0.1)

Множество 9ЯП)дг соответствует множеству всех различных разбиений целого положительного числа п на N упорядоченных слагаемых.

Задав на множестве векторов £Нп,дг некоторое вероятностное распределение, мы получим соответствующее вероятностное распределение на множестве Wl(N — 1 ,п — N). Множество является подмножеством множества векторов с неотрицательными целочисленными компонентами, удовлетворяющими (0.1). В качестве вероятностных распределений на множестве векторов в диссертационной работе будут рассматриваться распределения вида

Р{%,N) = (п,.,rN)} = Р{£„ = ru,v = l,.,N\jr^ = n}, (0.2) где . ,£дг — независимые неотрицательные целочисленные случайные величины.

Распределения вида (0.2) в /24/ получили название обобщенных схем размещения п частиц по N ячейкам. В частности, если случайные величины £ь. ,£лг в (0.2) распределены по законам Пуассона с параметрами Ai,., Лдг соответственно, то вектор h(n,N) имеет полиномиальное распределение с вероятностями исходов

Ри = . , Л" , , ,V = \,.,N.

Л\ + . . . + AN

Если случайные величины £ь • • • >&v в (0-2) одинаково распределены по геометрическому закону где р — любое в интервале 0 < р < 1, то, как отмечено в /25/,/26/, получающаяся обобщенная схема размещения соответствует равномерному распределению на множестве В силу взаимнооднозначного соответствия между множеством dft(N — 1 ,п — N) и множеством tRn,N получаем равномерное распределение на множестве выборов без возвращения. При этом, вектору расстояний между местами шаров одного цвета взаимно однозначно соответствует вектор частот в обобщенной схеме размещения, и, соответственно, числу расстояний длины г — число ячеек, содержащих ровно г частиц. Для проверки по единственной последовательности гипотезы о том, что она получена как результат выбора без возвращения, и каждая такая выборка имеет одну и ту же вероятность можно проверить гипотезу о том, что вектор расстояний между местами шаров цвета 0 распределен как вектор частот в соответствующей обобщенной схеме размещения п частиц по N ячейкам.

Как отмечалось в /14/,/38/, особое место при проверке гипотез о распределении векторов частот h(n, N) = (hi,., /гдг) в обобщенных схемах размещения п частиц по N ячейкам, занимают критерии, построенные на основе статистик вида 1 m{N -l,n-N)\ N

LN{h{n,N))=Zfv(hv)

0.3) и

Фн = Ф{-Т7, flQ Hi II—

N'Tf''"' л

0.4) где fu, v = 1,2,. и ф - некоторые действительнозначные функции, N

Mr = Е = г}, г = 0,1,. 1/=1

Величины в /27/ были названы числом ячеек, содержащих ровно по г частиц.

Статистики вида (0.3) в /30/ получили название разделимых (аддитивно разделимых) статистик. Если функции /„ в (0.3) не зависят от и, то такие статистики были названы в /31/ симметричными разделимыми статистиками.

Для любого г статистика /хг является симметричной разделимой статистикой. Из равенства

Е ДМ = Е ДФг (0.5) следует, что класс симметричных разделимых статистик от hv совпадает с классом линейных функций от fir. При этом класс функций вида (0.4) шире класса симметричных разделимых статистик.

В диссертационной работе автор ограничился рассмотрением так называемой центральной области изменения параметров n,N /27/, то есть будет предполагаться, что п, N —> оо так, что п где 0 < 7 < оо. Пусть

Но = (#o(n, N)) последовательность простых нулевых гипотез, заключающихся в том, что распределение вектора h(n,N) есть (0.2), где случайные величины ,. в (0.2) одинаково распределены и к} = pk,k = 0,1,2,., параметры п, N изменяются в центральной области.

Рассмотрим некоторое Р £ (0,1) и последовательность, вообще говоря, сложных альтернатив

Н = (Н(п, N)) таких,что существует - максимальное число, для которого при для любой простой гипотезы Н\ € Н(п, N) выполнено неравенство

РШ > an,N(P)} > Р

Будем отвергать гипотезу Hq(ti,N), если фм > ащм({3). Если существует предел

Шп ~1пР{0лг > an,N(P)}=u(p,Н), где вероятность для каждого N вычисляется при гипотезе Нц(п, N), то значение ^(/З, Н) названо в /38/ индексом критерия ф в точке {j3, Н). Последний предел может, вообще говоря, и не существовать. Поэтому в диссертационной работе кроме индекса критерия рассматривается величина

Иш (~1пР{фм > ал(/?)})

N-^oo \ iv / которая автором диссертационной работы по аналогии была названа нижним индексом критерия ф в точке (/3, Н). Здесь и далее lim адг, lim адг

JV—>oo N-юо означают соответственно нижний и верхний пределы последовательности (одг) при N —> оо,

Если индекс критерия существует, то нижний индекс критерия совпадает с ним. Нижний индекс критерия существует всегда. Чем больше значения индекса критерия (нижнего индекса критерия), тем лучше в рассматриваемом смысле статистический критерий. В /38/ была решена задача построения критериев согласия для обобщенных схем размещения с наибольшим значением индекса критерия в классе критериев, которые отклоняют гипотезу Ho(n,N) при /МО Ml Мтч ГЧ iV' iV''''' ~yv" ' ^ ' где m > 0 — некоторое фиксированное число, последовательность постоянных едг выбирается, исходя из заданного значения мощности критерия при последовательности альтернатив, фт — действительная функция от т + 1 аргументов.

Индексы критериев определяются вероятностями больших уклонений. Как было показано в /38/, грубая (с точностью до логарифмической эквивалентности) асимптотика вероятностей больших уклонений разделимых статистик при выполнении условия Крамера для случайной величины /(£) определяется соответствующим информационным расстоянием Куль-бака — Лейблера — Санова (случайная величина rj удовлетворяет условию Крамера, если для некоторого Я > 0 производящая функция моментов Metr] конечна в интервале \t\ < Н /28/).

Вопрос о вероятностях больших уклонений статистик от неограниченного числа fir, а также произвольных разделимых статистик, не удовлетворяющих условию Крамера, оставался открытым. Это не позволяло окончательно решить задачу построения критериев для проверки гипотез в обобщенных схемах размещения с наибольшей скоростью стремления к нулю вероятности ошибки первого рода при иесближающихся альтернативах в классе критериев, основанных на статистиках вида (0.4). Актуальность диссертационного исследования определяется необходимостью завершить решение указанной задачи.

Целью диссертационной работы является построение критериев согласия с наибольшим значением индекса критерия (нижнего индекса критерия) для проверки гипотез в схеме выбора без возращения в классе критериев, которые отклоняют гипотезу Щ{п, N) при $.<>,■ •■)><*. (0-7) где ф — функция от счетного количества аргументов, и параметры п, N изменяются в центральной области.

В соответствии с целью исследования были поставлены следующие задачи:

- исследовать свойства энтропии и информационного расстояния Куль-бака — Лейблера — Санова для дискретных распределений со счетным количеством исходов;

- исследовать вероятности больших уклонений статистик вида (0.4);

- исследовать вероятности больших уклонений симметричных разделимых статистик (0.3), не удовлетворяющих условию Крамера;

- найти такую статистику, что построенный на ее основе критерий согласия для проверки гипотез в обобщенных схемах размещения имеет наибольшее значение индекса в классе критериев вида (0.7).

Научная новизна:

- дано понятие обобщенной метрики — функции, допускающей бесконечные значения и удовлетворяющей аксиомам тождества, симметрии и неравенства треугольника. Найдена обобщенная метрика и указаны множества, на которых функции энтропии и информационного расстояния, заданные на семействе дискретных распределений со счетным числом исходов, непрерывны в этой метрике;

- в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений статистик вида (0.4), удовлетворяющих соответствующей форме условия Крамера;

- в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера;

- в классе критериев вида (0.7) построен критерий с наибольшим значением индекса критерия.

Научная и практическая ценность. В работе решен ряд вопросов о поведении вероятностей больших уклонений в обобщенных схемах размещения. Полученные результаты могут быть использованы в учебном процессе по специальностям математическая статистика и теория информации, при исследовании статистических процедур анализа дискретных последовательностях и были использованы в /3/, /21/ при обосновании защищенности одного класса информационных систем. Положения, выносимые на защиту:

- сведение задачи проверки по единственной последовательности цветов шаров гипотезы от том, что эта последовательность получена в результате выбора без возвращения до исчерпания шаров из урны, содержащей шары двух цветов, и каждый такой выбор имеет одинаковую вероятность, к построению критериев согласия для проверки гипотез в соответствующей обобщенной схеме размещения;

- непрерывность функций энтропии и информационного расстояния Кульбака — Лейблера — Санова па бесконечномерном симплексе с введенной логарифмической обобщенной метрикой;

- теорема о грубой (с точностью до логарифмической эквивалентности) асимптотике вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера в обобщенной схеме размещения в семиэксионенциалыюм случае;

- теорема о грубой (с точностью до логарифмической эквивалентности) асимптотике вероятностей больших уклонений для статистик вида (0.4);

- построение критерия согласия для проверки гипотез в обобщенных схемах размещения с наибольшим значением индекса в классе критериев вида (0.7).

Апробация работы. Результаты докладывалась на семинарах Отдела дискретной математики Математического института им. В. А. Стек-лова РАН, отделения информационной безопасности ИТМиВТ им. С. А. Лебедева РАН и на:

- пятом Всероссийском симпозиуме по прикладной и промышленной математике. Весенняя сессия, Кисловодск, 2 — 8 мая 2004;

- шестой Международной Петрозаводской конференция "Вероятностные методы в дискретной математике" 10 — 16 июня 2004;

- второй Международной конференции "Информационные системы и технологии (IST'2004)", Минск, 8-10 ноября 2004;

- Международной конференции "Modern Problems and new Trends in Probability Theory", Черновцы, Украина, 19 — 26 июня 2005.

Основные результаты работы использовались в НИР "Апология", выполняемой ИТМиВТ РАН им. С. А. Лебедева в интересах Федеральной службы по техническому и экспортному контролю РФ, и вошли в отчет об исполнении этапа НИР /21/. Отдельные результаты диссертации вошли в отчет но НИР "Разработка математических проблем криптографии" Академии криптографии РФ за 2004 г. /22/.

Основные результаты работы опубликованы в /16/ — /19/. В /20/ содержатся подробные доказательства результатов, опубликованных в /19/.

Автор выражает глубокую благодарность научному руководителю доктору физико-математических наук Ронжину А. Ф. и научному консультанту доктору физико-математических наук старшему научному сотруднику Князеву А. В. Автор выражает признательность доктору физико-математических наук профессору Зубкову А. М. и кандидату физико-математических наук Круглову И. А. за внимание, оказанное работе, и ряд ценных замечаний.

Структура и содержание работы.

В первой главе исследуются свойства энтропии и информационного расстояния для распределений на множестве неотрицательных целых чисел.

В первом параграфе первой главы вводятся обозначения и даются необходимые определения. В частности, используются следующие обозначения: х = (xq,x\, •. •) — бесконечномерный вектор со счетным количеством компонент;

Н{х) - -Ex^oXvlnx,,-, truncm(x) = (x0,x1,.,xm,0,0,.)] f2* = {х, хи > 0, zy = 0,1,., о х„ < 1}; Q = {х, х, > 0,и = 0,1,., о xv = 1}; = {х G О, ££L0 = 7};

Ml = о Ue>1|5 € о < Ml - 7МГ1 < 00}. Понятно, что множество £1 соответствует семейству вероятностных распределений на множестве неотрицательных целых чисел, П7 — семейству вероятностных распределений на множестве неотрицательных целых чисел с математическим ожиданием 7.

Если у 6Е П, то для е > 0 через Ое(у) будет обозначаться множество

Ое(у) — {х ^ < уие£ для всех v = 0,1,.}.

Во втором параграфе первой главы доказывается теорема об ограниченности энтропии дискретных распределений с ограниченным математическим ожиданием.

Теорема 1. Об ограниченности энтропии дискретных распределений с ограниченным математическим ожиданием.

Для любого ж 6 П7

H(x)<F('у), (0.8) где (7 + 1) Ml + 1) - 7 In 7

Если х € fly соответствует геометрическому распределению с математическим оэюиданием 7, то есть 7 х„ = (1- р)р\ v = 0,1,., где р = ——,

1 + 7 то имеет место равенство

H(x) = F(<7).

На утверждение теоремы можно смотреть как на результат формальv ного применения метода условных множителей Лагранжа в случае бесконечного количества переменных. Теорема о том, что единственное распределение на множестве {к, к + 1, к + 2,.} с данным математическим ожиданием и максимальной энтропией есть геометрическое распределение с данным математическим ожиданием, приведена (без доказательства) в /47/. Автором, тем не менее, дано строгое доказательство.

В третьем параграфе первой главы дается определение обобщенной метрики — метрики, допускающей бесконечные значения.

Для х,у € Q определяется функция р(х,у) как минимальное е > О со свойством уие~£ <хи< уиее для всех и = 0,1,. Если такого е не существует, то полагается, что р(х,у) = оо.

Доказывается, что функция р{х,у) — обобщенная метрика на семействе распределений на множестве неотрицательных целых чисел, а также на всем множестве Cl*. Вместо е в определении метрики р{х,у) можно использовать любое другое положительное ,число, отличное от 1. Получающиеся при этом метрики будут отличаться на мультипликативную константу. Обозначим через J(x, у) информационное расстояние

00 £ J(x,y) = Е In—.

1/=0 Уи

Здесь и далее полагается, что 0 In 0 = 0,0 In jj = 0. Информационное расстояние определено для таких х, у, что х„ = 0 для всех и таких, что уи = 0. Если это условие не выполнено, то будем полагать J(x,ij) = оо. Пусть Л СП. Тогда будем обозначать

J (А У) = |nf J(x,y).

Положим

7(0, у) = 00.

В четвертом параграфе первой главы дается определение компактности функций, заданных на множестве Q*. Компактность функции от счетного числа аргументов означает, что с любой степенью точности значение функции может быть приближено значениями этой функции в точках, где лишь конечное количество аргументов отлично от нуля. Доказывается компактность функций энтропии и информационного расстояния.

1. Для любого 0 < 7 < оо функция Н(х) компактна на

2. Если для некоторого 0 < 70 < оо

Р е то для любых 0<7<оо,г>0 функция х) = J(x,p) компактна на множестве Ц7] П Ог(р).

В пятом параграфе первой главы рассматриваются свойства информационного расстояния, задаваемого на бесконечномерном пространстве. По сравнению с конечномерным случаем ситуация с непрерывностью функции информационного расстояния качественно меняется. Показывается, что функция информационного расстояния не является непрерывной на множестве ни в одной из метрик

00

Pl&V) = Е \Хи~У»\, и=0

00

Е {xv - Уи)2 v=Q

Рз{х,у) = 8Up\xu-yv\. v

Доказывается справедливость следующих неравенств для функций энтропии Н{х) и информационного расстояния J(x,p):

1. Для любых х, х' € fi

Н{х) - Н(х')\ < - 1 ){Н{х) + Н{х')).

2. Если для некоторых х,р е П существует е > 0 такое, что х 6 0£(р), то для любого х' £ Q J{x,p) - J(x',p)| < (е'М - 1 ){Н{х) + Н{х') + ееН(р)).

Из этих неравенств с учетом теоремы 1 следует равномерная непрерывность функций энтропии и информационного расстояния на соответствующих подмножествах Q в метрике p(x,y)t а именно,

1. Для любого 7 такого, что 0 < 7 < оо, функция Н(х) равномерно непрерывна на Г2[7] в метрике р(ж,у);

2. Если для некоторого 70, 0 < 70 < оо

Р €

ТО для любых 0<7<оои£>0 функция

Л р{х) = J(x,p) равномерно непрерывна на множестве П Ое(р) в метрике р{х,у).

Метрика р(х, у) подбиралась автором специально, чтобы функции энтропии и информационного расстояния были непрерывны в ней на необходимых подмножествах £1

Дается определение неэкстремальности функции. Условие неэкстремальности означает то, что функция не имеет локальных экстремумов, либо функция принимает в локальных минимумах (локальных максимумах) одинаковые значения. Условие неэкстремальности ослабляет требование отсутствия локальных экстремумов. Например, функция sin х на множестве действительных чисел имеет локальные экстремумы, но удовлетворяет условию неэкстремальности.

Пусть для некоторого 7 > 0, область А задается условием

А = {х € VLv4>(x) > а}, (0.9) где ф(х) — действительнозначная функция, а — некоторая действительная константа, inf ф(х) < а < inf ф(х).

Изучался вопрос, при каких условиях на функцию ф при изменении параметров n,N в центральной области, ^ —;► 7, при всех достаточно больших их значениях найдутся такие неотрицательные целые ко, к\,., кп, что к0 + ki + . + кп = N, к\ + 2к2. + пкп - N и

Ф( ко к\ кп

N>N'-'N

-£,0,0 ,.)>а.

Доказывается, что для этого от функции ф достаточно потребовать неэкстремальное™, компактности и непрерывности в метрике р(х,у), а также того, что хотя бы для одной точки х, удовлетворяющей (0.9), для некоторого е > 0 существует конечный момент степени 1 + е и х„ > 0 для любого v = 0,1,.

Во второй главе исследуется грубая (с точностью до логарифмической эквивалентности) асимптотика вероятности больших уклонений функций от Д = (^0) ■ • •) Ц"п, 0, •.) — числа ячеек с заданным заполнением в центральной области изменения параметров N,n. Грубой асимптотики вероятностей больших уклонений достаточно для изучения индексов критериев согласия.

Пусть случайные величины ^ в (0.2) одинаково распределены и

P(z) — производящая функция случайной величины — сходится в круге радиуса 1 < R < оо. Следуя /38/, для 0 < z < R обозначим через £(z) случайную величину такую, что

00

Ml+£ = £ i1+ex„ < 00.

0.10) к] = Рк, к = 0,1,.

•)

Обозначим

Если существует решение уравнения м Z(z) = ъ то оно единственно /38/. Всюду в дальнейшем будем предполагать, что рк > О,А; = 0,1,.

В первом пункте первого параграфа второй главы находится асимптотика логарифмов вероятностей вида

1пР{/х0 = ко,.,цп = кп}.

Доказывается следующая теорема.

Теорема 2. Грубая локальная теорема о вероятностях больших уклонений. Пусть п, N —» оо так, что jj ->7,0 <7 < оо, существует z7 — корень уравнения M£(z) = 7, с. в. £(г7) имеет положительную дисперсию. Тогда для любого k G Cl(n,N)

1пР{Д = к} = JftpK)) + O(^lniV).

Утверждение теоремы следует непосредственно из формулы для совместного распределения fii,. fin в /26/ и следующей оценки: если неотрицательные целочисленные величины • • •, Нп удовлетворяют условию

Hi + 2д2 + • • • + ПНп = п, то число ненулевых величин среди них есть 0(л/п). Это грубая оценка, не претендующая на новизну. Число ненулевых цг в обобщенных схемах размещения не превосходит величины максимального заполнения ячеек, которое в центральной области с вероятностью, стремящейся к 1, не превосходит величины O(lnn) /25/,/27/. Тем не менее, полученная оценка 0(у/п) выполняется с вероятностью 1 и ее достаточно для получения грубой асимптотики.

Во втором пункте первого параграфа второй главы находится значение предела где адг - последовательность действительных чисел, сходящаяся к некоторому a G R, ф(х) — действительнозначная функция. Доказывается следующая теорема.

Теорема 3. Грубая интегральная теорема о вероятностях больших уклонений. Пусть выполнены условия теоремы 2, для некоторых г >0,С> 0 действительная функция ф(х) компактна, равномерно непрерывна в метрике р на множестве

А = 0r+<;(p(z7)) П Ц7+с] и удовлетворяет условию неэкстремальности на множестве fly. Если для некоторой константы а такой, что inf ф(х) < а < sup ф(х). xeily существует вектор ра € fi7 П 0r(p(z7)); такой, что

Ф{ра) > а и j({<i>(x) >а,хе П7},р(2;7)) = 7(ра,р(*у)) mo для любой последовательности а^, сходящейся к а,

Jim -vbPW%%,.)>aN} = J(pa,p(2h)). (0.11)

При дополнительных ограничениях на функцию ф(х) информационное расстояние J(pa,p{z7)) в (2.3) удается вычислить более конкретно. А именно, справедлива следующая теорема. Теорема 4. Об информационном расстоянии. Пусть для некоторого 0 < 7 < оо для некоторвх г > 0, С > 0 действительная функция ф(х) и ее частные производные первого порядка компактны и равномерно непрерывны в обобщенной метрике р(х, у) на множестве р G

А = Ог(р) П %+с] существуют Т > 0, R > 0, такие, что для всех \t\ <Т,0 < z < R,x е А

Е^ехр^—ф(х)} < оо,

00 д

0.12)

00 д д

0(a;)exp{t—< со, i/=o oxv 0X1/ для некоторого е > О оо Q pvv1+£zu exp{t—ф{х)} < оо, (0.13) и существует единственный вектор x(z,t), удовлетворяющий системе уравнений xv(z, t) = pvzv ехр {Ь—ф(х(г, t))}, v = 0,1,. функция ф(х) удовлетворяет на множестве А условию неэкстремальности, а - некоторая константа, ф(р) < а < sup ф(:x)(z,t),

0<z<R,\t\<T существуют такие ta\<T}0<za<R, что

00 vpv{za,ta) = 7, 1/=0

0(р(*аЛ)) = а, где

Pv{Z,t)

Тогда p(za, ta) € и

J({x e А,ф(х) = а},р) = J(p{za, ta),p)

00 д 00 д = l\nza + taYl ir-<l>(x(za,ta)) - In Е^г/ехр{ta-z—<f>(p(zatta))}. j/=0 C^i/ t^=0

Если функция ф(х) — линейная функция, и функция f(x) определена при помощи равенства (0.5), то условие (0.12) превращается в условие Крамера для случайной величины f{£{z)). Условие (0.13) есть форма условия (0.10) и используется при доказательстве наличия в областях вида {х G ф(х) > а} хотя бы одной точки из 0(n, N) при всех достаточно больших п, N.

Пусть^)(п, N) = (hi,., /гдг) — вектор частот в обобщенной схеме размещения (0.2). В качестве следствия из теорем 3, 4 формулируется следующая теорема.

Теорема 5. Грубая интегральная теорема о вероятностях больших уклонений симметричных разделимых статистик в обобщенной схеме размещения.

Пусть п, N —» оо так, что ^ —► 7, 0 < 7 < оо, существует z1 — корень уравнения М£(,г) = 7, с. в. £(27) имеет положительную дисперсию и максимальный шаг распределения 1, а — некоторая константа, f(x) — действительная функция, а < Mf(^(z1)), существуют Т > 0,R > 0 такие, что для всех |t| <Т,0 < z < R,

00 оо, и=0 существуют такие ta\<T,0<za<R, что

00

Е vVi/(«01 ta) = Ъ где f{v)p»{za,ta) = а, 1/=0

Тогда для любой последовательности адг, сходящейся к а,

Jim — — InF»{— £ f(h„) > aN} = J(p{za,ta),p{z7))

1 1 N

00 7 In 2a + taa - In £ p^/e^M i/=0

Эта теорема впервые была доказана А. Ф. Ронжиным в /38/ с использованием метода перевала.

Во втором параграфе второй главы исследуются вероятности больших уклонений разделимых статистик в обобщенных cxj^iax разме- ^ ^ щения в случае невыполнения условию Крамера для случайной величины f(€(z)). Условие Крамера для случайной величины f(£(z)) не выполняется, в частности, если £(z) — пуассоновская случайная величина, a f(x) — х2. Заметим, что условие Крамера для самих разделимых статистик в обобщенных схемах размещения выполняется всегда, так как при любых фиксированных п, N число возможных исходов в этих схемах конечно.

Как отмечено в /2/, если условие Крамера не выполнено, то для отыскания асимптотики вероятностей больших уклонений сумм одинаково расq пределенных случайных величин требуется выполнение дополнительных . f

---— V и. . I условий правильного изменения на распределение слагаемого. В работе j

О, 5 рассматривается случай, соответствующий выполнению условия (3) в /2/, то есть семиэкспоненциальный случай. Пусть P{£i = к} > 0 для всех к = 0,1,. и функцию р(к) = -\пР{^ = к}, можно продолжить до функции непрерывного аргумента — правильно меняющейся функции порядка р, 0 < р < со /45/, то есть положительной функции такой, что при t —> оо p{tx) хр.

P(t)

Пусть функция f(x) при достаточно больших значениях аргумента — положительная строго возрастающая, правильно меняющаяся функция порядка Определим функцию ср(х), положив для достаточно больших х ф)=р(Г\х)).

На остальной числовой оси ip(x) может быть задана произвольным ограниченным измеримым образом.

Тогда с. в. /(£i) имеет моменты любого порядка и не удовлетворяет условию Крамера, р(х) = о(х) при х —> со, и справедлива следующая Теорема 6. Пусть при достаточно больших х функция ip(x) монотонно не убывает, фг^кция монотонно не возрастает, п, N —> оо так, что jj —► А, 0 < Л < оо; гд — единственный корень уравнения M^i(^) = Л, тогда для любого с > b(z\), где b(z) = M/(£i(.z)), существует предел CN} = -(с — b(z\))4.

Из теоремы б следует, что ири невыполнении условия Крамера предел lim 1 InP{LN(h(n, N)) > cN} = 0, ^ ^ iv—too iv что доказывает справедливость гипотезы, высказанной в /39/. Таким образом, значение индекса критерия согласия в обобщенных схемах размещения ири невыполнении условия Крамера всегда равно нулю. При этом в классе критериев, когда условие Крамера выполняется, строятся критерии с ненулевым значением индекса. Отсюда можно сделать вывод, что использовать критерии, статистика которых не удовлетворяет условию Крамера, например, критерий хи—квадрат в полиномиальной схеме, для построения критериев согласия для проверки гипотез при несближающихся альтернативах в указанном смысле асимптотически неэффективно. Подобный вы-вод^был сделан в /54/ по результатам сравнения статистик хи—квадрат и отношения максимального правдоподобия в полиномиальной схеме.

В третьей главе решается задача построения критериев согласия с наибольшим значением индекса критерия (наибольшим значением нижнего индекса критерия) для проверки гипотез в обобщенных схемах размещения. На основе результатов первой и второй глав о свойствах функций энтропии, информационного расстояния и вероятностей больших уклонений в третьей главе находится функция вида (0.4) такая, что критерий согласия, построенный на ее основе, имеет наибольшее значение точного нижнего индекса в рассматриваемом классе критериев. Доказывается следующая теорема.

Теорема 7. О существовании индекса. Пусть выполнены условия теоремы 3, 0 < /3 < 1, Н = Hp(i),Hp(2>,. — последовательность альтернативных распределений, а,ф((3, N) - максимальное число, для которого при гипотезе Нр<ло выполнено неравенство существует предел lim^—оо о>ф{Р, N) — а. Тогда в точке (/3, Н) существует индекс критерия ф

Зфф, Н) = 3{{ф(х) >а,х£ ^.PW).

При этом

Шй)<ШН)> где w/fo fh ч v^l ^

В Заключении излагаются полученные результаты в их соотношении с общей целью и конкретными задачами, поставленными в диссертации, формулируются выводы но результатам диссертационного исследования, указываются научная новизна, теоретическая и практическая ценность работы, а также конкретные научные задачи, которые выявлены автором и решение которых представляется актуальным.

Краткий обзор литературы по теме исследования. В диссертационной работе рассматривается задача построения критериев согласия в обобщенных схемах размещения с наибольшим значением индекса критерия в классе функций вида (0.4) при несближающихся альтернативах.

Обобщенные схемы размещения были введены В. Ф. Колчиным в /24/. Величины в полиномиальной схеме были названы числом ячеек с г дробинками и подробно изучены в монографии В. Ф. Колчина, Б. А. Севастьянова, В. П. Чистякова /27/. Величины fir в обобщенных схемах размещения исследовались В. Ф. Колчиным в /25/,/26/. Статистики вида (0.3) впервые были рассмотрены Ю. И. Медведевым в /30/ и получили название разделимых (аддитивно разделимых) статистик. Если функции /„ в (0.3) не зависят от и, такие статистики были названы в /31/ симметричными разделимыми статистиками. Асимптотика моментов разделимых статистик в обобщенных схемах размещения была получена Г. И. Ивченко в /9/. Предельные теоремы для обобщенной схемы размещения рассматривались также в /23/. Обзоры результатов предельных теоремах и критериях согласия в дискретных вероятностых схемах типа (0.2) были даны В. А. Ивановым, Г. И. Ивченко, Ю. И. Медведевым в /8/ и Г. И. Ивченко, Ю. И. Медведевым, А. Ф. Ронжиным в /14/. Критерии согласия для обобщенных схем размещения были рассмотрены А. Ф. Ронжиным в /38/.

Сравнение свойств статистических критериев в указанных работах проводилось с точки зрения относительной асимптотической эффективности. Рассматривались случае сближающихся (контигуальных) гипотез — эффективность в смысле Питмена и несближающихся гипотез — эффективность в смысле Бахадура, Ходжеса — Лемана и Чернова. Связь между различными видами относительной эффективности статистических критериев обсуждается, например, в /49/. Как следует из результатов 10. И. Медведева в /31/ о распределении разделимых статистик в полиномиальной схеме, наибольшую асимптотическую мощность при сближающихся гипотезах в классе разделимых статистик от частот исходов в полиномиальной схеме имеет критерий, основанный на основе статистики хи—квадрат. Данный результат был обобщен А. Ф. Ронжиным для схем типа (0.2) в /38/. И. И. Викторовой и В. П. Чистяковым в /4/ построен оптимальный критерий для полиномиальной схемы в классе линейных функций от /хг. А. Ф. Ронжин в /38/ построил критерий, который при последовательности несближающихся с нулевой гипотезой альтернатив минимизирует логарифмическую скорость стремления вероятности ошибки первого рода к нулю, в классе статистик вида (0.6). Сравнение относительной эффективности статистик хи—квадрат и отношения максимального правдоподобия при сближающихся и несближающихся гипотезах было проведено в /54/.

В диссертационной работе рассматривался случай несближающися гипотез. Изучение относительной статистической эффективности критериев при несближающихся гипотезах требует исследования вероятностей сверхбольших уклонений — порядка 0(i/n). Впервые такая задача для полиномиального распределения с фиксированным количеством исходов решалась И. Н. Сановым в /40/. Асимптотическая оптимальность критериев согласия для проверки простых и сложных гипотез для полиномиального распределения в случае конечного числа исходов при несближающихся альтернативах рассматривалась в /48/. Свойства информационного расстояния ранее рассматривались Кульбаком, Лейблером /29/,/53/ и И. II. Сановым /40/, а также Хеффдингом /48/. В указанных работах непрерывность информационного расстояния рассматривалась на конечномерпых пространствах в евклидовой метрике. Рядом автором рассматривалась последовательность пространств с растущей размерностью, например, в работе Ю. В. Прохорова /37/ или в работе В. И. Богачева, А. В. Колесникова /1/. Грубые (с точностью до логарифмической эквивалентности) теоремы о вероятностях больших уклонений разделимых статистик в обобщенных схемах размещения при выполнении условия Крамера были получены А. Ф. Ронжиным в /38/. А. Н. Тимашевым в /42/,/43/ получены точные (с точностью до эквивалентности) многомерные интегральные и локальные предельные теоремы о вероятностях больших уклонений вектора fir^n, N),., iir.{n,N), где s, г\,., rs — фиксированные целые числа,

О <П < . <rs.

Исследование вероятностей больших уклонений при невыполнении условия Крамера для случая независимых случайных величин проведено в работах А. В. Нагаева /35/. Метод сопряженных распределений описан у Феллера /45/.

Статистические задачи проверки гипотез и оценивания параметров в схеме выбора без возвращения в несколько иной постановке рассматривались Г. И. Ивченко, В. В. Левиным, Е. Е. Тимониной /10/, /15/, где решались задачи оценивания для конечной совокупности, когда число ее элементов является неизвестной величиной, доказывалась асимптотическая нормальность многомерных S — статистик от s независимых выборок в схеме выбора без возвращения. Задача изучения случайных величин, связанных с повторениями в последовательностях независимых испытаний исследовалась А. М. Зубковым, В. Г. Михайловым, А. М. Шойтовым в /6/, /7/, /32/, /33/, /34/. Анализ основных статистических задач оценивания и проверки гипотез в рамках общей модели Маркова—Пойа проведен Г. И. Ивченко, Ю. И. Медведевым в /13/, вероятностный анализ которой был дан в /11/. Способ задания неравновероятпых мер на множестве комбинаторных объектов, не сводимый к обобщенной схеме размещения (0.2) был описан в Г. И. Ивченко, Ю. И. Медведевым /12/. Ряд задач теории вероятностей, в которых ответ может быть получен в результате вычислений ио рекуррентным формулам, указан А. М. Зубковым в /5/.

Неравенства для энтропии дискретных распределений были получены в /50/ (цитируется по реферату А. М. Зубкова в РЖМат). Если {pn}^Lo — распределение вероятностей, оо

Рп = Е Рк, к=тг

А = supp^Pn+i < оо (0.14) п> 0 и

F{x) = (х + 1) In (ж + 1) - х In х, то для энтропии Я этого вероятностного распределения

00 я = - 5Z Рк^Рк к=0 справедливы неравенства -L 1 00 00 Р

Я + (In -f-) £ (Арп - Рп+1) < F(А) < Я + £ (АРп - P„+i)(ln

Л D п=П -t п.4-1 и неравенства превращаются в равенства, если

Рп= {xf1)n+vn>Q. (0.15)

Заметим, что экстремальное распределение (0.15) есть геометрическое распределение с математическим ожиданием Л, а функция F(А) от параметра (0.14) совпадает с функцией от математического ожидания в теореме 1.

3.4. Выводы

В настоящей главе на основе результатов предыдущих глав удалость построить критерий согласия для проверки гипотез в обобщенных схемах размещения с наибольшей логарифмической скоростью стремления^нулю вероятностей ошибок первого рода^ри фиксированной вероятности ошибки первого рода и несближающихся альтернативах. ~ "

Заключение

Целью диссертационной работы было построения критериев согласия для проверки гипотез в схеме выбора без возвращения из урны, содержащей шары 2 цветов. Автором было решено изучать статистики, построенные на основе частот расстояний между шарами одного цвета. В такой постановке задача была сведена, к задаче проверки гипотез в подходящей обобщенной схеме размещения.

В диссертационной работе были

- исследованы свойства энтропии и информационного расстояния дискретных распределений с неограниченным количеством исходов при ограниченном математическом ожидании;

- получена грубая (с точностью до логарифмической эквивалентности) асимптотика вероятностей больших уклонений широкого класса статистик в обобщенной схеме размещения;

- на основе полученных результатов построена функция критерия с наибольшей логарифмической скоростью стремления к нулю вероятности ошибки первого рода при фиксированной вероятности ошибки второго рода и несближающихся альтернативах;

- доказано, что статистики, не удовлетворяющие условию Крамера, имеют меньшую скорость стремления к нулю вероятностей больших уклонений по сравнению со статистиками, удовлетворяющими такому условию.

Научная новизна работы заключается в следующем.

- дано понятие обобщенной метрики — функции, допускающей бесконечные значения и удовлетворяющей аксиомам тождества, симметрии и неравенства треугольника. Найдена обобщенная метрика и указаны множества, на которых функции энтропии и информационного расстояния, заданные на семействе дискретных распределений со счетным числом исходов, непрерывны в этой метрике;

- в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений статистик вида (0.4), удовлетворяющих соответствующей форме условия Крамера;

- в обобщенной схеме размещения найдена грубая (с точностью до логарифмической эквивалентности) асимптотика для вероятностей больших уклонений симметричных разделимых статистик, не удовлетворяющих условию Крамера;

- в классе критериев вида (0.7) построен критерий с наибольшим значением индекса критерия.

В работе решен ряд вопросов о поведении вероятностей больших уклонений в обобщенных схемах размещения. Полученные результаты могут быть использованы в учебном процессе по специальностям математическая статистика и теория информации, при исследовании статистических процедур анализа дискретных последовательностях и были использованы в /3/, /21/ при обосновании защищенности одного класса информационных систем.

Однако, ряд вопросов остается открытым. Автор ограничился рассмотрением центральной зоны изменения параметров n,N обобщенных схем размещения п частиц по N ячейкам. Если носитель распределения случайных величин, порождающие обобщенную схему размещения (0.2), не есть множество вида г, г +1, г + 2,., то при доказательстве непрерывности функции информационного расстояния и исследовании вероятностей больших уклонений требуется учитывать арифметическую структуру такого носителя, что в работе автора не рассматривалось. Для практического применения критериев, построенных на основе предлагаемой функции с максимальным значением индекса, требуется изучение ее распределения как при нулевой гипотезе, так и при альтернативах, в том числе и сближающихся. Интерес представляет также перенос разработанных методов и обобщение полученных результатов на другие вероятностные схемы, отличные от обобщенных схем размещения.

Если — частоты расстояний между номерами исхода 0 в биномиальной схеме с вероятностями исходов ро> 1— Ро, то можно показать, что в этом случае

РЬ = kh.t fin = кп} = I(± iki = n){kl + --, (3.3) v=\ K\ \ . Kn\ где

О* = Ро~1(1 ~Po),v =

Из анализа формулы для совместного распределение величин цг в обобщенной схеме размещения, доказанной в /26/, следует, что распределение (3.3), вообще говоря, не может быть представлено в общем случае как совместное распределение величин цг в какой—либо обобщенной схеме размещения частиц по ячейкам. Данное распределение является частным случаем распределений па множестве комбинаторных объектов, введенных в /12/. Представляется актуальной задачей перенос результатов диссертационной работы для обобщенных схем размещения на этот случай, что и обсуждалось в /52/.

Если число исходов в схеме выбора без возвращения или в полиномиальной схеме размещения больше двух, то совместное распределение частот расстояний между соседними одинаковыми исходами уже не может быть представлено таким простым образом. Пока удается подсчитать только математическое ожидание и дисперсию числа таких расстояний /51/.

1. Богачев В. И., Колесников А. В. Нелинейные преобразования выпуклых мер и энтропия плотностей Радона—Никодима // Доклады Академии наук. - 2004. - Т. 207. - 2. - С. 155 - 159.

2. Видякин В. В., Колодзей А. В. Статистическое обнаружение скрытых каналов в сетях передачи данных // Тез. докл. II Междунар. конф. "Информационные системы и технологии IST'2004"(Минск, 8- 10 окт. 2004 г.) Минск: БГУ, 2004. - Ч. 1. - С. 116 - 117.

3. Викторова И. И., Чистяков В. П. Некоторые обобщения критерия пустых ящиков // Теория вероятн. и ее примен. — 1966. — Т. XI. — 2. С. 306-313.

4. Зубков А. М. Рекуррентные формулы для вычисления функционалов од дискретных случайных величин // Обозрение прикл. и промышл. матем. 1996. - Т. 3. - 4. - С. 567 - 573.

5. G. Зубков A. M., Михайлов В. Г. Предельные распределения случайных величин, связанных с длинными повторениями в последовательности независимых испытаний // Теория вероятн. и ее примен. — 1974. — Т. XIX. 1. - С. 173 - 181.

6. Зубков А. М., Михайлов В. Г. О повторениях s — цепочек в последовательности независимых величин // Теория вероятн. и ее примен.- 1979. Т. XXIV. - 2. - С. 267 - 273.

7. Иванов В. А., Ивченко Г. И., Медведев Ю. И. Дискретные задачи в теории вероятностей // Итоги науки и техники. Сер. теория вероятн., матем. статист., теор. киберн. Т. 23. - М.: ВИНИТИ, 1984. С. 3 -60.

8. Ивченко Г. И. О моментах разделимых статистик в обобщенной схеме размещения // Мат. заметки. 1986. - Т. 39. - 2. - С. 284 - 293.

9. Ивченко Г. И., Левин В. В. Асимптотическая нормальность в схеме выбора без возвращения // Теория вероятн. и ее применен. — 1978.- Т. XXIII. 1. - С. 97 - 108.

10. Ивченко Г. И., Медведев Ю. И. Об урновой схеме Маркова-Пойа: от 1917 до наших дней // Обозрение прикл. и промышл. матем. — 1996.- Т. 3. 4. - С. 484-511.

11. Ивченко Г. И., Медведев Ю. И. Случайные комбинаторные объекты // Доклады Академии наук. 2004. - Т. 396. - 2. - С. 151 - 154.

12. Ивченко Г. И., Медведев Ю. И. Статистические задачи, связанные с организацией контроля за процессами генерации дискретных случайных последовательностей // Дискретн. матем. — 2000. — Т. 12. — 2. С. 3 - 24.

13. Ивченко Г. И., Медведев Ю. И., Ронжин А. Ф. Разделимые статистики и критерии согласия для полиномиальных выборок // Труды Математ. ин-та АН СССР. 1986. - Т. 177. - С. 60 - 74.

14. Ивченко Г. И., Тимонина Е. Е. Об оценивании при выборе из конечной совокупности // Мат. заметки. — 1980. — Т. 28. — 4. — С. 623 — 633.

15. Колодзей А. В. Теорема о вероятностях больших уклонений для разделимых статистик, не удовлетворяющих условию Крамера // Дискретн. матем. 2005. - Т. 17. - 2. - С. 87 - 94.

16. Колодзей А. В. Энтропия дискретных распределений и вероятности больших уклонений функций от заполнения ячеек в обобщенных схемах размещения // Обозрение прикл. и промышл. матем. — 2005. — Т. 12. 2. - С. 248 — 252.

17. Колодзей А. В. Статистические критерии выявления скрытых каналов, основанных на изменении порядка следования сообщений // Научно-исследовательская работа "Апология": Отчет / ФСТЭК РФ, Руководитель А. В. Князев. Инв. 7 дсп. - М., 2004. - С. 96 - 128.

18. Колодзей А. В., Ронжин А. Ф О некоторых статистиках, связанных с проверкой однородности случайных дискретных последовательностей // Научно-исследовательская работа "Разработка математических проблем криптографии" N 4 2004.: Отчет / АК РФ, — М., 2004.

19. Колчин А. В. Предельные теоремы для обобщенной схемы размещения // Дискретн. матем. 2003. - Т. 15. - 4. - С. 148 - 157.

20. Колчин В. Ф. Один класс предельных теорем для условных распределений // Лит. матем. сб. — 1968. — Т. 8. — 1. — С. 111 — 126.

21. Колчин В. Ф. Случайные графы. 2-е изд. - М.: ФИЗМАТЛИТ, 2004. - 256с.

22. Колчин В. Ф. Случайные отображения. — М.: Наука, 1984. — 208с.

23. Колчин В. Ф., Севастьянов Б. А., Чистяков В. П. Случайные размещения. М.: Наука, 1976. - 223с.

24. Крамер Г. // Успехи матем. науки. — 1944. — выи. 10. — С. 166 — 178.

25. Кульбак С. Теория информации и статистика. — М.: Наука, 1967. — 408с.

26. Медведев Ю. И. Некоторые теоремы об асимптотическом распределении статистики хи—квадрат // Докл. АН СССР. — 1970. — Т. 192. 5. - С. 997 - 989.

27. Медведев Ю. И. Разделимые статистики в полиномиальной схеме I; II. // Теория вероятн. и ее нримен. — 1977. — Т. 22. — 1. — С. 3 — 17; 1977. Т. 22. - 3. - С. 623 - 631.

28. Михайлов В. Г. Предельные распределения случайных величин, связанных с многократными длинными повторениями в последовательности независимых испытаний // Теория вероятн. и ее примен. — 1974. Т. 19. - 1. - С. 182 - 187.

29. Михайлов В. Г. Центральная предельная теорема для числа неполных длинных повторений // Теория вероятн. и ее примен. — 1975. — Т. 20. 4. - С. 880 - 884.

30. Михайлов В. Г., Шойтов А. М. Структурная эквивалентность s — цепочек в случайных дискретных последовательностях // Дискретп. матем. 2003. - Т. 15, - 4. - С. 7 - 34.

31. Нагаев А.В. Интегральные предельные теоремы с учетом вероятностей больших уклонений. I. // Теория вероятн. и ее применен. —1969. Т. 14. 1. - С. 51 - 63.

32. Петров В. В. Суммы независимых случайных величин. — М.: Наука, 1972. 416с.

33. Прохоров Ю. В. Предельные теоремы для сумм случайных векторов, размерность которых стремится к бесконечности // Теория вероятн. и ее примен. 1990. - Т. 35. - 4. - С. 751 - 753.

34. Ронжин А.Ф. Критерии для обобщенных схем размещения частиц // Теория вероятн. и ее примен. — 1988. — Т. 33. — 1. — С. 94 — 104.

35. Ронжин А.Ф. Теорема о вероятностях больших уклонений для разделимых статистик и ее статистическое приложение // Мат. заметки. 1984. - Т. 36. - 4. - С. 610 - 615.

36. Санов И. Н. О вероятностях больших отклонений случайных величин // Мат. сб. 1957. - Т. 42. - 1 (84). - С. И - 44.

37. Сенета Е. Правильно меняющиеся функции. М.: Наука, 1985. — 144с.

38. Тимашев А. Н. Многомерная интегральная теорема о больших уклонениях в равновероятной схеме размещения // Дискрета, матем. — 1992. Т. 4. - 4. - С. 74 - 81.

39. Тимашев А. Н. Многомерная локальная теорема о больших уклонениях в равновероятной схеме размещения // Дискретн. матем. — 1990. Т. 2. - 2. - С. 143 - 149.

40. Федорюк М.В. Метод перевала. М.: Наука, 1977. 368с.

41. Феллер В. Введение в теорию вероятностей и ее приложения. Т. 2. — М.: Мир, 1984. 738с.

42. Шеннон К. Математическая теория связи // Работы по теории информации и кибернетике: Пер. с англ. / М., ИЛ, 1963, с. 243 — 332.

43. Conrad К. Probability Distribution and Maximum Entropy // http://www.math.uconn.edu/~kconrad/blurbs/entropypost.pdf

44. Hoeffding W. Asymptotically optimal tests for multinomial distribution // Ann. Math. Statist. 1965. - T. 36. - C. 369 - 408.

45. Inglot T,. Rallenberg W. С. M., Ledwina T. Vanishing shortcoming and asymptotic relative efficiency // Ann. Statist. — 2000. — T. 28. — C. 215 238.

46. Jurdas C., Pecaric J., Roki R., Sarapa N., On an inequality for theentropy of probability distribution // Math. Inequal. and Appl. — 2001. T. 4. - 2. - C. 209 - 214. (РЖМат. - 2005. - 05.07-13B.16).

47. Kolodzey А. V., Ronzhin A. F., Goodness of Fit Tests for Random Combinatoric Objects // Тез. докл. межд. конф. Modern Problems and new Trends in Probability Theory, (Черновцы, 19 — 26 июн. 2005 г.) — Киев: Институт математики, 2005. Ч. 1. С. 122.

48. Kullback S. and Leibler R. A. On information and sufficiency // Ann. Math. Statist. 1951. - T. 22. - C. 79 - 86.

49. Quine M.P., Robinson J. Efficience of chi-square and likelihood ratio goodness of fit tests // Ann. Statist. 1985. - T. 13. - 2. - C. 727 -742.