Непараметрические критерии проверки однородности нескольких выборок тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

ВВЕДЕНИЕ.

ОБЗОР.

ШВА I. ТОЧНОЕ РАСПРЕДЕЛЕНИЕ СТАТИСТИК ТИПА КОЛМОГОРОВА

СМИРНОВА

1.1. Класс рассматриваемых статистик. Предварительные результаты.

1.2. Основная теорема

1.3. Случай двух выборок.

ШВА 2. ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ.

2.I. Вопросы, касающиеся предельного распределения и принцип инвариантности.

2.2. Предельное распределение статистики критерия

2.3. Метод вычисления предельного распределения.

ГЛАВА 3. ПРЕДЕЛЬНОЕ РАСПРЕДЕЛЕНИЕ ПРИ АЛЬТЕРНАТИВАХ.

3.1. Класс рассматриваемых альтернатив. Предварительные результаты.

3.2. Предельное распределение статистики критерия при альтернативах.

3.3. Метод вычисления предельного распределения при альтернативах.

В диссертации исследуется класс непараметрических критериев однородности нескольких выборок произвольного объема, основанных на статистиках типа Колмогорова-Смирнова. Получен метод вычисления точного и предельного распределения соответствующих статистик. Найден метод вычисления асимптотической мощности критериев для определенного класса сближающихся альтернатив. Методы вычисления распределений реализованы в программах и находят практическое применение при анализе данных экспериментальных исследований.

Актуальность проблемы. Одной из задач прикладной математической статистики ([I]), имеющей широкую область применения, является задача проверки однородности нескольких выборок. Исходная задача такова. Пусть

-независимые случайные выборки объемов из m генеральных совокупностей с непрерывными функциями распределения Г^ F^M • Ставится задача статистической проверки гипотезы

В случае М - X, в работе Н.В.Смирнова [25] для проверки (2) были впервые предложены односторонняя и двусторонняя статистики

I)

Но- =

2)

3)*(пипх) = sup (Г^м - Fn%))

3)

-оо<х<С"э 1 J

4) где Xljf)*l ПРИ У-ЪО и = 0 при у<0) -эмпирическая функция распределения, построенная по i -ой выборке .

В указанной работе было найдено предельное распределение (3), (4) при гипотезе Но в случае, когда /г^ = KKi J<i~ постоянные i'lj 2.) . Вопросы, связанные с нахождением точного распределения статистик (3), (4) рассматривались в работах [12], [18], f39] , [40], [44], [9], [46], [56], [53], [54j, [47], [51], [55], 160], [61].

В ряде работ рассматривались Юг-выборочные непараметрические критерии проверки гипотезы (2), основанные на обобщениях статистик (3) и (4), так называемых ([9]) статистиках типа Колмогорова-Смирнова. Способы построения статистик Щ -выборочных критериев описывались в работах [52], [9]. Предельное распределение при гипотезе Ц0 для некоторых из них в случае т = 3, У1, П-* °° находилось в работах [43], [45]. В работе [52] было найдено предельное распределение статистики

7 = щГ ^[F4U)-(ZyiiFntW)/Z^iJ (б) bt Ы в предположении (2), когда ynlyi(Yli) «о (1-1,^1) . В работе

42] для проверки (2) предлагалась статистика x-yif'm-i ь

В указанной работе находилось точное (когда Щ s К ) и предельное (когда Hi = У1) У1-* 00 ) распределения статистики (7) при гипотезе Но • В случае произвольных т., Yit).Уь^ табулирование распределения статистики Щ - выборочных критериев осуществляется методом Монте-Карло ([38], [48], [З?]).

Для поставленной задачи - проверки гипотезы (2) об однородности выборок (I) в случае УЯ> Z наибольшую практическую ценность, по-видимому, представляют отмеченные выше работы [52] и [42]

В настоящей диссертационной работе рассматривается класс непараметрических критериев проверки однородности нескольких выборок произвольного объема, основанный на статистиках вида

3= (8) t-i i-i где }.}Ст - некоторые положительные постоянные. Статистика (8) в частном случае Ц= vi^ связана со статистикой (6) соотношением 7 = 31 . Общий случай возникает при желании учитывать исходные выборки (I) с произвольными весовыми коэффициентами С*,.-, Cm • Такая постановка задачи имеет место в единой логической схеме анализа исходных данных [ I ] при "проверке однородности нескольких порций исходных данных", когда выборки (I) представляют некоторую ценность для исследователя, которая выражается не только в объеме полученной информации, а в первую очередь, в ее достоверности (в смысле точности, "давности", значимости и т.д.). Такое положение возникает, например, в социологических исследованиях ([3]) при "пересчете на стандартную популяцию", в психологических исследованиях ([2], [II])» в педагогических исследованиях ([14]) и т.д. Введение весовых коэффициентов является общепринятым в экспертном оценивании качества продукции ([13]). Подобная ситуация возникает, например, и при проведении статистического анализа медицинских данных ([15]). Зачастую совокупность пациентов разбивается на некоторое число групп, различающихся формулировками одного и того же диагноза. Для получения статистически надежных выводов целесообразно уменьшить количество групп путем объединения в один общий массив некоторых из них, учитывая с различным весом формулировки диагнозов.

Поэтому исследование класса статистик (8) для проверки однородности нескольких выборок произвольного объема является актуальным для решения многих задач прикладной математической статистики.

Цель работы. При проверке однородности нескольких выборок произвольного объема необходимо знание точного распределения применяемой статистики. Поскольку с возрастанием объемов рассматриваемых выборок существенно увеличивается и объем соответствующих вычислений, для аппроксимации этого распределения требуется знание предельного закона распределения статистики критерия. Кроме того, для оценки мощности критерия в интересующем классе альтернатив необходимо уметь вычислять предельное распределение статистики и при альтернативах.

Поэтому цель настоящей работы - для класса статистик, определенных в (8), - решить следующие практические задачи:

1. Разработать метод вычисления точного распределения статистики (8) в случае нескольких выборок произвольного объема.

2. Разработать метод вычисления предельного распределения статистики (8) цри гипотезе Но в случае, когда rb{ = rtKi , где Л-»ов , a l/h) - постоянные.

3. Разработать метод вычисления предельного распределения статистики (8) для класса сближающихся альтернатив вида в случае, когда hi-riKi » где /г-» ©о , а ( i = £~rh) постоянные.

Основные результаты диссертационной работы.

I. Получен метод вычисления точного распределения при нулевой гипотезе (2) произвольных статистик типа Колмогорова-Смирнова и, в частности, статистики (8). Этот результат можно описать в терминах обобщенной статистики

Нх: F{(x)*F(K)+ 4S1

О)

Пусть

Р(а) - Р{ У < «• ) Н» J (II)

- функция распределения статистики (10) при гипотезе Но . Приводимый в теореме I. 2. 2 метод вычисления точного распределения (II) получен обобщением более ранних работ автора [29J и [30J, в которых предлагался рекуррентный метод нахождения точного распределения статистик (4) и (8) соответственно.

Теорема I. 2. 2. Пусть выполнено (2). Обозначим V г( ^х,., Vm) целочисленный вектор с компонентами V^ Oj {i- Ггп ) , -вектор, i -я компонента которого равна 1 , а остальные - нулю ( i = 1, т) К = ( П£}. п т) , £ ( 7) - характеристическую функцию множества

Тогда функция распределения статистики (10) не зависит от вида функции F± (х) , находится по формуле

P(cl) = р (Я) (12) и справедлива рекуррентная формула т i-t

В формуле (13) сумма берется лишь по тем значениям i , для которых все компоненты вектора V- неотрицательны. Последовательность вычислений в (13) такова, что может быть представлена Уп вложенными циклами (сначала по , затем по ^г и т.д.).

Теорема I. 2. 2 является следствием следующего более общего результата. Пусть .) Ит - произвольные натуральные числа.

Рассмотрим в VYi -мерном евклидовом пространстве целочисленную pern щетку множество векторов вида t - ZZ » r#e i-i

13)

V*- i = ) » a ~ вектор, i -я компонента которого равна I , а остальные - нулю (i-i,m) . Обозначим км

О о)} Я = (^i,., К*) ZL yii . Совокупность векторов

О J li }Zг называется траекторией целочисленной решетки /U^ij.-j t/»,) » если для любого ) найдется натуральное ^ такое, что ^ - ^i-ir • Траектория uJ = £/<•) называется принадлежащей множеству /4 с Ж^п,--,*'1^) , если

6 ^ при любом ), Обозначим £ (Л)- характеристическую функцию множества А ,

Теорема I. 2. I. Пусть - конечное вероятностное пространство, построенное на множестве элементарных равновероятных исходов О. , состоящего из всевозможных траектории целочисленной решетки Ri^i,.^^) . Тогда для вероятности любого события А справедлива формула

Р{А}= р(К)) (14) где - результат вычисления по рекуррентной формуле (13).

При небольших значениях Л-* ., Кт вероятность события А более удобно вычислять по формуле

В (15) условие 7- в{, >. О . по-прежнему означает неотрицательность всех компонент вектора V- '( i - J .

2. Найдено предельное (К^^П-К^ ^ п-*оо) - постоянные) распределение статистики (8) в случае произвольных весовых коэффициентов . Приводимый в теореме 2. 3. I результат получен обобщением работы автора [30].

Теорема 2. 3. I. Пусть выполнено (2). Обозначим x = (xll.,x/,)j 0 - нулевой вектор размерности р} fa = m) - различные между собой значения, цринимаемые постоянными jfi и ^ - число jfi , равных . Пусть tf-ij/O - положительные постоянные, состоящие из значений fy с кратностью ij-X (= К ) и K-i корней уравнения о

Г* где

Введем функцию р

G(x) = (И

Р(а) = hrn. p{Wi<a\ = (lief/Za(i,o) i-t и обозначил

F= {*l &(*)=&}

Тогда p/2

Ж Ma' < cl У - (ГД)

П.-* oo где Q - решение уравнения теплопроводности g. у

Л = 5x7 1 ~ оператор Лапласа), удовлетворяющее начальному условию - дельта-функция) и граничному условию еГ=

3. В работе найдено предельное ( Л^ = h, К{ j yi-* Ki - постоянные) распределение статистики (8) при гипотезе (9) в случае произвольных весовых коэффициентов С± .} С т . Приводимый в теореме 3. 3. I результат заключается в следующем.

Теорема 3. 3. I. Пусть выполнено (9). Обозначим 0< t t X

• * ' р-т-±) х-} 0 - нулевой вектор размерности р .

Пусть постоянные jfi= ti/Ki ( ) таковы, что fa t jfj при i >t j, . Обозначим ( V = J корни уравнения т л

Обозначим = 0

JLi= Ci/fKi , i-i.m, Bi = Ki-^i, i--V = ^ = */(Z (<}/е/)У* I'Cp. i-i J '

Введем функции hil?) = —7==r - ~- i г-^т, г г

Г(2) - 21, C; A^Hj , e- = (i: г £ ^t^jjA, ( ГЦ

- функция, обратная к t-raj ) и обозначим

Тогда

И-» Оо у» где (9[ЬЛ) - решение уравнения теплопроводности

36? * а Л - ~ опеРатоР Лапласа), удовлетворяющее начальному условию

9 Ur) =

- II § (К) - дельта-функция) и граничному условию

Практическая значимость. Для решения многих задач прикладной математической статистики необходимо построение статистических решающих правил проверки однородности нескольких выборок с произвольными весовыми коэффициентами. Поэтому создание простых вычислительных методов нахождения точного и предельного распределений статистики (8) является практически значимой задачей. Практическое значение результатов, полученных в настоящей работе, объясняется следующим:

1. Метод нахождения точного распределения статистик типа Колмогорова-Смирнова (см. программную реализацию метода в Приложении I позволяет уточнить и расширить существующие таблицы, а также создать таблицы точного распределения для случая выборок неравного объема. Поскольку указанный метод по вычислительным затратам машинного времени значительно проще методов перебора для других известных статистик в задаче проверки однородности нескольких выборок произвольного объема (например, для статистики Крускала-Уолли-са ([9])), эта задача представляется легко осуществимой для значительных объемов выборок.

Кроме того, метод может быть использован при создании программно-математического обеспечения по прикладной математической статистике.

2. Метод нахождения предельного распределения статистики (8) (см. программную реализацию метода в Приложении 2) позволяет дать рекомендации по использованию для точного распределения аппроксимации предельным законом распределения.

3. Метод нахождения предельного распределения статистики (8) при альтернативах (см. программную реализацию метода в Приложении

3) позволит разработать рекомендации по выбору весовых коэффициентов С± Ст. при определенных классах альтернатив для многих задач прикладной математической статистики.

Выступления по теме диссертации. Результаты работы докладывались на семинаре "Многомерный статистический анализ и вероятностное моделирование реальных процессов", функционирующем в рамках Научного Совета АН СССР по комплексной проблеме "Оптимальное планирование и управление народным хозяйством СССР" при Центральном Экономико-Математическом Институте АН СССР в 1974, 1979, 1980 и 1982 годах, а также на Ш Ферганской конференции по предельным теоремам теории вероятностей в 1983 году.

Публикации. Основное содержание работы отражено в шести печатных работах.

Объем и структура работы. Диссертация состоит из введения, трех глав, посвященных доказательству основных результатов, и заключения, изложенных на 66 страницах машинописного текста, а также содержит описание программы вычисления точного распределения статистик типа Колмогорова-Смирнова (Приложение I), описание программы вычисления предельного распределения статистики (8) (Приложение 2), описание программы вычисления предельного распределения статистики (8) при альтернативах (Приложение 3), 3 таблицы (Приложение 4), список литературы из 64 наименований работ отечественных и зарубежных авторов.

- 65 -ЗАКЛЮЧЕНИЕ

В ходе проведенного в диссертации исследования класса непараметрических критериев проверки однородности нескольких выборок, основанных на статистиках типа Колмогорова-Смирнова, получены следующие результаты:

1. На основе анализа многочисленных содержательных задач прикладной математической статистики по проверке однородности нескольких выборок, ценность которых выражается для исследователя не только в объеме полученной информации, но и в ее достоверности, предложен класс непараметрических критериев проверки однородности нескольких выборок, основанный на статистиках типа Колмогорова-Смирнова, учитывающих исходные выборки с произвольными весовыми коэффициентами.

2. Предложен удобный для практического использования и легко реализуемый на ЭВМ рекуррентный метод нахождения точного распределения при нулевой гипотезе произвольных статистик типа Колмогорова-Смирнова, который отличается от ранее известных рекуррентных методов нахождения точного распределения в случае двух выборок. Метод позволяет уточнить и значительно расширить существующие таблицы точного распределения статистик типа Колмогорова-Смирнова, а также создать необходимое программно-математическое обеспечение для решения поставленной задачи без статистических таблиц.

3. Предлагаемый метод нахождения точного распределения статистик типа Колмогорова-Смирнова основан на более общем результате: получена рекуррентная формула для вычисления вероятности любого события конечного вероятностного пространства, построенного на множестве элементарных равновероятных исходов, состоящего из всевозможных траекторий целочисленной решетки Жя^^.^Пуп)

Ут -мерного евклидова пространства.

4. Получена явная формула для функции распределения односторонней статистики Смирнова в случае произвольных объемов рассматриваемых выборок.

5. Получена явная формула для функции распределения IP^t^n^ а.} двусторонней статистики Смирнова в случае произвольных объемов рассматриваемых выборок при а > i/2.

6. Найдено предельное распределение статистик рассматриваемого класса в случае произвольных весовых коэффициентов при нулевой гипотезе. Предложен метод вычисления этого распределения, основанный на решении уравнения теплопроводности.

7. Найдено предельное распределение статистик рассматриваемого класса в случае произвольных весовых коэффициентов при сближающихся с увеличением объемов рассматриваемых выборок альтернативах. Предложен метод вычисления этого распределения, основанный на решении уравнения теплопроводности.

8. Все предлагаемые методы реализованы в программах, написанных на алгоритмическом языке Фортран.

1. Айвазян С.А., Енюков И.О., Мешалкин Л.Д. Прикладная статистика.-М.: Финансы и статистика, 1983,- 471 с.

2. Анастази А. Психологическое тестирование /пер. с англ./ кн. I и 2. М.: Педагогика, 1982.

3. Андреенков В.Г., Андрукович П.Ф., Елисеева И.И. Статистические методы анализа информации в социологических исследованиях. М.: Наука, 1979. - 319 с.

4. Бейли Н. Статистические методы в биологии. М.: Мир, 1964. -326 с.

5. Беллман Р. Введение в теорию матриц. М.: Наука, 1969. - 367 с.

6. Биллингсли II. Сходимость вероятностных мер. М.: Наука, 1977.

7. Большев JI.H., Смирнов Н.В. Таблицы математической статистики. -М.: Наука, 1965.

8. Боровков А.А., Маркова Н.П., Сычева Н.М. Таблицы для критериев Н.В.Смирнова однородности двух выборок. Новосибирск: АН СССР, 1964.

9. Гаек Я,, Шидак 3. Теория ранговых критериев. М.: Наука, 1971.375 с.

10. Гихман И.И., Скороход А.В. Теория случайных процессов, т. 1# М.: Наука, 1971. 664 с.

11. Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии /пер. с англ. под общ. ред. Ю.П.Адлера/. М.: Прогресс, 1976. - 495 с»'

12. Гнеденко Б.В., Королюк B.C. 0 максимальном расхождении двух эмпирических распределений. ДАН СССР, 1951, 80, № 4, с. 525-528.

13. ГОСТ 23554. 2-81. Отработка значений экспертных оценок качества продукции. М.: Изд-во Стандартов, 1982. - 66 с.

14. Грабарь М.И., Краснянская И.А. Применение математической статистики в педагогических исследованиях. Непараметрические методы.

15. М.: Педагогика, 1977. 136 с.

16. Гублер Е.В., Генкин А.А. Применение непараметрических критериев статистики в медико-биологических исследованиях. JI.: Медицина, 1973. - 141 с.

17. Ито К., Маккин Г. Диффузионные процессы и их траектории, М.: Мир, 1968. - 394 с.

18. Кац М. О некоторых связях между теорией вероятностей и дифференциальными и интегральными уравнениями. В сб.: Математика. - М.: ИЛ, 1957.

19. Корошок B.C. О расхождении эмпирических распределений для случая двух независимых выборок. Изв. АН СССР, сер. Матем., 1955, 19, с. 81-96.

20. Орлов А.И. О проверке симметрии распределения. Теория вероятн. и ее примен., 1972, т. 17, й 2, с. 372-377.

21. Орлов А.И. Необходимые и достаточные условия в предельной теории статистик интегрального типа. Теория вероятн. и ее примен,, 1973, т. 18, JS 3, с. 673-675.

22. Орлов А.И. Асимптотическое поведение статистик интегрального типа. ДАН СССР, 1974, 219, J3 4, с. 808-811.

23. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979. - 296 с.

24. Рао С.Р. Линейные статистические методы и их применение. М.: Наука, 1968. - 548 с.

25. Самарский А.А. Теория разностных схем. М,: Наука, 1977. -656 с.

26. Смирнов Н.В. Оценка расхождения между эмпирическими кривыми распределения в двух независимых выборках. Бюллетень МГУ, 1939, 2, вып. 2, с. 3-14.

27. Смирнов Н.В. Теория вероятностей и математическая статистика. Избранные труды. М.: Наука, 1970. - 300 с.- 13227. Феллер В. Введение в теорию вероятностей и ее применения, т. 2. М.: Мир, 1967. 752 с.

28. Холлендер М., Вулф Д. Не параметрические методы статистики /пер. с англ./. М.: Финансы и статистика, 1983. - 34 л.

29. Черномордик О.М. О некоторых результатх по непараметрической статистике. В сб.: Алгоритмы многомерного статистического анализа и их применения - М.: АН СССР, 1975, с. 127-130.

30. Черномордик О.Мв Об одном непараметрическом критерии однородности нескольких выборок. Теория вероятн. и ее примен., 1980, т. 25, I, с. 197-200.

31. Черномордик О.М. Точное распределение статистики Смирнова. В сб.: Случайный анализ. М.: МГУ, 1981, с. 38-43.

32. Черномордик О.М. Формула точного распределения односторонней статистики Смирнова. В сб.: Прикладная статистика, сер. Ученые записки по статистике. - М.: Наука, 1983, J& I.

33. Черномордик О.М. Нахождение точного распределения статистик типа Колмогорова-Смирнова. В сб.: Прикладная статистика, сер. Ученые записки по статистике. - М.: Наука, 1983, й 2.

34. Черномордик О.М. Проверка однородности нескольких выборок произвольного объема. В сб.: Статистика. Вероятность. Экономика, сер. Ученые записки по статистике. - М.: Наука (статья находится в печати).

35. Ahmad R. On the multivariate К -sample problem and the generalization of the Kolmogorov-Smirnov test. In: Progr. Statist. Amsterdam-L., 1974, v. I, p. 51-60.

36. Ahmad E. On the multivariate K. -sample problem and the generation of the Kolmogorov-Smirnov test. Tokyo: Annals of the Inst, of Statist. Math., 1976, 28, p. 259-265.

37. Bartels R.M., Horn S.D., Liebertran A.M., Harris W.L. A computational investigation of Conover's Kolmogorov-Smirnov testfor discrete distribution. J, Statist. Comput. Simul., 1978, 7, p. I5I-I62.

38. Birnbaum Z.W., Hull B.A. Small sample distributions for multi-sample statistics of the Smirnov type. Ann. Math. Statist., I960, 31, p. 710-720. 39» Blaemail J. An extension of the Kolmogorov distribution. - Ann. Math. Statist., 1936, 27, p. 513-520.

39. Blacman J. Correction to "An extension of the Kolmogorov distribution". Ann. Math. Statist., 1958, 29, p. 318-324.

40. Burke M.D. On the asymptotic power of some К -sample statistics based on the multivariate empirical process. J. Multivar. Anal., 1979, v. 9, ^ 2, p. 183-205.

41. Conover W.J. A K. -sample extension of the one-sided two-sample Smirnov test statistic. Ann. Math. Statist., 1967, 38, p. 1726-1730.

42. David H. A three-sample Kolmogorov-Smirnov test. Aon. Math. Statist., 1958, 29, p. 842-851.

43. Depaix M. Distributions de deviations maximales bilaterales entre deux echantillons independents de meme loi continue. -C.R. Acad. Sci. Paris, 1962, 255, Я 22, 2900-2902.

44. Eisz M.A. A limit theorem for empirical distribution functions. ■ Bull, de l'Acad. Polon. des Sci., 1957, 5, P. 695-698.

45. Prank J., Massey F.J. The distribution of the maximum deviation between two sample cumulative step function. Ann. Math. Statist., 1951, 22, p. 125-128.

46. Gail M.H., Green S.B. Critical values for the one-sided two-sample Kolmogorov-Smirnov statistic. J. of the Amer. Statist. Assoc., 1976, 71, P. 355, 757-760.

47. Eac M. On some connections between probability theory and differential and integral equations. Proc. 2-n Berk Syrup. Math. Statist, and Prob., University of California Press, 1951» P« 189-215.

48. Капno E. On the approximate formula to the distribution of the two sample Smimov test. THV Mathematics Science University of Tokyo, 1975, v. II, p. 65-73.

49. Kiefer J. К -sample analogues of the Kolomogorov-Smirnov and Cramer-V.Mises tests. Ann. Math. Statist., 1959, 30, p. 420447.53* Kim P.J. On the exact and approximate sampling distribution of the two-sample Kolmogorov-Smirnov criterion Dmn > J.

50. Amer. Statist. Ass., 1969, 64, p. 1625-1637.

51. Kim. P.J. The Smirnov distribution. Ann. Inst. Statist. Math., 1976, v. 28, E 2.

52. Steck G.P. The Smirnov two sample tests as rank tests. Ann. Math. Statist., 1969, 40, p. 144-9 -1466.

53. Steck G.P. Rectangle probabilities for uniform order statistics and the probability that the empirical distribution function lies between two distribution functions. Ann. Math. Statist., 1971, 42, p. I-II.

54. Steck G.P. A new formula for Si, 1 I s m ) ti, F=&K}> Ann. Probab., 1974-, 2, p. 155-160.

55. Taylor M.S., Becker M.P. Quantiles of multisample Smirnov type statistics. In: J, Statist. Comput. Simul., 1982, v. 16, p. 25-34.

56. Wolf E.H., naus J.I. Tables of critical values for a -sample £0lmogorov-Smlrnov test statistic. J. of the Amer. Statist. Assoc., 19731 68, JM 344, 994-997.