Матричнозначные корреляционные меры и многомерные тесты независимости

Суханова, Екатерина Михайловна

Матричнозначные корреляционные меры и многомерные тесты независимости тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Суханова, Екатерина Михайловна АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Москва МЕСТО ЗАЩИТЫ

2008 ГОД ЗАЩИТЫ

01.01.05 КОД ВАК РФ

Диссертация по математике на тему «Матричнозначные корреляционные меры и многомерные тесты независимости»

Автореферат диссертации на тему "Матричнозначные корреляционные меры и многомерные тесты независимости"

Московский Государственный Университет им. М.В. Ломоносова Механико-математический факультет

На правах рукописи УДК 519.237.5, 519.237.3

Суханова Екатерина Михайловна

МАТРИЧНОЗНАЧНЫЕ КОРРЕЛЯЦИОННЫЕ МЕРЫ И МНОГОМЕРНЫЕ ТЕСТЫ НЕЗАВИСИМОСТИ

Специальность: 01.01.05 - Теория вероятностей и математическая

статистика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва 2008

003456072

Работа выполнена в Московском Государственном Университете имени М.В. Ломоносова на кафедре теории вероятностей механико-математического факультета.

Научный руководитель: доктор физико-математических наук,

профессор Тюрин Юрий Николаевич.

Официальные оппоненты: доктор физико-математических наук

Зубков Андрей Михайлович,

Математический Институт РАН имени В. А. Стеклова;

кандидат физико-математических наук Уфимцев Михаил Валентинович, Московский Государственный Университет имени М. В. Ломоносова.

Ведущая организация: Центральный Экономико-Математический

Институт РАН.

Защита диссертации состоится 12 декабря 2008 года в 16 часов 40 минут на заседании диссертационного совета Д.501.001.85 при Московском Государственном Университете имени М.В. Ломоносова по адресу. 119991, ГСП-1, Москва, Ленинские Горы, Главное Здание МГУ, механико-математический факультет, аудитория 16-24.

С диссертацией можно ознакомиться в библиотеке механико-математического факультета МГУ (Главное здание, 14 этаж).

Автореферат разослан 11 ноября 2008 года.

Ученый секретарь диссертационного совета Д.501.001.85 при МГУ, доктор физико-математических наук, профессор

И. Н. Сергеев

ении многомерного непараметрического критерия независимости применили Puri и Sen8, но их тестовая статистика не удовлетворяет свойству аффинной инвариантности и, как следствие, ее эффективность зависит от ковариационной структуры наблюдений. Указанная статистика при специальном выборе функций меток служит обобщением квадрантной и спирменовской корреляций. С помощью так называемого углового расстояния между двумя многомерными наблюдениями — т.е. относительного количества гиперплоскостей, порожденных векторзначными данными, и разделяющих эти два наблюдения — Gieser и Randies9 предложили многомерный вариант знакового квадрантного теста. Хотя полученный критерий аффинно инвариантен и асимптотически свободен от распределения, он весьма неудобен с вычислительной точки зрения. Воспользовавшись пространственным обобщением понятия знака, более практическую многомерную версию квадрантного теста недавно представили Taskinen, Kankainen, Oja10. Подобным образом многомерные версии критериев независимости Спирмена и Кендэлла определили Taskinen, Oja, Randies11. Общим недостатком упомянутых работ9"11 можно назвать требование эллиптичности распределений многомерных признаков. Иные подходы к решению описанной задачи предлагали, среди прочего, Питербарг, Тюрин12, Möttönen, Koshevoy, Oja, Tyurin13 и Schmid, Schmidt14.

Большинство рассматриваемых в литературе многомерных вариантов ранговых и знаковых коэффициентов корреляций получены, исходя из интуитивных соображений, связанных с попыткой упорядочить и сравнить многомерные наблюдения. В диссертации предлагается более систематический подход. Сначала мы определяем понятие корреляции векторных случайных величин. Введение матричнозначной корреляционной меры также дополняет работу Тюрина15, в которой совершенно по-новому излагается линейный многомерный статистический анализ с использованием матриц как обобщений чисел и заданием «матричного скалярного произведения». Матричная корреляция дает простой способ получить различные непараметрические многомерные корреляционные меры и построить с их помощью многомерные критерии

8M.L. Puri, P.K. Sen. Nonparametric methods in Multivariate Analysis. — N.Y.: Wiley, 1D71.

8P. W. Gieser, R. H. Randies. "A Nonparametric Test of Independence Between Two Vectors". — J. Amer. Statist. Assoc., Vol.92, pp.561-567,1997.

10S. Taskinen, A. Kankainen and H. Oja. "Sign Test of Independence Between Two Random Vectors". — Statist. Probai). Lett., Vol.62, pp.9-21, 2003.

"S. Taskinen, H. Oja and R.H. Randies. "Multivariate Nonparametric Tests of Independence". — J. Amer. Statist. Assoc., Vol.100, pp. 916-925, 2005.

15B. И. Питербарг, Ю. H. Тюрил. "Многомерные ранговые корреляции: гауссовское поле на прямом произведении сфер". — ТВП, т. 45, сс. 236-250, 2000.

13 J. Möttönen, G. Koshevoy, H. Oja and Y. Tyurin. "Multivariate Tests for Independence Based on Zonotopes". Manuscript, 2005.

14F. Schmid, R. Schmidt. "Nonparametric Inference on Multivariate Versions of Blomqvist's Beta and Related

Measures of Tail Dependence". - Metrika, Vol.66, pp.323-354, 2007.

16Ю. H. Тюрин. "Многомерный анализ: геометрическая теория". Манускрипт, 2008.

1 Общая характеристика работы

Актуальность темы

Задача анализа статистической связи между признаками и, в частности, проверки статистической гипотезы о независимости двух случайных признаков часто встречается в прикладных исследованиях. Классический коэффициент корреляции Пирсона1, обычно используемый для решения этой задачи, обладает тем недостатком, что он крайне ненадежен при наличии в данных грубых ошибок и при иных отклонениях модели распределения признаков от нормального. Альтернативными мерами взаимозависимости признаков служат непараметрические коэффициенты корреляций, построенные при помощи рангов и знаков. Это — популярные ранговые корреляции Спирмена2, Кендэлла3, квадрантная корреляция4,5 и проч. Данная тематика хорошо освещена, например, в книгах Гаека, Шидака6 и Кендэлла7.

Непараметрические методы статистики — это комплекс методов статистической обработки данных, не требующих знания функционального вида генеральных распределений. Потеря информации, возникающая при переходе от точных значений наблюдений к их порядковым номерам (рангам) или знакам, компенсируется широкой применимостью методов и их устойчивостью по отношению к различного рода «выбросам», неточностям моделей и т.д. Поскольку ранговые методы базируются на упорядочении наблюдений, они используются, так же как и знаковые методы, только для вещественных данных. Для многомерных данных, когда результатом наблюдения над каждым объектом является несколько чисел (вектор), к сожалению, не существует естественного способа упорядочения и сравнения. Поэтому опыты многомерного обобщения ранговых и знаковых коэффициентов корреляций актуальны и оправданы.

'К. Pearson. "Mathematical Contributions to the Theory of Evolution: 1П. Regression, Heredity, and Panmixia". — Philosophical Transactions of the Royal Society of London, Series A, Vol. 187, pp. 253-318, 1896.

2C. Spearman. "The Proof and Measurement of Association Between Two Things". — Amer. J. Psychology, Vol. 15, pp. 72-101,1904.

3M. G. Kendall. "A New Measure of Rank Correlation". — Biometrika, Vol. 30, pp. 81-93, 1938.

4F. Mosteller. "On Some Useful 'Inefficient' Statistics". — Ann. Math. Statist., Vol. 17, pp.377-408, 1946.

5N. Blomqvist. "On a Measure of Dependence Between Two Random Variables". — Ann. Math. Statist., Vol. 21, pp. 593-600, 1950.

6Я. Гаек, 3. Шидак. Теория ранговых критериев. — М.: "Наука", 1971.

7М. Кендэл. Ранговые корреляции. — М.: "Статистика", 1975.

независимости.

Таким образом, тема диссертации представляется актуальной с теоретической точки зрения, и имеет практическую значимость.

Цель работы

Целью данной диссертации является расширение понятия коэффициента корреляции на случай многомерных величин, построение новых многомерных версий ранговых и знаковых корреляций и тестов независимости, исследование статистических свойств предложенных объектов и процедур.

Научная новизна

Основные результаты диссертации являются новыми и состоят в следующем:

1. Определена новая матричнозначная корреляционная мера и ее выборочный аналог для пары многомерных случайных признаков. Показано, что матричная корреляция в основных чертах повторяет свойства классического коэффициента корреляции с тем отличием, что роль чисел выполняют квадратные матрицы. В гауссовском случае найдено точное распределение выборочной матричной корреляции (при условии, что многомерные случайные признаки независимы) и асимптотическое распределение матричной корреляции при неограниченно растущем объеме выборки п. Также, с помощью матричной корреляции объединены многие понятия многомерного регрессионного и корреляционного анализа.

2. Предложены новые многомерные версии широко известных ранговых коэффициентов корреляций Спирмена, Кендэлла и знаковой квадрантной корреляции. Установлено, что выборочные ранговые и знаковые матричные корреляции (при некоторых слабых условиях регулярности) являются состоятельными ^/п-асимптотически гауссовским оценками своих теоретических аналогов.

слабых условий относительно моментов распределений признаков (достаточно существования конечных вторых моментов), они могут обладать большей асимптотической мощностью и при этом более устойчивы к «засорениям».

Методы исследования

В работе применяются общие методы теории вероятностей и математической статистики, математического и функционального анализа, а также элементы матричной алгебры. Широко используется теория U-статистик.

Теоретическая и практическая значимость

Работа носит теоретический характер, результаты диссертации расширяют совокупность многомерных статистических методов корреляционного анализа. Предложенные в диссертации критерии могут быть полезны для решения практических задач, связанных с изучением статистической зависимости двух многомерных признаков не очень больших размерностей (— 10). Рекомендуется их использование в тех случаях, когда важно свойство аффинной инвариантности или распределение признаков имеет более «тяжелые хвосты» по сравнению с нормальным распределением.

Апробация работы

Основные результаты работы докладывались на Большом семинаре кафедры теории вероятностей в МГУ под руководством член-корр. РАН, профессора А. Н. Ширяева в 2008 году. Неоднократно делались доклады на семинаре «Непараметрическая Статистика и Временные Ряды» под руководством проф. Ю.Н. Тюрина, доц. М.В. Болдина и проф. В.Н. Тутубалина в МГУ в 2007 и 2008 годах. Также были сделаны презентации на нескольких конференциях: «Ломоносовских Чтениях», Москва, 2008, «Колмогоровских Чтениях», Ярославль, 2008, «Международной Конференции по Робастной Статистике» («International Conference on Robust Statistics»), Анталия, Турция, 2008, и на семинаре под руководством профессора X. Ойа в Университете Тампере, Финляндия, 2008.

Публикации

По теме диссертации опубликовано 6 работ, список которых приведен в конце автореферата [1] - [6].

Структура диссертации

Диссертация состоит из введения, двух глав, списка обозначений и списка литературы, насчитывающего 77 наименований и организованного в алфавитном порядке. Результаты, полученные автором диссертации, оформлены в виде Теорем и Лемм; необходимые известные факты сформулированы в виде Утверждений, с указанием источника. Нумерация утверждений, лемм, теорем и формул начинается в каждой главе заново и состоит из двух чисел. Первое число относится к номеру главы, второе — к номеру утверждения (леммы, теоремы или формулы). Ссылки на работы других авторов сделаны по принципу «автор-дата». Общий объем работы составляет 115 страниц.

2 Краткое содержание диссертации

Диссертация посвящена матричнозначным корреляционным мерам, впервые предлагаемых в литературе в качестве ^многомерных аналогов числовых коэффициентов корреляций. Применение матричных корреляций продемонстрировано на примере проверки гипотезы о независимости двух многомерных признаков.

Первая глава диссертации состоит из восьми параграфов. В ней предлагается и изучается новое понятие — матричная корреляция.

В Разделе 1.1 приводится ряд полезных алгебраический понятий и фактов, на которые опирается основной материал настоящей работы. Мотивация и определение матричной корреляции обсуждаются в Разделе 1.2, Основанием для введения нового понятия послужило следующее соображение. Коэффициент корреляции двух одномерных случайных величин, по существу, являет собой нормированную ковариацию. Поэтому естественно в качестве основы многомерного обобщения корреляции взять ковариационную матрицу. Способ нормировки ковариационной матрицы дает матричный аналог неравенства Коши-Буняковского (см. Боровков16, с.159).

Пусть даны две многомерные случайные величины х €. Rp и у € Их ковариационную матрицу обозначим через Gov (ж, у), при этом матрицу Vara; = Cov(:r.х) будем называть дисперсионной. Символ обозначает пространство вещественных р х g-матриц; индексы, равные 1, опускаются. Для матричных неравенств, индуцированных положительной определенностью и полуопределенностью, будем использовать символы -< и Относительно случайных векторов х, у мы предполагаем, что их дисперсионные матрицы существуют и невырождены.

16А. А. Боровков. Математическая статистика. — М.: "Наука", 1984.

Определение. Пусть х е Rp,y € К9 имеют конечные Vara;, Vary 0. Матричной корреляцией случайных векторов у и х назовем

р = р{у,х) = [Var у]'1'2 Соv(y, х) [Var х}'1!2. (1)

Очевидным образом, для р — q — 1 формула (1) дает классический коэффициент корреляции. Заметим, что запись (1) корректна, поскольку положительно определенный квадратный корень из положительно определенных матриц Varar,Vary существует и притом единственен. Матричный вариант неравенства Коши-Буняковского в принятых обозначениях имеет вид

рр' < I,

где I — единичная матрица,' — знак операции транспонирования.

определение. Для всякой матрццы R положительно полуопределенную матрицу |i?| = (RR1)1/2 назовем матричным модулем. Если R полного ранга по строкам, то нееырожденна, и тогда величину sgn R = будем называть матричным знаком.

Отметим, что матричный знак квадратной невырожденной матрицы R есть ортогональная матрица, и что разложение R = |ü| sgn R — это полярное разложение матрицы R.

Перечислим элементарные свойства матричной корреляции р как меры связи, описанию которых посвящен Раздел 1.3:

(а) нормировка: о \р\ I. Это равносильно тому, что все сингулярные числа матрицы р не превосходят 1.

(в) НЕЗАВИСИМОСТЬ: Будем говорить, что случайные векторы у шх некор-релированы, если р{у, х) = 0. Таким образом, если у их независимы, то они некоррелированы. В гауссовском случае понятия независимости и некоррелированности совпадают.

(c) Функциональная зависимость: Условие \р\ = I эквивалентно тому, что с вероятностью 1 у = Кх -f b для некоторой матрицы К € R® полного ранга по строкам и вектора Ъ е К9. При этом р = sgn р состоит из ортонорми-рованных строк, и изменение значения х вдоль направления [Varx]1/'2e¿, где e¿ G Rp — г-ая строчка матрицы р, приводит к увеличению г-ой компоненты признака у, i = 1 ,q.

(d) свойство возрастания: При возрастании линейной зависимости |р| увеличивается (в матричном смысле). Более того, среднеквадратическая погрешность линейной оценки у по х равна

А* = inf Var [у -Кх-Ъ} = [Var у}1/2{1 - |p|2)[Var у]1/2.

(е) эквивариантность/инвариантность: Для любых невырожденных матриц Кг е К2еЩа векторов ¿ч е йр, Ь2 6 К9, выполняется:

р = + Ь2, Кхх + ы = 8^{К2[Мату}^2} ■ р(у,х) • 8№'{^1[Уахх]1/2}.

В частности, если Ки К2 ортогональны, то р = К2р(у,х)К'1. Сингулярные числа матричной корреляции р при аффинных преобразованиях не меняются, (р) Симметричность: р(у,ж) = р'(х,у).

Таким образом, матричная корреляция р является в некотором смысле направленной мерой (линейной) зависимости двух многомерных случайных признаков.

В Разделе 1.4 мы определяем выборочную версию матричной корреляции (1). Пусть даны п независимых реализаций пары р- и д-мерных случайных признаков (х',у'У,

Как и в одномерном случае, для оценки р воспользуемся выборочными матрицами ковариаций s2i = ave¿(x¿ - i)(y¿ - у)' и s22 = ave¿(í/¡ - у)(y¿ - у)', su = ave,(it — x)(xí — х)'. Здесь и далее символ ave,- обозначает усреднение по индексу i = 1, п.

Определение. Для многомерной выборки (2), выборочной матричной корреляцией у их. будем называть величину

r = r(y,x) = s2-1/2s21s-1/2. (3)

Опишем геометрический смысл определения. Положим сейчас р — q. В недавней работе Тюрин17 предложил рассматривать р х n-матрицы х и у как «векторы» размерности п, координатами которых являются р-столбцы. Обобщенное скалярное произведение так называемых р х n-векторов х и у задается формулой:

(х,у) = (4)

■¿=1

Ассоциированная с матричным скалярным произведением (4) длина р х п-вектора х тогда определяется как |х| = (х, х)1//2 = (хх')1/2.

Вспомним, что выборочная корреляция Пирсона (р = q = 1) представляет собой скалярное произведение нормированных остатков х — 51 и у — yl, где 1 = (1,..., 1) € М„. Отсюда

ОПРЕДЕЛЕНИЕ. Выборочной матричной корреляцией у их назовем

r(y,x) = (|x-n|-1(y-yl), Ix-xirHx-il))

Hy-yir^y-íA, x-alJIx-sir1. U

"ю. H. Тюрин. "Многомерный анализ: геометрическая теория". Манускрипт, 2008.

Очевидно, что геометрическое определение (5) совпадает с (3). Более того, из двойственности понятий матрицы ковариаций в пространстве случайных векторов и матричного скалярного произведения (4) в выборочном пространстве вытекает, что свойства (а)-(р) теоретической матричной корреляции р также верны и для ее выборочного аналога г.

Естественно, что г является сильно-состоятельной оценкой р, т.е. имеем сходимость матриц: г(у,х) р{у,х) при п—> оо.

В Разделе 1.5 доказаны результаты о распределении выборочной матричной корреляции в гауссовском случае. Чтобы их сформулировать, необходимо напомнить некоторые понятия из многомерного анализа18. Векторизацией ьес А матрицы А называется вектор, составленный из столбцов А, последовательно записанных один под другим. Случайная р х ^-матрица г имеет матричное нормальное распределение г ^ Щ{М, Г2) с параметрами М 6 и Л <£ если распределение вектора ьес(т!) ^ Лги(г>ес(М'), П) многомерное нормальное. Случайная р x ^матрица лу имеет распределение Уишарта с т степенями свободы уг ^ \¥р(т), если = ХХ1где ~~ н- Р- I). На основе этих матричных распределений мы вводим

ОПРЕДЕЛЕНИЕ. Случайная р х д-матрица Ь имеет матричное распределение Стъюдента с и степенями свободы, и > р, пишем 1 ~ если

t = г, где г X V, г ~ 1„), V - Шр(и).

Матричное распределение Стьюдента ортогонально инвариантно, т.е. для t ~ и любых ортогональных матриц 0\ Е Жр, О2 6 М® выполняется

равенство по распределению t = 0^0?..

Очевидно, что Б{ (у) есть обычное (одномерное) распределение Стьюдента. Кроме того, (г/) — это один из встречающихся в литературе многомерных вариантов стьюдентова распределения, определяемый плотностью

для х е Кр, где || • || — евклидовская норма. Другие многомерные версии можно найти в книге авторов Kotz, Nadarajah19.

Следующий результат можно использовать для проверки гипотезы о независимости двух гауссовских векторов.

ТЕОРЕМА 1.1. Пусть j суть п независимых реализаций пары

х 6 Мр, у € М9, имеющей совместное нормальное распределение с р{у, х) = 0,

18М. Bilodeau, D. Brenner. Theory of Multivariate Statistics. — N.Y.: Springer-Verlag, 1999.

I9S. Kotz, S. Nadaiajah. Multivariate t Distributions and their AppKcaitons. — Cambridge Univ. Press, 2004.

(6)

и г — выборочная версия р. Пусть п > р + д + 1. Тогда |ги-ггГ1/2|2 = |^/(п-1-р),

где величина Ь ~ 5р9(п — 1 — р).

Теорема 1.1 обобщает известное свойство пирсоновской корреляции г: для выборки {(х-, у[)'} из двумерного нормального распределения с р = О,

V Д

= гп_2/\/п - 2,

vT^

где случайная величина in_2 имеет распределение Стьюдента с п — 2 степенями свободы.

Далее нам нужны следующие определения. Коммутационная матрица Ksj G Щ\ — это матрица блочного вида, (i, j)-bift блок которой размера txs с единицей на месте (j, г) и остальными нулями; г = l,s, j = 1, £. Кронеке-ровское произведение <8> матриц Л £ 1J и В € М, задается соотношением А®В — (a,ijB) € К^. Кронекеровская сумма © двух квадратных матриц А е и В G К| определяется формулой A®B = A($Iq + Ip®B.

ТЕОРЕМА 1.2. Пусть выборка получена из совместного нор-

мального распределения с матричной корреляцией р(у, х) = 0 и дисперсионными матрицами Vara; = Ip, Vary = Iq. Тогда для г — выборочной версии р при п —* оо выполняется

п1/2(г-р) ЛЛГ«(0,П), где

4ft - 2(7, - до') ® (Jp - р'р) + ((/, - /эр') Ф (/р - р'р))(1ЧР - ^g,pp' ® р).

В случае р = q = 1 Теорема 1.2 дает хорошо известный результат о распределении коэффициента корреляции Пирсона: для выборки из двумерного нормального распределения

п1/2(г-р)Ллг(0,(1-р2)2).

Итак, наши результаты, наряду с работой Тюрина20, свидетельствуют о том, что обобщение чисел до квадратных матриц имеет естественное приложение в области многомерного статистического анализа. В дополнение к этому в диссертации, в Разделах 1.6 и 1.7, мы определяем матричное корреляционное отношение и матричную частную корреляцию, и обсуждаем их дальнейшее возможное применение.

Завершающий Раздел 1.8 описывает связь матричной корреляции с другими понятиями многомерного корреляционного и регрессионного анализа.

20Ю. Н. Тюрин. "Многомерный анализ: геометрическая теория". Манускрипт, 2008.

Чтобы избежать путаницы в терминологии особо отметим, что известная в литературе «корреляционная матрица» совершенно отлична от нашей матричной корреляции.

ОПРЕДЕЛЕНИЕ. Для случайного вектора z = (z1,... ,z1)', компоненты которого имеют невырожденные дисперсии, корреляционной матрицей называется C(z) = {p(z\zi)) е К.'.

Пусть случайные векторы х, у имеют невырожденные дисперсионные матрицы и дисперсии компонент векторов тоже невырождены. Пусть z = (х\ у')' и Diag(Var х) — диагональная матрица, имеющая на диагонали те же элементы, что и Var х. Тогда корреляционная матрица С (г) состоит из ковариационных и дисперсионных матриц векторов [Diag(Vara;)]_1/2a;, [Diag(Var у)]~1^2у, с коррелированными координатами. А матричная корреляция есть ковариационная матрица векторов [Vara;]""1/2^, \4axy\~l/2y, нормированных так, что координаты каждого из них мекоррелированы между собой.

В случае р > q = 1, матричный модуль \р\ есть вещественное число. Его называют коэффициентом множественной корреляции. Это максимально возможный коэффициент корреляции между у е Е и линейной комбинацией компонент х 6 Мр: \р(у,х)\ — sup{/>(i/, h'x) : h € Кр}.

В случае р > q > 1 большей размерности, |р| теряет свойство инвариантности при линейных преобразованиях (см. свойство (е)). Однако, неизменными остаются сингулярные значения ри ■ ■., pq матричной корреляции:

P(y,x) = G(Dp,0)H\

где Dp = diag{px,... ,pq} и Я £ RJ, G £ EJ - ортогональные матрицы. Числа pi суть канонические корреляции случайных величин х 6 у 6 К9, а компоненты случайных векторов Я'[Varх]~1!2х и G'[Varу]'1^2у являются каноническими величинами. Впервые эти понятия употребил Hotelling21.

Далее, рассмотрим многомерную линейную регрессионную модель:

у = Кх + е,

где К € Щ — неизвестный коэффициент регрессии, х — • • •, У = (Уь • • ■ ,Уп) £ Щ. ~ экспериментальные данные. Столбцы матрицы ошибок е = (ej,..., еп) € суть н. о. р. случайные векторы. Как и в одномерной теории, поиск параметра К из условия некоррелированности фактора х и остатков у — Кх, т.е. как решения уравнения г(х, у — Кх) — 0, приводит к известной оценке наименьших квадратов.

Резюмируем результаты Главы 1. Канонические корреляции, и коэффициент множественной корреляции как частный случай, являются известным

3IH. Hotelling. "Relation Between Two Sets of Variables". - Biometrika, Vol.28, pp. 321-377, 1936.

Рис. 1: Связь матричной корреляции с различными понятиями многомерного анализа. Описание схемы см. в тексте, с. 10-11.

обобщением классического коэффициента корреляции [Рис. 1:111]. Существенное отличие такого многомерного аналога от своего «родителя» заключается в утрате информации о направлении связи. Поэтому наряду с каноническими корреляциями, для изучения направлений многомерной зависимости, также рассматривают канонические величины [Рис. 1:1У]. Предложенная матричная корреляция (1), имея сингулярными числами канонические корреляции, позволяет делать выводы как о силе связи [Рис. 1:УИ], так и о ее направлениях [Рис. 1:УШ]. Как следствие, матричная корреляция зависима от выбора системы координат. Тесная связь корреляции Пирсона с линейной регрессией [Рис. 1:1] повторяется для многомерного случая [Рис. 1:1Х]. «Унаследованным» недостатком матричной корреляции является необходимость совместного распределения данных по нормальному закону, так как в общем случае понятия независимости и некоррелированности не совпадают. Построение на основе корреляции Пирсона непараметрических знаковых и ранговых коэффициентов корреляций [Рис. 1:11] и дальнейшее их использование для поиска робастных решений в задачах линейной регрессии можно провести также в многомерном случае [Рис. 1:Х]. Этому вопросу посвящена вторая глава.

ГЛАВА 2 диссертационной работы состоит из восьми параграфов. В ней мы определяем матричнозначные версии популярных ранговых коэффициентов корреляций Спирмена, Кендэлла и квадрантной корреляции, и строим на их основе многомерные аффинно инвариантные непараметрические тесты независимости.

В Разделе 2.1 дается краткий обзор одномерного случая. В Разделе 2.2 представлены векторные обобщения рангов и знаков. Пусть х = (xi,..., хп) — п независимых реализаций р-мерной случайной величины с произвольным распределением F. Положим I — {i\,..., ip} для упорядоченного набора индексов 1 < ¿i < • ■ • < ip < п, и пусть х/ = {xiít..., xip}. Аффинно-эквивариантная медиана Ойа22, будем обозначать ее Дх б Rp, минимизирует целевую функцию

V(x; х) := ave Ар(х, х/), х € W,

где усреднение ave/ берется по всевозможным (£) наборам индексов I, и величина

Áp{x,х7) := absjdet ^ ^ ^

деленная на р\, равна абсолютному объему р-симплекса с вершинами х, х/. Положим J = {ji,... ,ip-i}, 1 < ji < •■■ < jp-1 < п. Обобщение модуля, соответствующее медиане Ойа, задается в виде

Vo(x; х) := aveAp(a;,xy, 0).

определение. Многомерной знаковой и центрированной ранговой функциями х € Rp называются, соответственно, градиенты:

SQ(x;x) := VxV&fox), R (х;х) := VaK(®;x). (7)

Считаем, что вектор частных производных Vx является столбцом. Эмпирическими знаками (относительно медианы Ойа) и рангами наблюдений называются векторные величины S¿x = Sq(xí — /2Х; х — /2Х1), R{X = R(x¡\х).

Для эмпирических знаков и рангов ave¿ 5jX = ave¡ /?¿x = 0, и выполняется свойство аффинной эквивариантности в том смысле, что для знаков 5*х и рангов R*x, построенных по преобразованным наблюдениям {х* = Ах i + 6} с невырожденной матрицей A g кр и Ь 6

S*x = I det ЛКЛ"1)'^, R*x = I det A\{A~1)'R*. (8)

Теоретические аналоги выглядят следующим образом. Медиана Ойа ц = fi(F) минимизирует ожидаемую функцию объема V(x; F) := Е^-Др(а;,х/), где математическое ожидание берется по независимым р наблюдениям с распределением jF, перечисленным в х; = {х^,..., Xip}.

определение. Теоретическими центрированными знаковой и ранговой функциями 1б1р называются, соответственно,

SF(x; ц) := EfVx[Ap(x, xj, fi)], RF(x) := EfV^A^x, x7)], (9)

"H. Oja. "Descriptive Statistics for Multivariate Distributions". — Stat. Prob. Lett., Vol. 1, pp. 327-332,1983.

где ¡i = fi(F) — медиана Ойа, и математическое ожидание берется по независимым величинам, перечисленным в xj и x¡, соответственно.

Отметим, что для F с конечными первыми моментами функции (9) существуют и равномерно ограничены. См., например, обзорную работу Oja23.

В Разделе 2.3 мы определяем знаковые и ранговые матричные корреляции, применяя понятие матричной корреляции к аффинно-эквивариантным знакам наблюдений, рангам и знакам попарных разностей. Обратимся к многомерной выборке (2). Положим x{j := x¿ — Xj, ijij := y¡ — , и совокупности таких разностей обозначим °х := {rr^}. °у := {?/у}, 1 < г < j < п. Действуя с элементами введенных множеств как с обычными наблюдениями, можно вычислить эмпирические знаки

5¿jx = S0(Xij; °х) и Sijy = S0 (Vij; °у), (Ю)

используя знаковую функцию 5о из (7). Естественно, построенные таким образом знаки также аффинно-эквивариантны (в смысле (8)).

определение. Пусть RiK, Six и обозначают аффинно-эквивари-антные ранговые и знаковые векторы из (7) и (10), и аналогично для у. Матричными версиями коэффициентов корреляций Спирмена, Кендэлла и квадрантной корреляции будем называть, соответственно,

rs = (ave R,XR¡X)-1/2 ave RtxRiy (ауеД^Д- )_1/2, i t ' » '

vK = (ave SijJ^Y1'* ave SijxS'ijy (ave Sy^)"1'2, (11)

XyJyK Isj t, J,iv

rg = (ave S,xS'ix)~1/'2 ave (ave$y3y)~1/2-

JlEMMA 2.1. Сингулярные числа матриц rs, г к, rg инварианты относительно группы аффинных преобразований {a;¿ —+ j4ix¿ + 6i}, {yi —> АгУг + бг} с невырожденными матрицами Ль^г и векторами 61,62.

Перейдем к определению теоретических аналогов матричных корреляций (11). Мы будем предполагать, что распределения изучаемых признаков симметричны в смысле следующего

определение. Распределение х~ F из W называется симметричным, если существует вектор 9 6 Rp, называемый центром симметрии, для которого выполняется равенство по распределению х — в = — (х — в).

Для симметричного F с центром в из аффинной эквивариантности медианы Ойа немедленно получаем, что ß(F) = в. Следовательно, в этом случае центрированная знаковая функция (9) для F определена однозначно, и мы будем кратко писать Sp(x) = Sf{x4, ß{F)).

23Н. Oja. "Affine Invariant Multivariate Sign and Rank Tests and Corresponding Estimates: a Review". — Scand. J. Statist, (invited paper), Vol. 26, pp. 319-343, 1999.

Обозначим симметричное (с нулевым центром) распределение разности Х12 = х\ — Х2 двух независимых случайных величин с одним и тем же распределением Р через °Р — оно называется симметризацией Р. Для него также можно построить теоретическую знаковую функцию (9). По определению,

8оР(х) = ЕУх[Ар(а;, £12,2:34, ■ •. ,®2р-з.2р-2,0)], (12)

где математическое ожидание берется по независимым величинам ху с распределением

определение. Пусть распределение (х',у')' ~ Н с маргинальными х ~ Р, у ~ С имеет конечные первые моменты. Пусть ранговые и знаковые функции задаются формулами (9), (12), и аналогично для в.

Теоретической матричной корреляцией Спирмена будем называть

Р3{н) = [е ОЫуШУ)Гу\

Кендэлла —

рк{Н) = [Е^(х12)5^(х13)] ~1/2ЕнЗоР(хи)5'ос(у12) [Ес5осг(у12)Йс(у1з)]

и квадрантной корреляцией (для симметричных Р, С) —

рд(Н) = [ЕР3Р(х)3'г(х)]-1/2Ен8Р(х)3'с(у) [Ес5с(у)5аг/)]"1/2.

Предполагается, что нормирующие знаковые и ранговые дисперсионные матрицы невырождены.

Данное определение корректно, так как для существования используемых знаковых/ранговых ковариационных матриц достаточно конечных первых моментов, и из невырожденности нормирующих матриц следует, что из них можно извлечь (притом единственным образом) корень степени —1/2. Симметричность распределения влечет единственность теоретической медианы Ойа и, значит, все используемые знаковые функции определены однозначно.

Заканчивается Раздел 2.3 доказательством асимптотической нормальности выборочных матричных корреляций (11). Матричная статистика г называется \/"-ааимптотически гауссовской оценкой для р, если при п —> оо величина \/п(г — р) имеет предельное матричное нормальное распределение с нулевым средним.

ТЕОРЕМА 2.1. Пусть распределение (х', у')' ~ Н имеет конечные вторые моменты и рз(Н) определена. Тогда выборочная матричная корреляция гд, построенная по выборке объема п из распределения Н, для рв является \/п-асимптотически гауссовской оценкой.

Для изучения асимптотических свойств tq = г<з(Дх, Ду) необходимо сначала обосновать возможность замены выборочных медиан Ойа их неизвестными теоретическими значениями. Запись гд^ь/хг) означает, что используемые для построения квадрантной матричной корреляции эмпирические знаки наблюденных Xi,yi вычисляются относительно соответственно.

Лемма 2.2. Пусть

(Q-1) распределение (х\у')' ~ Н имеет конечные вторые моменты;

(Q-2) функции распределений х, у непрерывны;

(Q-3) выборочные медианы Ойа /2Х, /2у, построенные по выборкам объемов п из распределений х ~ F,y ~ G, являются y/ñ-состоятельными оценками нулевых центров распределений;

(Q-4) распределение Н симметрично относительно нуля;

(Q-5) дифференцируемы в ¡л\ = fi2 — 0 компоненты матричных функций

EpSF(x-,p.i)S'F(x;p,i), Е GSG(y] n2)S'G(y, р.2).

Тогда при п —► оо

л/п[г<?(Дх, My) - гд(0,0)] -V 0.

Достаточные условия для выполнения (Q-3) приведены Arcones и др24.

ТЕОРЕМА 2.2. Пусть выполнены условия Леммы 2.2 и Pq(H) определена. Тогда выборочная корреляция гq, построенная по выборке объема п из распределения Н, для pq является л/ñ-асимптотически гауссовской оценкой.

ТЕОРЕМА 2.3. Пусть распределение (х', у')' ~ Н имеет конечные вторые моменты и рк{Н) определена. Тогда выборочная матричная корреляция Ts, построенная по выборке объема п из распределения Н, для рц является \/п-асимптотически гауссовской оценкой.

Раздел 2.4 посвящен многомерным тестам независимости. Мы приводим классические тестовые статистики и записываем их в виде функций выборочной матричной корреляции (3). Аналогичным образом строим новые критерии независимости с помощью ранговых и знаковых выборочных матричных корреляций (11). Пусть на основе п независимых реализаций i па~

ры р- и (/-мерных признаков (х', у')' мы хотим проверить гипотезу

Но х я у независимы. (13)

Новыми тестовыми статистиками для проверки гипотезы Tío выбраны

rs = Iks II, г* ИМ, rQ = ||г<э||, (14)

где ||г|| s tr1|/2[r'r] — матричная норма Фробениуса. Лемма 2.1 немедленно влечет аффинную инвариантность предложенных статистик. Также отметим,

24М. Arcones, Z. Chen and Е. Giné. "Estimators Related to U-process with Applications to Multivariate Medians: Asymptotic Normality". Ann. Statist., Vol.22, pp. 1460-1477, 1994.

что для применения наших тестов требуется существование вторых моментов распределений признаков (в то время как для классических — четвертые). Основным результатом Раздела 2.4 является установление распределений тестовых статистик (14) в условиях гипотезы независимости Но. Пусть Хр9 обозначает хи-квадрат распределение с pq степенями свободы.

ТЕОРЕМА 2.4. Пусть распределения признаков имеют конечные вторые моменты и симметричны. Тогда при Но, nr| для п—* оо.

ТЕОРЕМА 2.5. Пусть распределения признаков удовлетворяют условиям (Q-l)-(Q-3) Леммы 2.2. Тогда при Но, пгд —> для п —* оо.

ТЕОРЕМА 2.6. Пусть распределения признаков имеют конечные вторые моменты. Тогда при Но, nr\j\ —> для п —+ оо.

Для конечных выборок многомерные версии знаковых и ранговых тестов (как предложенные нами, так и другие возможные обобщения), к сожалению, теряют важное свойство свободы от распределения. Это объясняется тем, что для многомерных данных не существует естественного упорядочения.

Остальные разделы второй главы посвящены изучению статистических свойств (эффективности и робастности) предложенных статистик (14) для эллиптической модели распределений признаков. Раздел 2.5 дает определение эллиптического распределения и вид векторных знаковых и ранговых функций в этом частном случае.

ОПРЕДЕЛЕНИЕ. Говорят, что с.ъучайный вектор х из Rp имеет эллиптическое распределение с параметрами ц € !RP и А £ Л >- 0, если его плотность имеет вид

/Х(х) = | det A\-V2f0(\\A-1/2(x - /z)||2), (15)

где || ■ || — евклидовская норма, /о — заданная неотрицательная вещественная функция, не зависящая от /1, А, и /0°° rp-1/o(r2)dr = Т(~р)/(2жр^). Будем обозначать такие распределения х ~ Ep(fj,,A). Если х ~ Ер(ц,а1р), а > 0, тогда распределение х называют сферическим.

Говорят, что случайный вектор х из Rp имеет эллиптическое р-мерное t-распределение Стьюдента с v степенями свободы и пишут х ~ í„iP(/x, Л), если его плотность имеет вид (15) с функцией /о(||я||2), заданной в (6). Данное распределение представляет интерес для изучения различных свойств статистик, так как с помощью параметра и можно варьировать «тяжесть хвостов» (при v —♦ оо получаем многомерный нормальный закон).

Если х ~ Ер(ц, Л), то вектор Л~1/2(х - /í) ~ Ер(0, /р) имеет сферическое распределение. Таким образом, эллиптическая модель является сдвигово-масштабным преобразованием сферических распределений.

Пусть наблюдения x, € Rp имеют произвольное сферическое распределе-

ние Fq с нулевым средним (т.е., ортогонально инвариантное) и конечными первыми моментами. Тогда функции (9) имеют вид

SFo(:r) = cFo {ЦхГМ, RFo(X) = afo(||x|¡) {Hill"1®}, (16)

где ср0 — некоторая постоянная, и ара{-) — ограниченная вещественная функция. См. обзор Oja25 и ссылки в нем. Также нам понадобится представление функции (12):

X ~' X ' «С

EFo[SiF„(x - xt) I 2¿] = coFo I Xi] = coFo /Ы1И1)щ> (17)

где вещественная функция /?f0(-) ограничена. См. Möttönen и др.26

В Разделе 2.6 новые ранговые и знаковые критерии сравниваются с другими известными в литературе с помощью асимптотической относительной эффективности (АОЭ) Питмена. Для этого вводится многомерная модель зависимости в качестве альтернативы к нулевой гипотезе независимости, впервые предложенная Gieser, Randies27:

где вещественные параметр Д = п~~1!26, 5 > 0; х* € Sp, у* Е М? — независимые случайные векторы; Л/i, M!¿ SKJ- фиксированные матрицы.

Мы предполагаем что х*,у* из (18) имеют эллиптические распределения с конечными вторыми моментами. Для нахождения распределения критериальных статистик (14) при близких альтернативах применена третья Лемма Ле Кама (см., например, Гаек, Шидак28, van der Vaart29). При этом требуется установить локальную асимптотическую нормальность модели (18) и, как следствие, контигуальность последовательности альтернатив 7in гипотезе TÏq.

ЛЕММА 2.3. Пусть независимые х*,у* имеют сферические плотности fx*(я*) — /о(||£*||2), fy(y*) = Sodlî/ll2) такие, что /о,5о — положительны, непрерывно дифференцируемы, и

ЕИо||*12 < сю, Е^|*1У(||*12) < оо, EHJxiy(||xl2) < оо,

где ф := /¿//о; аналогично для у". Тогда последовательность альтернатив Нп (18) контигуалъна нулевой гипотезе Но : À = 0.

26Н. Oja. "Affine Invariant Multivariate Sign and Rapk Tests and Corresponding Estimates: a Review". — Semd. J. Statist, (invited paper), Vol.26, pp.319-343, 1999.

26J. Möttönen, H. Oja, J. Tienari. "On the Efficiency of Multivariate Spatial Sign and Rank Tests". Ann. Statist., Vol.25, pp.542-552, 1997.

27P. W. Gieser, R. H. Randies. "A îs'onparameiric Test of Independence Between Two Vectors". — J. Amer. Statist. Assoc., Vol.92, pp.561-567, 1997.

28Я. Гаек, 3. Шидак. Теория ранговых критериев. — М.: "Наука", 1971.

29A.W. van der Vaart. Asymptotic Statistics. — Cambridge Univ. Press, 1998.

Установлено, что тестовые статистики (14) при альтернативах Ип (18) имеют предельные нецентральные хи-квадрат распределения с параметрами нецентральности общего вида:

Х^(рв)-1||т1М1 + т2М^|2)) (19)

где постоянные т1,т2 зависят только от распределений х*,у* из (18). Пусть !{■} — индикатор события.

ТЕОРЕМА 2.7. Пусть х* ~ .Ро, у* ~ С?о удовлетворяют условиям Леммы 2.3. Тогда при Цп, пг| сходится по распределению при п —► оо к (19), где

тг = (а^ГЧЕ^О!*!) + (р- ^Еар^Ц^ЮЦ^Г^ЕаоДЦ^ЮЦ^Ц, т2 = (адаоь)-^[Еа'Со(||у*||) + (д - 1)ЕсС0(||г/*||)||у*Г1]Е^0(||х*[|)||^||.

Здесь постоянная величина = Е^0ар-о(||х*||) для функции ар0 из (16), и ос'ра обозначает производную (существование которой предполагается). Аналогичные обозначения использованы для С?о-

ТЕОРЕМА 2.8. Пусть х* ~ 7*0, у* ~ (?0 удовлетворяют условиям Леммы 2.3 и Теоремы 2.5. Тогда при Н„, пгд сходится по распределению при п —» оо к (19), где постоянные

тщ = [2/о(0)Т{р = 1} + (р - 1) Е||ЛГ1] Е||у*||, ш2 = [2д0(0)1{д = 1} + (д - 1) ЕЦу'Г1] Е|И|.

ТЕОРЕМА 2.9. Пусть X* ~ Ро,у* ~ Со удовлетворяют условиям Леммы 2.3. Тогда при Нп, пг\]А. сходится по распределению при п —> оо к (19), где

т, = (26#.06Со)-1[2Е/о(||^||2№ = 1} + (Р~ »У-1»«!!,

т2 = (26^0Ьсо)_'1[2Е5о(||у*||2)2:{<7 =!} + (<?- ЦЕШГЧЕЫ.

Здесь постоянная величина Ъ2Ра = Е^0/3|.о(||а;*||) с функцией из (17). Аналогичные обозначения использованы для С?о-

СЛЕДСТВИЕ 2.1. Асимптотическая эффективность Питмена многомерных критериев Спирмена, Кендэлла и квадрантного теста пг|, пг2к/А, пгд относительно критерия отношения правдоподобий для альтернатив Нп (18) в случае Мг = М2 равна

(4р7)-1(т1+т2)2, (20)

где постоянные т1,т2 даются в Теоремах 2.7-2.9.

Численные результаты для АОЭ (20) в случаях многомерного нормального и 1 распределений х*,у* были получены МбМбпеп в совместной работе [6]. Эти выкладки приведены в Разделе 2.8. Для многомерных нормальных

распределений F0, G0 (v = oo), асимптотическая эффективность предложенных критериев хуже по сравнению с критерием отношения правдоподобия, и улучшается с ростом размерностей (стремится к 1 при p,q —► оо). Для распределений с более «тяжелыми хвостами» (малые и), по эффективности г к, rs превосходят классический тест, и rg его превосходит для больших размерностей р, q. Среди предложенных непараметрических знаковых и ранговых критериев (14), асимптотически лучше в рассмотренных случаях многомерная версия критерия Кендэлла.

В Разделе 2.7 изучен вопрос устойчивости к засорениям матричных корреляций (11) (и основанных на них статистик (14)). В литературе сложилась традиция описывать воздействие засорения на оценку посредством ее функции влияния (см. Хьюбер30, Хампель и др.31).

Определение. Пусть R( •) — некоторый функционал, определенный на множестве функций распределений из R'. Функцией влияния (засорения z € R! на функционал R в точке Н) называют предел, если этот предел существует,

IF(z; R, Я) = lim J R(H\ (21)

где Не — (1—e)H+£&z и Д2 — это мера Дирака, сосредоточенная в точке z.

Робастные оценки должны иметь ограниченную функцию влияния. Вольно говоря, это влечет, что любые единичные засорения не имеют произвольно большого влияния на значение оценки.

ТЕОРЕМА 2.10. Функции влияния засорения (х', у')' на ранговые/'знаковые матричные корреляции ps,Pk,Pq в точке Но такой, что ее маргинальные распределения Fo,Go — стандартные сферические, имеют линейный порядок роста по ||а;||, ¡¡2/|| (для больших значений х,у) и в одномерном случае р — q = 1 ограничены. Предполагается, что Щ удовлетворяет условиям Теорем 2.1-2.3 и везде, где это необходимо, порядок дифференцирования и взятия математического ожидания можно менять.

В ходе доказательства этой теоремы получены функции влияния одномерных коэффициентов корреляций Спирмена, Кендэлла и квадратной корреляции. Несмотря на то, что их вывести не сложно, эти результаты, по-видимому, отсутствуют в изданиях по робастной статистике и опубликованы совсем недавно в работе Croux, Dehon32, и только для квадрантной корреляции — у Пасмана, Шевлякова33.

3°П. Хьюбер. Робастность в статистике. — М.: "Мир", 1984.

31Ф. Хампель, Э. Рончетти, П. Рауссеу, В. Штаэль. Робастность в статистике: подход на основе функции влияния. — М.: "Мир", 1989.

32С. Croux, С. Dehon. "Robustness versus Efficiency for Nonparametric Correlation Measures". — ECORE discussion paper, 2008

33B.P. Пасман, Г. JI. Шевляков. "Робастные методы оценивания коэффициента корреляции". — Автоматика и Телемеханика, т. 27, сс. 70-80, 1987.

Итак, предложенные нами статистики более устойчивы к засорениям, че классические тесты, но, тем не менее, не робастны, поскольку их функци влияния не ограничены (за исключением одномерного случая р = q = 1 В этом смысле, многомерные знаковые и ранговые корреляции напоминаю весьма эффективные и более устойчивые по сравнению с МНК оценки Hai меньших модулей.

3 Благодарности

Автор выражает глубокую благодарность доктору физико-математически наук, профессору Юрию Николаевичу Тюрину, под руководством которог проходила работа над диссертацией, за постановку задачи и постоянное вн мание. Автор благодарит Ханну Ойа за многочисленные обсуждения и Юрк Моттонена за помощь в получении численных результатов.

4 Список публикаций автора по теме диссертации

1. Е. М. Суханова. "Многомерные знаковые и ранговые тесты независим сти". — Успехи Математических Наук, т. 63, вып. 5, сс. 199-200, 2008.

2. Е. М. Sukhanova. "A Test for Independence of Two Multivariate Samples' — Mathematical Methods of Statistics, Vol. 17, No. 1., pp. 74-86, 2008.

3. E. M. Суханова. "Медиана Ойа: свойство согласованности с центром си метрии". — Сб. Статистические методы оценивания и проверки гип тез, Пермь: Пермский университет, сс. 62-68, 2008.

4. Е. М. Суханова. "Матричная корреляция". — Труды VI Колмогоровой Чтений, сс. 176-181, 2008.

5. Е. М. Sukhanova. "Matrix Correlation". — Abstracts of the Internation Conference on Robust Stoiistics, p. 96, 2008.

6. E. M. Sukhanova, J. Mottonen, H. Oja. "Multivariate Test of Independen Based on Matrix Rank Correlation". — Abstracts of the International Co ference on Robust Statistics, p. 70, 2008.

(Сухановой E. M. принадлежат теоретические результаты, Momm нен Ю., Ойа X. получили численные результаты для асимптотич ских эффективностей критерия в некоторых случаях).

Издательство ЦПИ при механико-математическом факультете МГУ имени М. В, Ломоносова

Подписано в печать /¿7. /У. О В Формат 60x90 1/16. Усл. печ. л. /,5 Тираж /йО экз. Заказ 63

Отпечатано с оригинал-макета на типографском оборудовании механико-математического факультета

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Суханова, Екатерина Михайловна

Введение

Благодарности.

1 Матричная корреляция

1.1 Вспомогательные средства матричной алгебры.

1.2 Мотивация и определение.

1.3 Простейшие свойства р как меры связи.

1.4 Выборочная матричная корреляция.

1.5 Распределение в гауссовском случае.

1.6 Матричное корреляционное отношение.

1.7 Матричная частная корреляция.

1.8 Связь р с различными понятиями многомерного анализа

2 Матричные знаковые/ранговые корреляции и тесты независимости

2.1 Тесты независимости одномерных признаков

2.2 Многомерные знаки и ранги.

2.3 Матричные знаковые и ранговые корреляции.

2.4 Матричные корреляции и тесты независимости.

2.5 Эллиптическая модель распределения

2.6 Вычисление питменовской АОЭ предложенных тестов

2.7 Вычисление функций влияния.

Введение диссертация по математике, на тему "Матричнозначные корреляционные меры и многомерные тесты независимости"

Общая характеристика работы Актуальность темы

Задача анализа статистической связи между признаками и, в частности, проверки статистической гипотезы о независимости двух случайных признаков часто встречается в прикладных исследованиях. Классический коэффициент корреляции Пирсона (Pearson, 1896) обычно используемый для решения этой задачи, обладает тем недостатком, что он крайне ненадежен при наличии в данных грубых ошибок и при иных отклонениях модели распределения признаков от нормального. Альтернативными мерами взаимозависимости признаков служат непараметрические коэффициенты корреляций, построенные при помощи рангов и знаков. Это — популярные ранговые корреляции Спирмена (Spearman, 1904), Кендэлла (Kendall, 1938), квадрантная корреляция (Mosteller, 1946; Blomqvist, 1950) и проч. Данная тематика хорошо освещена, например, в книгах Гаека, Шидака (1971) и Кендэлла (1975).

Непараметрические методы статистики — это комплекс методов статистической обработки данных, не требующих знания функционального вида генеральных распределений. Потеря информации, возникающая ири переходе от точных значений наблюдений к их порядковым номерам (рангам) или знакам, компенсируется широкой применимостью методов и их устойчивостью по отношению к различного рода «выбросам», неточностям моделей и т.д. Поскольку ранговые методы базируются на упорядочении наблюдений, они используются, так же как и знаковые методы, только для вещественных данных. Для многомерных данных, когда результатом наблюдения над каждым объектом является несколько чисел (вектор), к сожалению, не существует естественного способа упорядочения и сравнения. Поэтому опыты многомерного обобщения ранговых и знаковых коэффициентов корреляций актуальны и оправданы.

Интерес к развитию методов многомерного непараметрического корреляционного анализа наблюдается на протяжении нескольких десятилетий вплоть до настоящего времени. Предпринимают много попыток получить адекватные результаты в данной области. Перечислим лишь некоторые из них в хронологическом порядке. Покоординатное ранжирование при построении многомерного непараметрического критерия независимости применили Puri и Sen (1971), но их тестовая статистика не удовлетворяет свойству аффинной инвариантности и, как следствие, ее эффективность зависит от ковариационной структуры наблюдений. Указанная статистика при специальном выборе функций меток служит обобщением квадрантной и спирменовской корреляций. С помощью так называемого углового расстояния между двумя многомерными наблюдениями — т.е. относительного количества гиперплоскостей, порожденных векторзначными данными, и разделяющих эти два наблюдения — Gieser и Randies (1997) предложили многомерный вариант знакового квадрантного теста. Хотя полученный критерий аффинно инвариантен и асимптотически свободен от распределения, он весьма неудобен с вычислительной точки зрения. Воспользовавшись пространственным обобщением понятия знака, более практическую многомерную версию квадрантного теста недавно представили Taskinen, Kankainen, Oja (2003). Подобным образом многомерные версии критериев независимости Спирмена и Кендэлла определили Taskinen, Oja, Randies (2005). Общим недостатком последних трех упомянутых работ можно назвать требование эллиптичности распределений многомерных признаков. Иные подходы к решению описанной задачи предлагали, среди прочего, Питербарг, Тюрин (2000), Mottonen, Koshevoy, Oja, Tyurin (2005) и Schmid, Schmidt (2007).

Большинство рассматриваемых в литературе многомерных вариантов ранговых и знаковых коэффициентов корреляций получены, исходя из интуитивных соображений, связанных с попыткой упорядочить и сравнить многомерные наблюдения. В диссертации предлагается более систематический подход. Сначала мы определяем понятие корреляции векторных случайных величин. Введение матричнозначной корреляционной меры также дополняет работу Тюрина (2008), в которой совершенно по-новому излагается линейный многомерный статистический анализ с использованием матриц как обобщений чисел и заданием «матричного скалярного произведения». Матричная корреляция дает простой способ получить различные непараметрические многомерные корреляционные меры и построить с их помощью многомерные критерии независимости.

Цель работы

Научная новизна

Основные результаты диссертации являются новыми и состоят в следующем:

2. Предложены новые многомерные версии широко известных ранговых коэффициентов корреляций Спирмена, Кендэлла и знаковой квадрантной корреляции. Установлено, что выборочные ранговые и знаковые матричные корреляции (при некоторых слабых условиях регулярности) являются состоятельными л/гг-асимптотически гаус-совским оценками своих теоретических аналогов.

3. Построено три новых многомерных непараметрических теста независимости на основе предложенных знаковых и ранговых матричных корреляций. Изучено асимптотическое поведение (при п —> оо) тестовых статистик при гипотезе независимости и при близких альтернативах. Показано, что наши тесты аффинно инвариантны и асимптотически свободны от распределений (при гипотезе независимости). По сравнению с классическими процедурами новые тестовые статистики требуют более слабых условий относительно моментов распределений признаков (достаточно существования конечных вторых моментов), они могут обладать большей асимптотической мощностью и при этом более устойчивы к «засорениям».

Методы исследования

Теоретическая и практическая значимость

Работа носит теоретический характер, результаты диссертации расширяют совокупность многомерных статистических методов корреляционного анализа. Предложенные в диссертации критерии могут быть полезны для решения практических задач, связанных с изучением статистической зависимости двух многомерных признаков не очень больших размерностей 10). Рекомендуется их использование в тех случаях, когда важно свойство аффинной инвариантности или распределение признаков имеет более «тяжелые хвосты» по сравнению с нормальным распределением.

Апробация работы и публикации

Основные результаты работы докладывались на Большом семинаре кафедры теории вероятностей МГУ под руководством член-корр. РАН, проф. А. Н. Ширяева в 2008 году. Неоднократно делались доклады на семинаре «Непараметрическая Статистика и Временные Ряды» под руководством проф. Ю. Н. Тюрина, доц. М. В. Болдина и проф. В. Н. Тутубалина в МГУ в 2007 и 2008 годах. Также были сделаны презентации на нескольких конференциях: «Ломоносовских Чтениях», Москва, 2008, «Колмогоровских Чтениях», Ярославль, 2008, «Международной Конференции по Робастной Статистике (International Conference on Robust Statistics)», Анталия, Турция, 2008, и на семинаре под руководством проф. X. Ойа в Университете Тампере, Финляндия, 2008.

По теме диссертации опубликовано 6 печатных работ:

1. Е. М. Суханова. "Многомерные знаковые и ранговые тесты независимости". — Успехи Математических Наук, т. 63, вып. 5, сс. 199-200, 2008.

2. Е. М. Sukhanova. "A Test for Independence of Two Multivariate Samples". — Mathematical Methods of Statistics, Vol. 17, No. 1., pp. 74-86, 2008.

3. E. M. Суханова. "Медиана Ойа: свойство согласованности с центром симметрии". — Сб. Статистические методы оценивания и проверки гипотез, Пермь: Пермский университет, сс. 62-68, 2008.

4. Е. М. Суханова. "Матричная корреляция". — Труды VI Колмогоровских Чтений, сс. 176-181, 2008.

5. Е. М. Sukhanova. "Matrix Correlation". — Abstracts of the International Conference on Robust Statistics, p. 96, 2008.

6. E. M. Sukhanova, J. Mottonen, H. Oja. "Multivariate Test of Independence Based on Matrix Rank Correlation". — Abstracts of the International Conference on Robust Statistics, p. 70, 2008.

Сухановой E.M. принадлежат теоретические результаты, Mom-, тонен Ю., Ойа X. получили численные результаты для асимптотических эффективностей критерия в некоторых случаях).

Структура диссертации

Список источников диссертации и автореферата по математике, кандидата физико-математических наук, Суханова, Екатерина Михайловна, Москва

1. Arcones М.А., Chen Z. and GinE E. (1994). Estimators Related to U-processes with Applications to Multivariate Medians: Asymptotic Normality. The Annals of Statistics, Vol. 22, No. 3, 1460-1477.

2. Bilodeau M., Brenner D. (1999). Theory of Multivariate Statistics. New York: Springer-Verlag, 308 p.

3. Blomqvist N. (1950). On a Measure of Dependence Between Two Random Variables. The Annals of Mathematical Statistics, Vol. 21, No. 4, 593600.

4. Brown В. M. (1983). Statistical Uses of the Spatial Median. Journal of the Royal Statistical Society, Series B, Vol.45, No. 1, 25-30.

5. Brown В. M., Hettmansperger T. P. (1987). Affine Invariant Rank Methods in the Bivariate Location Model. Journal of the Royal Statistical Society, Series B, Vol. 49, No. 3, 301-310.

6. Brown В. M., Hettmansperger T. P. (1989). An Affine Invariant Bivariate Version of the Sign Test. Journal of the Royal Statistical Society, Series B, Vol. 51, No. 1, 117-125.

7. Devlin S.J., Gnanadesikan R., Kettering J.R. (1975). Robust Estimation and Outlier Detection with Correlation Coefficients. Biomet-rika, Vol. 62, 531-545.

8. Drouet-Mari D. and Kotz S. (2001). Correlation and Dependence. London: Imperial College Press, 220 p.

9. Farlie D. J.G. (1960). The Performance of Some Correlation Coefficients for a General Bivariate Distribution. Biometrika, Vol. 47, No. 3/4, 307-323.

10. Fujikoshi Y. (1988). Comparison of Powers of a Class of Tests for Multivariate Linear Hypothesis and Independence. Journal of Multivariate Analysis, Vol. 26, No. 1, 45-58.

11. Hettmansperger T. P., Nyblom J. and Oja H. (1994). Affine Invariant Multivariate One-sample Sign Tests. Journal of the Royal Statistical Society, Series B, Vol. 56, 221-234.

12. Hettmansperger T. P., Mottonen J. and Oja H. (1998). Affine Invariant Multivariate Rank Tests for Several Samples. Statistica Sinica, Vol.8, 765-800.

13. Hettmansperger T. P. and McKean J. W. (1998). Robust Nonparametric Statistical Methods. London: Arnold, 467 p.

14. Hettmansperger T. P. and Randles R. H. (2002) A Practical Affine Equivariant Multivariate Median. Biometrika, Vol. 89, No. 4, 851-860

15. Kotz S. and Nadarajah S. (2004). Multivariate T Distributions and their Applications. Cambridge: Cambridge University Press, 284 p.

16. Niinimaa A., Oja H. (1995). On the Influence Function of Certain Bivariate Medians. Journal of the Royal Statistical Society, Series В., Vol.57, No.3, 565-574.

17. OJA H. (1983). Descriptive Statistics for Multivariate Distributions. Statistics and Probability Letters, Vol. 1, 327-332.

18. ТЮРИН Ю.Н. (2008). Многомерный анализ: геометрическая теория. Манускрипт.

19. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. (1989). Ро-бастностъ в статистике: подход на основе функции влияния. М.: Мир, 512 с.

20. Хеттманспергер Т. (1987). Статистические выводы, основанные на рангах. М.: Финансы и статистика, 334 с.74. холлендер м., Вулф д. (1983). Непараметрические методы статистики. м.: Финансы и статистика, 518 с.

21. ХОРН Р., Джонсон Ч. (1989). Матричный анализ. М.: Мир, 656 с.76. хыобер П. (1989). Робастность в статистике. М.: Мир, 304 с.

22. Ширяев А.Н. (2004) Вероятность. В 2-х кн./3-е изд. М.: МЦНМО,Список публикаций автора по теме диссертации

23. Суханова Е. М. (2008). Многомерные знаковые и ранговые тесты независимости. Успехи Математических Наук, т. 63, вып. 5, 199-200.

24. Sukhanova Е.М. (2008). A Test for Independence of Two Multivariate Samples. Mathematical Methods of Statistics, Vol.17, No. 1., 74-86.

25. Суханова E. M. (2008). Медиана Ойа: свойство согласованности с центром симметрии. Сб. Статистические методы оценивания и проверки гипотез, Пермь: Пермский университет, 62-68.

26. Суханова Е.М. (2008). Матричная корреляция. Труды VI Колмого-ровских Чтений, 176-181.

27. Sukhanova Е.М. (2008). Matrix Correlation. Abstracts of the International Conference on Robust Statistics, p. 96.