Многомерный непараметрический линейный регрессионный анализ тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

На правах рукописи УДК 519.22

Бусарова Дарья Алексеевна

МНОГОМЕРНЫЙ НЕПАРАМЕТРИЧЕСКИЙ ЛИНЕЙНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ

01.01.05 - теория вероятностей и математическая статистика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Москва 2006

Работа выполнена на кафедре теории вероятностей Механико-математического факультета Московского государственного университета имени М.В. Ломоносова.

Научный руководитель: доктор физико-математических наук,

профессор Ю.Н. Тюрин

Официальные оппоненты: доктор физико-математических наук

В.Д. Конаков

кандидат физико-математических наук М.В. Уфимцев

Ведущая организация: Тверской государственный университет

Защита диссертации состоится 13 октября 2006 года в 16 часов 15 минут на заседании диссертационного совета Д.501.001.85 в Московском государственном университете имени М.В. Ломоносова по адресу: 119992, ГСП-2, Москва, Ленинские горы, МГУ, Механико-математический факультет, аудитория 16-24.

С диссертацией можно ознакомиться в библиотеке Механико-математического факультета (Главное Здание МГУ, 14 этаж).

Автореферат разослан 13 сентября 2006 года.

Ученый секретарь диссертационного совета Д.501.001.85 в МГУ, доктор физико-математических наук, профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Непараметрические методы статистики - методы математической статистики, не предполагающие знания функционального вида генеральных распределений.

Одна из задач многомерного непараметрического анализа - задача многомерной линейной регрессии:

у{ = В$Х1 + е<, г = 1,2, ...,п, (1)

где у{ — (уа, уи,..., иж; = (ха, х{2}..., х{р)ту » = 1,2,..., п - значения отклика и фактора, случайные ошибки £х, ег,..., £п - независимые одинаково распределенные (дх 1)-векторы; задача - оценить неизвестную (рхд)-матрицу регрессионных коэффициентов Во.

Классическим предположением о случайных ошибках £,-, £2, ...,£„ является отсутствие в них систематической составляющей, т.е. Ее,- = 0. В диссертационной работе предположение об отсутствии систематических ошибок принято в форме

« = -е4. (2)

Условие (2) о симметричности распределения ошибок относительно нуля можно рассматривать как ослабление другого классического предположения о нормально распределенных ошибках.

Наиболее известным методом решения задачи (1) является метод наименьших квадратов (МНК). В предположении, что Ее,- = 0, этот метод дает для искомой матрицы В0 несмещенную оценку. Если случайные ошибки имеют нормальное распределение (с нулевым средним), МНК-оценка в определенном смысле оптимальна (обладает наименьшей матрицей ковариаций). Другим важным свойством МНК-оценки является ее аффинная эквивариант-ность. Это означает, что при аффинных преобразованиях переменных (как факторов ж, так и откликов у) оценка матрицы Во изменяется соответствующим образом. Эквивариантные статистические правила нужны тогда, когда

статистическое решение основывается на всем пространстве признаков, а не на каждом признаке в отдельности.

Хорошо известно, что оценки наименьших квадратов крайне чувствительны к выбросам — единственное постороннее наблюдение может произвести на оценку неограниченное влияние. Робастные методы математической статистики в трудах Хьюбера1 и Хампеля2 возникли как попытка преодолеть этот недостаток метода наименьших квадратов.

Разработка робастных методов оценивания для многомерных и многофакторных линейных моделей привлекает внимание многих авторов. Пури и Сен3 предложили покоординатные ранговые оценки. Рао4 предложил использовать одномерный метод наименьших модулей отдельно для каждой координаты отклика. Конкер и Портной5 обобщили метод Рао и предложили робастные М-оценки, заменив модуль на произвольную функцию. Оценка, предложенная Баи и др6. минимизирует среднее евклидовых норм остатков. Все эти методы, однако, не являются аффинно-эквивариантными. Рус-сиу и др7. в случае случайного фактора предложили робастную аффинно-эквивариантную оценку матрицы регрессионных коэффициентов, основанную на робастной оценке ковариационной матрицы вектора z\ = (xf, yf)T (но не исследовали ее асимптотические свойства). Оллила и др8. предложили аналогичный подход, использовав вместо оценки ковариационной матрицы Руссиу выборочную знаковую ковариационную матрицу вектора z\. Их оценка аффинно-эквивариантна, однако не робастна, хотя и более устойчива

1Хьюбер П. (1984) Робастностъ в статистике. Мир, Москва.

'Hampel F.R., Ronchetti Е.М., Rousseeuw P.J. and Stahel W.A. (1986) Robust Statistics: The Approach Based on Influence Functions, Wiley, New York.

sPuri M.L. and Sen P.K. (1985) Nonparametric methods in general linear models. New York: Wiley.

4Rao С.Я. (1988) Methodology based on Li-norm in statistical inference. Sankhya A, 50, 289 - 313.

'Koenker R. and Portnoy S. (1990) M-estimation of multivariate regressions. J. Am. Statist. Ass., 85, 1060 - 1068.

*Bai Z.D., Chen N.R., Miao B.Q. and Rao C.R. (1990) Asymptotic theory of least distances estimate in multivariate linear models. Statistic«, 21, 503 - 519.

'Rousseeuw P.J., Van Driessen K., Van Aelst S. and Agullo J. (2004) Robust multivariate regression. Technometrics, 46, 293 - 305.

•Ollila E., Oja, H. and Hettmansperger T.P. (2002) Estimates of regression coefficients based on the sign covaj-iance matrix. J. R. Statist. Soc. Ser. B, 64, part 3, 447 - 466.

к выбросам, чем МНК-оценка.

Цель работы.

Построение робастных аффинно-эквивариантных непараметрических оценок и проверка гипотез для задачи многомерной линейной регрессии. Исследование асимптотических свойств предложенных оценок и статистических критериев.

Научная новизна.

Основные результаты работы являются новыми и состоят в следующем.

1. Предложены четыре новые робастные аффинно-эквивариантные оценки ВП1 Вп, В'п, В'п матрицы регрессионных коэффициентов для задачи многомерной линейной регрессии. Для этих оценок получены условия состоятельности и асимптотической нормальности, найдены функции влияния.

2. Для проверки простых гипотез о точных значениях матрицы регрессионных коэффициентов (в частности, о равенстве этой матрицы нулю, что означает независимость отклика от значения фактора) для задачи многомерной линейной регрессии предложены две новые тестовые статистики Т„ и Т'п1 изучены их предельные распределения как при нулевой гипотезе, так и при последовательности близких альтернатив. Построены состоятельные оценки ковариационных матриц этих тестовых статистик при нулевой гипотезе.

3. Для задачи непараметрической проверки гипотезы о равенстве нулю матрицы регрессионных коэффициентов в многомерной линейной регрессионной модели рассмотрены две новые аффинно-инвариантные асимптотически свободные от исходных распределений данных тестовые статистики фп и ф'п> найдены их предельные распределения при нулевой гипотезе и близких альтернативах, а также асимптотическая эффективность по Питману соответствующих критериев.

Методы исследования.

Методика исследования основана на общих методах теории вероятностей, математического анализа и математической статистики. Широко используется теория U-статистик.

Теоретическая и практическая ценность.

Работа носит теоретический характер. Предложенные в работе критерии и оценки могут быть использованы для статистической обработки регрессионного эксперимента. Рекомендуется их использование в задачах, где важно свойство аффинной инвариантности и где распределение случайных ошибок может иметь "тяжелые хвосты". Оценки Вп, Вп И ТвСТОВЫв СТЭ.ТИСТИКИ J. л, рекомендуется использовать в условиях активного эксперимента (когда экспериментатор сам выбирает план эксперимента); оценки В'п1 В'п и тестовые статистики Т'п> ip'n могут быть использованы также и в пассивном эксперименте.

Апробация работы.

Результаты диссертации докладывались на Большом семинаре кафедры теории вероятностей МГУ под руководством член-корр. РАН, проф. А.Н. Ширяева (2006 г.), на международной конференции "International Conference on Robust Statistics (ICORS) - 2005", Ювяскюля, Финляндия (2005 г.), на семинаре кафедры теории вероятностей МГУ "Непараметрическая статистика и временные ряды"под руководством проф. Ю.Н. Тюрина, проф. В.Н. Тутубалина, доц. М.В. Болдина (2005 г.), на семинаре "Многомерный статистический анализ и вероятностное моделирование реальных процессов"под руководством проф. С.А. Айвазяна в ЦЭМИ РАН (2006 г.), на семинаре под руководством профессора X. Оя в университете Тампере, Финляндия (2004 г.).

Публикации.

Результаты диссертации опубликованы в 4 работах, список которых приведен в конце автореферата.

Структура диссертации.

Диссертация состоит из введения, двух глав (разбитых на разделы) и спис-

ка литературы, насчитывающего 35 наименований. Общий объем диссертации — 119 страниц.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении приведен краткий обзор по тематике работы, изложены цели, методы и результаты исследования.

В первой главе исследуется задача робастного непараметрического оценивания для модели многомерной линейной регрессии. Общим для предложенных методов решения этой задачи является то, что все они основаны на понятии выборочной медианы Оя9, аффинно-эквивариантны и, при некоторых условиях на распределения данных, обладают свойством асимптотической нормальности.

Сформулируем основные определения. Пусть £i,...,£jt - одинаково распределенные ¿-мерные случайные векторы с функцией распределения F(x) и пусть в £ Мк. Обозначим V(0,£i, - • • - объем fc-мерного симплекса, вершинами которого являются точки с координатами 0, £!,..., Предположим, что для всех в € Мк определено математическое ожидание

EV(6,.....£к) и обозначим U(6) = EV(0,£j,.. Тогда медиана Оя

распределения F(аз) - множество точек ©о, на котором функция U{6) достигает свое наименьшее значение. Другими словами, для всех во 6 ©о и в 6 Мк

U(в0) < и(в).

В случае, когда — в, ¿= — — 0«) медиана Оя совпадает с центром симметрии 0».

В одномерном случае U(Q) — E|£t — в\ и медиана Оя совпадает с обычной медианой распределения F(x).

Пусть теперь - произвольная выборка из распределения F(x).

Выборочной медианой Оя вп называется медиана Оя эмпирического распре-

"Oja Н. (1983), Descriptive Statistics for Multivariate Distributions. Stat. Probab. Lett., 1, 327-332.

деления Fn(x) выборки ..., £„. Другими словами,

бп = arg mm Un(6), где Un(6) = (С*)"1 £ • •

ií<—<ik

Четыре оценки, представленные в главе 1, являются многомерными обобщениями медианной оценки Тэйла10 параметра наклона для модели простой линейной регрессии. Пусть yi = а + bx¡ + eit i = 1,..., п. Медианная оценка Тэйла есть

ßn = med ( У<3 ~ , 1 < н < г2 < п, xh ф х,Л . Заметим, что при xtl ф х<2 величина _ есть вторая координата вектора

Обобщая подход Тэйла, для одновременного оценивания параметров а, Ъ можно рассмотреть медиану Оя векторов b(t'i,¿2):

ßn = medoja{b(ñ,¿2), 1 < ñ < *2 < Ф J = arg min Dn(ß), где

CC2

Здесь V(bu Ьг, Ьз) - площадь треугольника с вершинами в точках Ьх, Ь2, Ьз, и сумма берется по всем возможным парам векторов {b(t'i, ¿2), Ь(»3>Ч)}, 1 < ¿1 < «2 < "■> 1 < ¿3 < Ч < П.

Перейдем теперь к многомерной многофакторной регрессионной модели (1). Определим понятие элементарной регрессии.

Определение 1. Пусть I — {¿i, ¿2»•• • > гр} — произвольное подмножество размера р исходных наблюдений. Пусть, далее, У(/) есть (р х q)-матрица (yix, y¡3,..., yip)T и X(I) - (р X р)-матрица .....xip)T. Ес-

ли rank(X(I)) = р, то (р х q)—матрицу В{1) = X(I)~lY{I) будем называть элементарной регрессией. Если оке rank(X(I)) < р, то элементарная регрессия не определена и мы будем называть ее вырожденной.

10Theil Н. (1950) A rank-invariant method of linear and polynomial regression analysis (Parts 1 - 3). Ned.

Akad. Wetcruch. Proc. Ser. A, 53, 386 - 392, 521 - 525,1397- 1412.

Следует упомянуть, что понятие элементарных регрессий было введено и применялось ранее (под разными именами) для модели множественной линейной регрессии с одномерным откликом (g = 1). В этом случае каждая невырожденная элементарная регрессия есть (р х 1)-вектор. Было показано11, что оценка методом наименьших квадратов есть взвешенное среднее элементарных регрессий:

- det(X(/)TX(/))

ВМНК = 2^UJ(I)B(I)> где веса равны и>(/) = —det(ATX) '

иХ = (íci,...,хп)т обозначает матрицу факторов. Бассет12 показал, что Ь\-оценка, минимизирующая сумму модулей остатков Si(B) = y¡ — Btxí, i = 1, ...,n, либо совпадает с одной из элементарных регрессий В{1), либо принадлежит выпуклой оболочке не более чем р+ 1 векторов В{1). Хоукинс13 предложил основанный на элементарных регрессиях алгоритм для оценок, минимизирующих критериальную функцию от остатков ei (В), i — 1, ...,п. Его алгоритм состоит в вычислении совокупности {ei(B(I)), i = 1,..., п} для каждого возможного р-подмножества I и выборе в качестве искомой оценки той элементарной регрессии В*(1), для которой совокупность {e¿(JB*(/)),¿ = 1,.. .,п} минимизирует критерий. Методы, основанные на элементарных регрессиях исследуются также в работах Конкера и Бассета14, Сигеля15, Хо-укинса и др16., а также Руссиу и Лероя17.

Для построения многомерных модификаций оценки Тэйла в модели (1) превратим сначала каждую невырожденную элементарную регрессию в одностолбцовый вектор. Определим для этого операцию vec.

Определение 2. Операция vec преобразует (рхд)-матрицу a (pq)-вектор,

"Sheynin O.B. (1973) R.J. Boscovich's work on probability. Arch. Hist. Exact Sei., 9, 306-324.

"Bassett G.W. (X98S) A p-Subset property of Li and regression quantile estimates. Computational Statistics and Data Analysis, 6, 297 - 304.

ISHawkins D.M. (1993) The accuracy of elemental set approximations for regression. J. Am. Stat. Assoc., 88, 580 - 589.

I4Koenker R. and Bassett G.W. (1978) Regression quantiles. Bconometrica, 46, 33 - 50.

"Siegel A.F. (1982) Robust regression using repeated medians. Biometrica, 69, 242 - 244.

"Hawkins D.M., Bradu D. and Kass G.V. (1984) Location of several outliers in multiple regression data using elemental sets. Technomttrics, 26, 197 - 208.

1TRousseeuw P.J. and Leroy A. (1987) Robust Regression and Outlier Detection. New York: Wiley.

помещая последовательно столбцы матрицы друг под другом: ьес(В) = «ее ((Ьи Ь2,..., &,)) = ...Ь*)Т.

Из свойств операции уес упомянем следующее:

\ес(АВС) = (Ст ® А) хес(В), где ® - кронекеровское произведение матриц.

Определение 3. Векторизованная невырожденная элементарная регрессия есть Ь(1) = vec{B{I)) = (/?><9® ЛГ(/)-1) гес(У(/)), где - единичная (д х д)-матрица.

Обозначим далее (30 — уес(Бо)- Заметим, что совокупность векторизованных невырожденных элементарных регрессий позволяет перейти от задачи регрессии к многомерной задаче положения. В самом деле, вектор /30 может быть интерпретирован как центр распределения векторов Ь(7). Поэтому для аффинно-эквивариантного оценивания вектора /30 (а значит, и матрицы Во) можно использовать любую аффинно-эквивариантную многомерную оценку положения для векторов Ь(1) в Шм.

Обобщая подход Тэйла, в разделе 1.1 рассмотрим две оценки В„ — уес-1(/9„) и Вп = уес-1(/3„) (здесь уес-1 обозначает операцию, обратную к операции уес). Вектор ¡Зп есть выборочная медиана Оя совокупности векторизованных невырожденных элементарных регрессий {£>(/)}. Вектор /Зп -немного модифицированная выборочная медиана Оя (для ослабления условий при которых выполнены асимптотические свойства) совокупности векторизованных невырожденных элементарных регрессий {&(/)}.

Прежде чем сформулировать определения оценок, введем обозначения. Пусть, как и ранее, 1,1\, /г,... обозначают различные подмножества размера р (/^подмножества) множества 1,2, ...,тг. Обозначим I = {{I:,..., 1^}} , и пусть

Хр = {{/ь ...,/„}€ Г : 1Л и ... и /и| = р2я) 8

есть множество из наборов pq р-подмножеств, таких, что все p2q индексов различны. Очевидно, что \Х\ = С" , \Х,\ = (pg)!(p!)^n _ р2д),-

Назовем элемент {Д,..., Jpg} вырожденным, если хотя бы одно из входящих в него элементарных подмножеств вырождено. Пусть функция r(/i,...,/p,) является индикатором этого; она равна 0, если элемент {7i,..., Ipg} вырожден, и 1 иначе. Причем в вырожденном случае для любой функции f(Ii,..., Ipg), принимающей значения из Ш. U {+00} U {—оо}, будем считать, что f(Iu 1т)т{1и ..., Im) — 0.

Пусть, далее, V(ei,..., £fc+i) обозначает объем fc-мерного симплекса с вершинами ei,..., Ck+i € Ш.к.

Рассмотрим две целевые функции:

Dn(ß) = ауех!^,^^),...,^))^/!,...,/^)} и Un(ß) = a.vexp^V(ß, b(h),..., Ь(1„))т(1и ..., где средние берутся по всем элементам {Д,..., из X и Хр, соответственно.

Определение 4. Оценка Вп матрицы коэффициентов Во определяется следующим образом:

Вп = vec~l{ßn), где ßn = arg min Dn{ß).

рей«

Определение 5. Оценку Вп матрицы коэффициентов Во определим следующей формулой:

Вп = vec~1(ßn), где ßn = arg min Un(ß).

реп**

Оценки Вп и В„ Х-аффишю, У-аффинно и регрессионно эквивариантны в смысле следующего определения.

Определение 6. Пусть В(Х, Y) обозначает оценку матрицы регрессионных коэффициентов, вычисленную по матрице факторов X — (cci,..., хп)Т и матрице откликов У = (у1г —,уп)Т, удовлетворяющих модели (1). Оценка B(X,Y) Х-аффинно эквивариантна, если B{XA,Y) = А~1В(Х,Y), Y-аффинно эквивариантна, если B(X,YC) = B(X,Y)C и регрессионно эквивариантна, если В(Х, Y + XD) = B{X,Y) + D для любых невырожденных

(р х Р) -матрицы А, (д X д) -матрицы С и (pxq) -матрицы И, соответственно.

При выполнении некоторых условий на распределения данных (см. теоремы 1, 2, 3) исследуемые оценки состоятельны, асимптотически нормальны и имеют ограниченные функции влияния. Прежде чем сформулировать эти условия, введем дополнительные обозначения.

Пусть 1к — {(& — 1 )р + 1,.. -,кр}, к — 1 Предполо-

жим, что для всех /9 6 Ш?4 существует математическое ожидание

и обозначим за

и{(5) = Е(у (0, Ь(7Х),.... Ь(/И))г(71>..., 7И))

теоретическую целевую функцию.

Заметим, что и(/3) - непрерывная ограниченная снизу выпуклая функция. Пусть множество, где функция 1/(0) достигает своего минимума непусто, и /3* 6 ШР4 - одна из точек этого множества.

Далее, пусть вектор й(1х,...,7И) = (¿х(/1,..., 1М),..., ¿„{¡и • • •. 1ря))Т и скаляр (Но(1\,..., 1рд) определяются из следующего разложения:

У(/3, &(/!),... ,6(7«))^/!,..,^) =

1

Ы!

сЫ;

т(1и...,!„) =

/. 1 ... 1 \

\0 6(7,) ... Ь(/„) )

= Мо(Л.....1„) + <Р(11,...,1„)р\.

Или, более подробно,

¿,(71,..., тр,) = • • • > —> 1ря)>

где с, (71,..., 1рд) - алгебраическое дополнение кДв вышеприведенной матрице, в = 1 , ...,рд. Пусть теперь г\ = (х^,уТ)т и определим случайный вектор

Л(*1) = е(88п (¿Ь(/ь ...,/„) + сгГ(/х,....7„)/3*) <*(7Ь...,/„) | ,

10

векторную функцию

а(Т, £) = е(8§п (¿Ь(/1, • • •, 1„) + • • •. 1ря)Т) а(1и ...,1рч)\г1=т),

где Т е ШР4 иге и матрицу Г = соу(Л(г1), Л(г1)).

Теоремы о состоятельности, асимптотической нормальности и о функции влияния оценки Вп сформулируем в терминах векторов /Зп = уес(Вп) и Ро = чес(В0).

Теорема 1 (о состоятельности оценки Вп). Пусть выполнены следующие условия:

/ \ <* _

(a) е\,е2,.. • ,еп - н.о.р.с.в., £1 — —е1; жь ®2| • ■ ■ - н.о.р.с.в.; совокупности {®,}"=1 и {е»}"=1 независимы,

(b) £||в1|| < оо,

(c) ^(иед-1 || 7(сЫХ(1) ф 0)) < оо, где || ■ || обозначает евклидову матричную норму,

(й) функция и((3) достигает минимум в единственной точке 0 = 0*.

Тогда 0* = 0О и при п —> оо 0п сходится почти всюду к (30.

Теорема 2 (об асимптотической нормальности оценки Вп). Пусть выполнены условия (а), (в.) теоремы 1, а также

(V) Я||£1||2 < оо,

(¿) J5(||AГ(^)-1||2^(detЛГ(/) Ф 0)) <оо,

(е) определены частные производные функции 11(0) в точке 0 = 0* и возможно дифференцирование под знаком математического ожидания

I = ■■ ■'+ аТ(/1' ■■■'I 0=/г)1

(/) в окрестности точки 0* верно следующее разложение:

Щ0) = Щ0*) + \(0 - 0*)ТУ/(0 - 0*) + о(||/3 - /Г ||2),

где IV - некоторая положительно определенная матрица,

(д) при {л,. -., /р,} е Хр

Р ({ <1с* (Ь(Л) -(3*... Ь(1„) - /Г) = о} л {г№, = 1}) = О.

Тогда при п —>■ сю распределение случайной величины л/п(0п — /30) слабо сходится к рд-мерному нормальному распределению с вектором средних О и ковариационной матрицей ИЛ-1ГИ/Г_1.

Робастность оценок, представленных в работе будем исследовать с точки зрения их функций влияния.

Теорема 3 (о функции влияния оценки Вп). Пусть выполнены условия (а), (Ъ), (с), (<1), (/) теорем 1, 2, а также

(ё) V/3' из некоторой окрестности точки ¡3* выполнено

ЧЩ(3) 1= Е(Ч7\М1Ъ ...,1ря) + <1Т(1и..., | р),

(Н) функция а(Т,г) непрерывна по Т в окрестности точки Т = /3*.

Тогда функция влияния Вп) оценки Вп ограничена по г € Шр+Я и

равна

Щх, Р/э0, В„) = -?чУГ1а{ро,

где обозначает совместную функцию распределения векторов Ху, ух в нашей модели.

Состоятельность, асимптотическая нормальность и ограниченность функции влияния оценки Вп доказаны в более сильных предположениях.

Как известно18, в условиях активного эксперимента оптимальными являются планы с конечным числом значений. Такие планы (т. е. распределения я^) удовлетворяют условиям (с), (с') теорем 1 — 3. В то же время эти условия сильно ограничивают множество удовлетворяющих им законов распределения, что ставит под вопрос целесообразность применения оценок Вп и Вп,

16Ермаков С. М., Жиглявский А. А. (1982), Математическая теория оптимального эксперимента. Наука, Москва.

например, в условиях пассивного эксперимента. В связи с этим в разделе 1.2 рассматриваются еще две оценки матрицы регрессионных коэффициентов вида В'п = vec-1(/3'n) и В'п — vec~1(ß'n). Здесь вектор ß'n есть особым образом "взвешенная"выборочная медиана Оя совокупности векторизованных невырожденных элементарных регрессий {&(/)}, и вектор /З'п, как и в разделе 1.1, модифицирован для ослабления условий при которых выполнены асимптотические свойства. Сформулируем определения оценок:

Определение 7. Пусть

D'n(ß) = avex{v'(ß>b(I1),...,b(Ipq))r(Ill...,Ipq)},

где y'(/3,b(/i),...,b(/P9)) = V(ß, ОД,..., bildet X(h)... det^/p,)!

обозначает "взвешенный"объем.

Тогда оценка В'п матрицы коэффициентов Во определяется следующим образом:

К = vec-l(ß'n), где /§'„ - arg min D'n(ß).

ptMi*4

Определение 8. Оценку B'n матрицы коэффициентов Во определим следующей формулой:

В'п = vec-l(ß'n), где ß'n = arg min U'n{ß),

uii(ß) — .....w,.....gj.

Оценки B'n и В'п Х-аффинно, У-аффинно и регрессионно эквивариантны и, при выполнении некоторых условий на распределения данных (см. теоремы 4, 5, 6), робастны, состоятельны и асимптотически нормальны. Для формулировки этих условий введем дополнительные обозначения.

Пусть Ik = {(fc - 1)р + 1,..., fcp}, k = l,...,pq. Предположим, что для всех ß 6 ШР4 существует математическое ожидание b(Ii),Ь(/и))т(/ь..., Ipqfj и обозначим за

U'(ß) = E(V'09, Ь(1Х),..., b(I„))r(Iu..., J„)) 13

теоретическую целевую функцию. U'{0) - непрерывная ограниченная снизу выпуклая функция, и пусть 0, е 2RP? - одна из точек множества, на котором она достигает своего минимума. Пусть вектор d!(I\,..., Ipq) — (4(Д,..., ..., ..., 1т))Т и скаляр £¿q(/i, ..., Ipq) определяются из

разложения:

v'(/3, b{h\..., Ь(/я))т(/ь..., = K(Jlf ...,/„) + ¿^(Jb..., 1„)01. Таким образом,

d,(h, ■ ■ •, det ВД)... det ^(/р,), 5 = 0, Пусть «i = (ají", У\)т и, аналогично разделу 1.1, определим случайный вектор

A'(*i) = Е( sgn Ц(/ь ...,/„) + dFíh,..., I„)0.) <Г(Д, | *i),

векторную функцию

а'(Т, z) = Е ( sgn (d'0(Ih..., Ъ) + d*(Iu.. •, I„)T) d! (Iu..., I„)\Zl = z),

где T € iRP» и г 6 JRp+q, и матрицу Г' = cov(A'(zi),A'(zj)).

Сформулируем теперь теоремы о состоятельности, асимптотической нормальности и о функции влияния оценки В'п (в терминах векторов 0'п — vec(É'n) и 0О = vec(Bo))-

Теорема 4 (о состоятельности оценки В'п). Пусть выполнены следующие условия:

(a) si, Ег, • • ■ i £п - н.о.р.с.в., s\ = — Е\; х\, ■ • ■, хп - н.о.р.с.в.; совокупности {ж,}"=1 и независимы,

(b) £||ci|| < оо,

(c) £||xi|j < оо,

(d) функция U'(0) достигает минимум в единственной точке 0 = /3». Тогда 0, = 0q и при п —> оо 0'п сходится почти всюду к 0О.

Теорема 5 (об асимптотической нормальности оценки В'п). Пусть выполнены условия (а), (d) теоремы 4, а также

(V) Е\\£1г < °о,

(d) Ell«!II* <00,

(e) определены -частные производные функции U'(ß) в точке ß = ß, и возможно дифференцирование под знаком математического ожидания

W09) | = e(v\<H0(Iu •. •,/„) + d?(Iu..., Ipq)ß\ | , (У) в окрестности точки ß, верно следующее разложение:

и' 03) = U'(ß.) + \{ß - ß,)TW4ß - ß,) + o(||j3 - /З.Ц2), где W' - некоторая положительно определенная матрица,

(g) при {/г,..., Ipg} S Х„

Р ({ det {Ь(1г) -ß,... b{I„) - ß,) = 0} П {r(/i,..., I„) = l}) = 0.

Тогда при п —¥ оо распределение случайной величины i/n(/3r„ — /30) слабо сходится к pq-мерному нормальному распределению с вектором средних О и ковариационной матрицей p4g2W"-1rW-1.

Теорема 6 (о функции влияния оценки В'п). Пусть выполнены условия (а), (Ь), (с), (d), (f) теорем А, 5, а также

(ё) V/3' из некоторой окрестности точки ß* выполнено

W{ß) | ß> = ...,/„) + dfih,I„)ß 11 ß),

(h) функция a'(T, z) непрерывна noT в окрестности точки T = ß,.

Тогда функция влияния IF(z, Fßa,ß'n) оценки В'п при фиксированном х ограничена по у на IR4, при фиксированном у ограничена по х на любом компакте в 1RP и равна

IF(z,F0o,ß'n) = -p2qW'-la\ß0,z). 15

Функция влияния оценки В'„, вообще говоря, неограниченна по х на Мр. Но на практике, как в пассивном, так и активном экспериментах, наблюдаемые значения фактора х принадлежат некоторому компакту. Поэтому важна ограниченность функции влияния по х на любом компакте, а это свойство оценки В'п выполнено по теореме 6.

Робастность, состоятельность и асимптотическая нормальность оценки В'п доказаны в более сильных предположениях.

В разделе 1.3 получены формулы для асимптотических эффективностей (через обобщенные дисперсии) всех вышеперечисленных оценок. Теория проиллюстрирована примером, в котором вычислены (симулированы) асимптотические эффективности для случаев, когда вектор случайных ошибок имеет нормальное распределение, распределение Лапласа и распределение Стью-дента с 3,5,10,20 степенями свободы. На этом примере показана высокая асимптотическая эффективность представленных оценок в случаях распределений вектора случайных ошибок с тяжелыми хвостами. Кроме того, в разделе перечислены способы вычисления указанных оценок матрицы регрессионных коэффициентов.

Вторая глава диссертационной работы посвящена проверке гипотез о точных значениях матрицы регрессионных коэффициентов для модели многомерной линейной регрессии: есть п наблюдений (а^, у;), г = 1, ...,п, подчиняющихся модели (1), и требуется проверить гипотезу Щ : Во = В* против альтернативы Н\ : Во ф В*. Без ограничения общности можно считать, что В* = 0, то есть проверять гипотезу о независимости значений отклика от значений фактора. Ниже будем предполагать, что вектор Л(гх) (Л'(«1)) и матрица Г (Г') определены так же, как и выше, но с /3* = О (/3, = 0).

В разделе 2.1 предлагаются четыре тестовые статистики: Тп — V£^n(0) (т. е. вектор частных производных функции ип{0) в точке (3 = О),

т; = vt/¿(o),

** == п^Ьг^Тп и ф'п := п^Т'У (Г'^Т'»,

■где функции и„ и заданы определениеми 4 и 7, а Г„ и Г^ - некоторые

состоятельные оценки матриц Г и Г', соответственно.

Статистики фп и ф'п асимптотически свободны от распределений исходных данных. Кроме того, они обладают свойством аффинной инвариантности в смысле следующего определения:

Определение 9. Пусть фп(Х,У) обозначает тестовую статистику, вычисленную по матрице факторов X и матрице откликов У. Статистика фп(Х,У) Х-аффинно инвариантна, если фп(ХУ,У) = фп{Х, У) и У-аффинно инвариантна, если фп{Х\ У№) = фп(Х, У) для любых невырожденных (рХр)-матрицы V и {дXд)-матрицы ТУ, соответственно.

В работе получены следующие результаты об асимптотическом распределении статистик Тп, Т'п, фп и ф'п при нулевой гипотезе:

Теорема 7. Пусть выполнены условия

(a) £ь£21 • • ■ >£п - н.о.р.с.в., 61 = — £1; Х\,Х2, ■.. ,хп - н.о.р.с.в.; совокупности {ач}?=1 и {е;}"=1 независимы,

(b) Е\\ег\|2 < оо,

(c) ф 0)^ < оо, где || • || - евклидова матричная норма.

Тогда при нулевой гипотезе Но : /30 = 0 предельное распределение статистики у/пТ„ - рд-мерное нормальное с нулевым вектором средних и ковариационной матрицей р452Г.

Теорема 8. Пусть выполнены условия / V

(a) £1, в2,..., е„ - н.о.р.с.в., £1 = —£1; Хг, Х2,..., х„ - н.о.р.с.в.; совокупности {®<}"=1 и {е<}"=1 независимы,

(b) -Е||£1||2 < оо,

(c) £|Ы2 < оо.

Тогда при нулевой гипотезе Но : 0О — О у/^п ~ Л-Л^О^д2!").

17

Теорема 9. Пусть выполнены условия теоремы 7 и матрица Г невырождена. Тогда при нулевой гипотезе Но : /30 = 0 предельное распределение статистики фп - центральное х2 -распределение с рд степенями свободы.

Теорема 10. Пусть выполнены условия теоремы 8 и матрица Г' невырождена. Тогда при нулевой гипотезе Но ■ /30 = 0 ф'п Л- х^-

В разделе 2.2 получены предельные распределения статистик Тп, Т'п, ф„ и ф'п при последовательности близких альтернатив Нп : ¡30 = 6 ф 0:

Теорема 11. Пусть выполнены условия теоремы 7, а также

(д.) в окрестности нуля верно следующее разложение:

Т{0) = Т(0) + А(3 + о(||/3||),

где функция Т((3) определяется при {Д,..., £ Тр как

Т(/3) = Ео ( здп(<1о(1и ..., /„) + йт{Ь.....1„)&) ¿(/х...../„)) ,

и А - некоторая {pq X рд)-матрица,

(е) при гипотезе Но для {Д,..., 7И} € Тр

Р ({ аеъ (6(70 ... Ь{1„)) = о} П {г(/ь 1„) = 1}) = 0.

Тогда при последовательности альтернатив Н„ : /30 = ^ предельное распределение статистики у/пТп есть рд-мерное нормальное с вектором математических ожиданий —А6 и ковариационной матрицей р4д2Г.

Если матрица Г невырождена, то при последовательности альтернатив Нп предельное распределение статистики фп есть нецентральное х2-распределение с рд степенями свободы и параметром нецентральности

Теорема 12. Пусть выполнены условия теоремы 8, а также (д.) в окрестности нуля верно следующее разложение: Т'((3) — Т'(0) 4- А!(3 + о(||/3||), 18

где функция Т'(/3) определяется при {/1,..., 1^} € 1Т как

Г'(уЗ) - Ео ( зцп^Ь,..., 7И) + ¿ГУи 1„)Р)Л(!1,...,/«)), и А' - некоторая (рд х рд)-матрица, (е) при гипотезе Но для {7х,..., 7И} 6 Хр

Р ({ <1<* (Ь(Л) • • • Ь(/„)) = О} П {т(/,,..., /„) = 1}) = О.

Тогда при последовательности альтернатив Н„ : /30 = имеем \/пТ'п Ырд (—Л'<5,р4д2Г'), и если матрица Г' невырождена, то

Как следствие, получается следующий результат.

Теорема 13. Асимптотическая эффективность по Питману критерия на основе статистики фп есть

_ рат-ш

в ~ р4д25т7(0)<У'

где 7(0) - информационная матрица Фишера, которая определяется (при существовании плотности /(е) распределения случайного вектора е\) как 7(0) = Д)^ (^/п(/(ух)) ® х\) (V^n(/(y1)) ® хх)г). Асимптотическая эффективность по Питману критерия на основе статистики есть

, _ 6ТАТ'-1А'8 6 ~ Р4дЧт1(0)б'

В разделе 2.2.3 приведен пример, для которого вычислены (симулированы) асимптотические эффективности по Питману критериев на основе статистик трп и ф'п для случаев, когда вектор случайных ошибок имеет нормальное распределение, распределение Лапласа и распределение Стьюдента с 3,5,10,20 степенями свободы. На этом примере показана высокая асимптотическая эффективность данных критериев в случаях распределений вектора случайных ошибок с тяжелыми хвостами.

По причинам, упомянутым выше, критерии на основе статистик Г„ и фп рекомендуется применять в условиях активного эксперимента, в то время как критерии на основе статистик Т'п и ф'п применимы и в пассивном эксперименте.

Автор выражает глубокую благодарность Юрию Николаевичу Тюрину за постоянное внимание, искреннюю заинтересованность, многочисленные обсуждения и ценные советы. Автор благодарит Ханну Оя за предложенные идеи, а также Валерия Николаевича Тутубалина и Михаила Васильевича Волдина за интерес к работе.

Работы автора по теме диссертации

[1 ] Бусарова Д. А. (2006) Проверка гипотез о матрице коэффициентов многомерной линейной регрессии. Вестпн. Моск. ун-та. Сер. 1, Математика. Механика, 4, с. 8 - 14.

[2 ] Бусарова Д. А. (2006) Робастное оценивание матрицы коэффициентов в многомерной линейной регрессионной модели. Успехи мат. наук, 61, Вып. 3, с. 169 - 170.

[3 ] Busarova D., Tyurin Y., Mottonen J. and Oja H. (2006) Multivariate Theil estimator with the corresponding test. Mathematical methods of statistics, 15, №1, pp. 1-19.

Ю.Н. Тюрину принадлежат постановка задачи и формулировки основных определений. Д.А. Бусаровой принадлежат формулировки и доказательства теорем, а также, совместно с Ю. Мотоннен и X. Оя, проведение численных экспериментов.

[4 ] Busarova D. (2005) Robust multivariate regression. ICORS-2005 (International Conference on Robust Statistics), Abstracts, p. 9.

Издательство ЦПИ при механико-математическом факультете МГУ им. М.В. Ломоносова. Подписано в печать /0$ (?Ь

Формат 60 х 90 1 / 16 . Усл. печ. л. 5

Тираж 100 экз. Заказ 2Л

Введение.

1 Робастное непараметрическое оценивание для задачи многомерной линейной регрессии

1.1 Оценки, основанные на выборочной медиане Оя.

1.1.1 Определения.

1.1.2 Асимптотические распределения оценок Вп и Вп.

1.1.3 Робастность и аффинная эквивариантность оценок Вп и Вп.

1.1.4 Доказательство состоятельности оценок Вп и Вп.

1.1.5 Доказательство асимптотической нормальности оценок Вп*Вп.

1.1.6 Доказательство робастности оценок Вп и Вп.

1.1.7 Доказательство аффинной эквивариантности оценок Вп и Вп.

1.2 Оценки, основанные на "взвешенной" выборочной медиане Оя.

1.2.1 Определения.

1.2.2 Асимптотические распределения оценок В'п и В'п.

1.2.3 Робастность и аффинная эквивариантность оценок В'п и В'п.

1.2.4 Доказательство состоятельности оценок В'п и В'п.

1.2.5 Доказательство асимптотической нормальности оценок К* К.

1.2.6 Доказательство робастности оценок В'п и В'п.

1.2.7 Доказательство аффинной эквивариантности оценок В'п и В'п.

1.3 Асимптотическая эффективность и методы вычисления представленных оценок.

1.3.1 Определения асимптотической эффективности.

1.3.2 Пример подсчета асимптотической эффективности

1.3.3 Методы вычисления оценок.

2 Проверка гипотез о матрице коэффициентов для задачи многомерной линейной регрессии

2.1 Основные определения и распределения статистик при нулевой гипотезе.

2.1.1 Постановка задачи.

2.1.2 Определения статистик Тп и Т'п и их распределения при нулевой гипотезе.

2.1.3 Определения статистик фп и ф'п , их распределения при нулевой гипотезе и аффинная инвариантность.

2.1.4 Доказательства теорем разделов 2.1.2 и 2.1.3.

2.2 Предельные распределения статистик критериев при альтернативах

2.2.1 Основные результаты

2.2.2 Эффективность по Питману.

2.2.3 Пример подсчета эффективности по Питману.

2.2.4 Доказательства теорем.

Общая характеристика работы

Актуальность темы. Непараметрические методы статистики - методы математической статистики, не предполагающие знания функционального вида генеральных распределений. Одна из задач многомерного непараметрического анализа - задача многомерной линейной регрессии: т

Уг = А] хг + i = 1, 2, . . . , П, где у{ = (yih yi2,yiq)T и Xi = (хп, xi2,xip)T, г = 1,2,., п - значения отклика и фактора, случайные ошибки £i,£2, . ,£п- независимые одинаково распределенные (q х 1)-векторы, £\ = —£\\ задача - оценить неизвестную (р х q)-матрицу регрессионных коэффициентов Во

Наиболее известным методом решения этой задачи является метод наименьших квадратов (МНК). МНК-оценка аффинно-эквивариантна (т.е. изменяется соответствующим образом при аффинных преобразованиях данных) и, в случае когда случайные ошибки имеют гауссовское распределение, оптимальна. Однако хорошо известно, что эта оценка крайне чувствительна к выбросам - единственное постороннее наблюдение может произвести на нее неограниченное влияние.

Разработка робастных методов оценивания для многомерных и многофакторных линейных моделей привлекает внимание многих авторов. Пу-ри и Сен ([25]) предложили покоординатные ранговые оценки. Рао ([27]) предложил использовать одномерный метод наименьших модулей отдельно для каждой координаты отклика. Конкер и Портной ([18]) обобщили метод Рао и предложили робастные М-оценки, заменив модуль на произвольную функцию. Оценка, предложенная Баи и др. ([7]) минимизирует среднее евклидовых норм остатков. Все эти методы, однако, не являются аффинно-эквивариантными. Руссиу и др. ([30]) в случае случайного фактора предложили робастную аффинно-эквивариантную оценку матрицы регрессионных коэффициентов, основанную на робастной оценке ковариационной матрицы вектора = (жf,2/f)T (но не исследовали ее асимптотические свойства). Оллила и др. ([22]) предложили аналогичный подход, использовав вместо оценки ковариационной матрицы Руссиу выборочную знаковую ковариационную матрицу вектора z\. Их оценка аффинно-эквивариантна, однако не робастна, хотя и более устойчива к выбросам, чем МНК-оценка.

Цель работы. Построение робастных аффинно-эквивариантных непараметрических оценок и проверка гипотез для задачи многомерной линейной регрессии. Исследование асимптотических свойств предложенных оценок и статистических критериев.

Методы исследования. Методика исследования основана на общих методах теории вероятностей, математического анализа и математической статистики. Широко используется теория U-статистик.

Научная новизна результатов. Предложены четыре робастные афинно-эквивариантные оценки матрицы регрессионных коэффициентов для задачи многомерной линейной регрессии, исследованы их асимптотические свойства.

Построены два новых аффинно-инвариантных критерия для проверки гипотезы о равенстве нулю регрессионных коэффициентов для задачи многомерной линейной регрессии. Изучены асимптотические свойства статистик критериев как при нулевой гипотезе, так и при последовательности близких альтернатив.

Основные результаты, выносимые на защиту.

• Предложены четыре новые робастные аффинно-эквивариантные оценки Вп, Вп, В'п, В'п матрицы регрессионных коэффициентов для задачи многомерной линейной регрессии. Для этих оценок получены условия состоятельности и асимптотической нормальности, найдены функции влияния.

• Для проверки гипотезы о равенстве нулю регрессионных коэффициентов для задачи многомерной линейной регрессии предложены две новые тестовые статистики Тп и Т'п, изучены их распределения как при нулевой гипотезе, так и при последовательности близких альтернатив. Построены состоятельные оценки ковариационных матриц этих тестовых статистик при нулевой гипотезе.

• Для проверки гипотезы о равенстве нулю регрессионных коэффициентов для задачи многомерной линейной регрессии рассмотрены две новые аффинно-инвариантные асимптотически свободные от исходных распределений тестовые статистики фп и ф'п, найдены их распределения при нулевой гипотезе и асимптотическая эффективность по Питману соответствующих критериев.

Практическая ценность. Работа носит теоретический характер. Предложенные в работе критерии и оценки могут быть использованы для статистической обработки регрессионного эксперимента. Рекомендуется их использование в задачах, где важно свойство аффинной инвариантности и распределение случайных ошибок может иметь "тяжелые хвосты"по сравнению с нормальным распределением. Оценки ВП) Вп и тестовые статистики Тп, фп рекомендуется использовать в условиях активного эксперимента (когда экспериментатор сам выбирает план эксперимента); оценки В'п, В'п и тестовые статистики Т'п, ф'п могут быть использованы также и в пассивном эксперименте.

Апробация результатов диссертации. Результаты диссертации докладывались на Большом семинаре кафедры теории вероятностей МГУ под руководством член-корр. РАН, проф. А.Н. Ширяева в 2006 г.; на международной конференции "International Conference on Robust Statistics (ICORS) - 2005", Ювяскюля, Финляндия в 2005 г.; на семинаре кафедры теории вероятностей МГУ "Непараметрическая статистика и временные ряды "под руководством проф. Ю.Н. Тюрина, проф. В.Н.

Тутубалина, доц. М.В. Болдина в 2005 г.; на семинаре "Многомерный статистический анализ и вероятностное моделирование реальных процессов"под руководством проф. С.А. Айвазяна в ЦЭМИ РАН в 2006 г.; на семинаре под руководством профессора X. Оя в университете Тампере, Финляндия в 2004 г.

Публикации. Результаты диссертации опубликованы в 4 работах, список которых приведен в конце диссертационной работы.

Структура и объем работы. Диссертационная работа состоит из введения и двух глав. В первой главе исследуется задача робастного аффинно-эквивариантного оценивания в модели многомерной линейной регрессии. Вторая глава посвящена проверке простой гипотезы о матрице регрессионных коэффициентов в модели многомерной линейной регрессии. Текст диссертации изложен на 119 страницах. Список литературы содержит 35 наименований.

2.2.1 Основные результаты

В этом разделе мы будем рассматривать исходную задачу (Но, На) как последовательность задач различения гипотез (Но, Нп), где гипотеза Ho : Bq = О проверяется против альтернативы Нп : Во = ггдД для некоторой ненулевой р х q матрицы А. В предыдущем разделе мы нашли предельное распределение статистик Тп, Т'п, фп и ф'п при гипотезе Но, благодаря чему мы смогли построить четыре критерия для проверки гипотезы Щ против альтернативы На. Предельные распределения статистик критериев при альтернативах важны с точки зрения свойств мощности соответствующих критериев. Поэтому, наша задача теперь найти предельные распределения статистик Тп, Т'п, фп и ф'п при альтернативе Нп.

Используя обозначения, введенные ранее, сформулируем теоремы о предельных распределениях статистик Тп и Т'п при гипотезе Нп : Bq = ггДД.

Теорема 2.8. Пусть выполнены условия теоремы 2.1, а также d) в окрестности нуля верно следующее разложение:

Т(р) = Т(О) + А0 + о(\\/3\\), где А - некоторая (pq X pq) -матрица, e) при {/i,., Ipq} £ 1р вероятность события det (b(h). b(Ipq)) = О} П {r(h,Ipq) = l} при гипотезе Щ равна нулю.

Тогда асимптотическое распределение случайного вектора л/пТп при альтернативе Нп есть pq-мерное нормальное с вектором математических ожиданий —Avec(A) и ковариационной матрицей p^q2Y.

Теорема 2.9. Пусть выполнены условия теоремы 2.2, а также d) в окрестности нуля верно следующее разложение: Т'(0) + Л!(3 + о(||/3||), где А! - некоторая (pq X pq) -матрица, e) при {/i,., Ipq} 6 Хр вероятность события det (b(h) . . . b(Ipq)) = о} n [r(Ih ., Ipq) = l} при гипотезе Hq равна нулю.

Тогда при альтернативе Нп предельное распределение статистики \/пТ'п есть Npq(-A'vec(A),pAq2T').

Как следствие теорем 2.8, 2.9, мы получаем следующие основные результаты этого раздела.

Теорема 2.10. Пусть выполнены условия теоремы 2.8 и матрица Г невырождена. Тогда предельное распределение статистики фп при гипотезе Нп - нецентральное х2-распределение с pq степенями свободы и параметром нецентральности ^ (vec(Д))Т АГ1А vec(A).

Теорема 2.11. Пусть выполнены условия теоремы 2.9 и матрица Г' невырождена. Тогда при гипотезе Нп предельное распределение статистики ф'п есть нецентральное х2-распределение с pq степенями свободы и параметром нецентральности (vec(A))T A!Y'~lA! vec(А).

2.2.2 Эффективность по Питману.

Теперь наша задача состоит в том, чтобы выяснить, в каких моделях предложенные нами критерии фп и ф'п являются более предпочтительными по сравнению с другими известными критериями. В предыдущем разделе мы нашли предельные распределения статистик фп и ф'п при нулевой гипотезе и показали, что они являются аффинно-инвариантными. Напомним, что при прочих равных условиях из двух критериев одинакового асимптотического размера а для данной модели лучшим считается тот, который имеет наибольшую предельную мощность. На основе этого соображения важным считается следующее понятие эффективности по Питману [21]:

Определение 2.4. Пусть {£п} и {£*} - две последовательности статистик критериев асимптотического размера а для проверки гипотезы Hq : 9 = 9 о против альтернативы На '■ 9 ф 9q. Пусть Нп : 9 = 9п - последовательность альтернатив и 9п —У до при п —> оо. Далее, обозначим 7п(9п) и 7п{@п) ~ мощности критериев {£п} и {£*} при гипотезе Нп, соответственно. Если

Ир 7П(0П) = lip 7ln){9n) = 7,

7 ф 0,1 и предел lim^oo ^ существует и ограничен, то этот предел называется относительной эффективностью Питмана статистики критерия {&} по отношению к статистике критерия {£*} для уровня значимости а, мощности 7 и последовательности альтернатив Нп.

Будем обозначать эту эффективность как е(£п, £*), помня при этом, что е(£п, £*) зависит также от а, 7 и 9п.

Итак, найдем асимптотические эффективности Питмана критериев на основе статистик if,'п и ф'п относительно оптимального критерия.

Дадим определения. Пусть распределение Fq имеет плотность f(0, х) ( везде далее будем определять плотность относительно лебеговской меры в абсолютно непрерывном случае, и относительно считающей меры - в дискретном случае). Предположим, что матрица информации

1(в)= E0(vin/(0,aOVln/(M)T) существует и положительно определена.

Пусть п д(0) = 5>/(мо i=i обозначает логарифм от функции правдоподобия, п

S[e) = VD(e) = -Y,L(e,Xi) г=1

- ее градиент (здесь Ь(в,х{) = — Vln/(0, ж^)), и вп обозначает оценку максимального правдоподобия.

Рассмотрим задачу проверки простой гипотезы Hq : в = G Rk- Ее решение может быть основано на одной из трех асимптотически эквивалентных статистик: n = 2(D(en)-D(eQ)), Wn = пвТп1п(вп)вп и vn = n-1s(0o)Ti;1(eo)S(Oo), где 1п(в) = ^ Ya=i xi)LT{®i xi) есть состоятельная оценка для 1(0). Статистика Хп основана на методе отношения правдоподобий и была введена Нейманом и Пирсоном (см. [19]), статистика Wn - Вальдом ([35]), a Vn - Рао ([26]). При некоторых условиях регулярности все три упомянутые тестовые статистики при гипотезе Щ слабо сходятся к ^-распределению с к степенями свободы, а при последовательности близких альтернатив Нп\в — Oq -к xl (<$т/(0о)^)-распределнию.

Согласно найденным нами в разделе 2.2.1 асимптотическим распределениям статистик фп и ф'п при гипотезе Нп, задача нахождения их асимптотических эффективностей Питмана упрощается с помощью следующей теоремы Ханнана [14]:

Теорема 2.12 (Ханнан). Предположим, что статистики критериев £п и £* при альтернативе Нп \ в = 9п слабо сходятся к случайным величинам с распределениями xl(Ai) и А2); соответственно. Тогда е(Сп)Сп) не зависит от а, но зависит от 7 и вп через параметры Ai и Х2.

В силу вышесказанного, асимптотические эффективности Питмана критериев на основе статистик фп и ф'п относительно оптимального критерия (например, на основе \п) есть, соответственно 8тАТ^А6 дтА'Г'~1А'д п)~ р^дт 1(0)6' где матрица информации 1(0) задается формулой (1. 137).

2.2.3 Пример подсчета эффективности по Питману.

Рассмотрим линейную регрессионную модель

Vi = Ал + А)2Жг + е», г = 1,., п где Xi ~ Bin(l, 1/2) и ~ F есть независимые одинаково распределенные случайные величины. Очевидно, что в этом случае статистики фп и ф'п, а значит и их асимптотические эффективности по Питману совпадают. Итак, вычислим 8тАТ~1А6 165т1(0)8'

L(zi) = hL(yi)x i, K(zi) - h\(yi)xi,

Поскольку где и где 1

ЛдМ = ^(г/з Sgn(2/22/4 - У1У3) I Zl), то есть векторы L(z\) я A(z{) коллинеарны, то в силу представления (1. И), определения матрицы Г и формулы (1.137), получим, что матрицы АТ~1А =

WY~lW (где матрица W определена в теореме 1.2) и 1(0) пропорциональны. Поэтому асимптотическая эффективность по Питману е не зависит от д и равна (см. раздел 1.3.2):

Ео{уФь(у1) sgn(y2yA - ут)\

Eo(h2L(yi))Eo[y3yQ sgn((y2|/4 - Уш)(2Ш - Ут))}'

Асимптотическая эффективность статистик фпиф'пв данном примере совпадает с асимптотической эффективностью оценок ВП} Вп, В'п и В'п, представленных в главе 1, поэтому можно воспользоваться результатами таблицы 1.2 раздела 1.3.2 (приведем их в таблице 2.1).

1. Андерсон, Т. (196S. Введение в многомерный статистический анализ.Физматгнз, Москва.

2. Большев Л.Н., Смирнов Н.Б. (1983) Таблицы математической стати- стики. Наука, Москва.

3. Ермаков М., Жиглявский А. А. (1982), Математическая теория оп- тимального эксперимента. Наука, Москва.

4. Ильин В.А., Садовничий В.А., Сендов Бл. X. {1%7)Математический анализ. Изд-во МГУ, Москва.

5. Хьюбер П. (1984) Робастность в статистике. Мир, Москва.

6. Ширяев А.Н. (2004) Вероятность. МЦНМО, Москва.

7. Bai Z.D., Chen N.R., Miao B.Q. and Rao C.R. (1990) Asymptotic theory of least distances estimate in multivariate hnear models. Statistics, 21, 503 -519.

8. Bassett G.W. (1988) A p-Subset property of Li and regression quantile estimates. Computational Statistics and Data Analysis., 6, 297 - 304.

9. Bickel P.J. (1964) On some alternative Estimates of Shift in the P-Variate One Sample Problem. Ann. Math. Statist, 35, 1079 - 1090.

10. Cramer H. (1946) Mathematical Methods of Statistics. Princeton Univ. Press, Princeton.

11. Hampel F.R. (1968) Contributions to the theory of robust estimation. Ph. D. Thesis. Berkeley: Univ. California

12. Hampel F.R. (1974) The influence curve and its role in robust estimation. J. Amer. Statist. Ass., v. 69, 346, p. 383 - 393116

13. Hampel F.R., Ronchetti E.M., Rousseeuw P.J. and Stahel W.A. (1986) Robust Statistics: The Approach Based on Influence Functions, Wiley, New York.

14. Hannan E.G. (1956) The asymptotic power of tests based upon multiple correlation. J. Roy. Statist. Soc. Ser. B, 18, 227 - 233.

15. Hawkins D.M., Bradu D. and Kass G.V. (1984) Location of several outliers in multiple regression data using elemental sets. Technometrics, 26, 197 - 208.

16. Hawkins D.M. (1993) The accuracy of elemental set approximations for regression. J. Am. Stat. Assoc, 88, 580 - 589.

17. Koenker R. and Bassett G.W. (1978) Regression quantiles. Econometrica, 46, 33 - 50.

18. Koenker R. and Portnoy S. (1990) M-estimation of multivariate regressions. J. Am. Statist. Ass., 85, 1060 - 1068.

19. Neyman J. and Pearson E.S. (1928) On the use and interpretation of certain test criteria for purposes of statistical inference. Biometrica, 20A, 175 - 240and 263 -294.

20. Niinimaa A., Oja H., Nyblom J. (1992) Algorithm AS 277: the Oja bivariate median. Appl. Statist., 41, 611 - 617.

21. Noether G.E. (1995) On a theorem of Pitman, Ann. Math. Statist, 26, 64 -68.

22. Ollila E., Oja, H. and Hettmansperger T.P. (2002) Estimates of regression coefficients based on the sign covariance matrix. J. R. Statist. Soc. Ser. B,64, part 3, 447 - 466.

23. Oja H. (1983), Descriptive Statistics for Multivariate Distributions. Stat. Probab. Lett, 1, 327-332.

24. Pollard D. (1991) Asymptotics for least absolute deviation regression estimators. Econometric Theory, 7, 186 - 199.117

25. Puri M.L. and Sen P.K. (1985) Nonparametric Methods in General Linear Models. New York: Wiley.

26. Rao C.R. (1947) Large sample tests of statistical hypotheses concerning several parameters with applications to problems of estimations. Proc. Comb.Phil. Soc, 44, 50 - 57.

27. Rao C.R. (1988) Methodology based on Li-norm in statistical inference. Sankhya A, 50, 289 - 313.

28. Rockafellar R.T. (1970) Convex Analysis, Princeton, NJ: Princeton University Press.

29. Rousseeuw P. J. and Leroy A. (1987) Robust Regression and Outlier Detection. New York: Wiley.

30. Rousseeuw P.J., Van Driessen K., Van Aelst S. and Agullo J. (2004) Robust multivariate regression. Technometrics, 46, 293 - 305.

31. Serfling R.J. (1980), Approximation Theorems of Mathematical Statistics. John Wiley, New York.

32. Sheynin O.B. (1973) R.J. Boscovich's work on probability. Arch. Hist. Exact Sci., 9, 306-324.

33. Siegel A.F. (1982) Robust regression using repeated medians. Biometrica, 69, 242 - 244.

34. Theil H. (1950) A rank-invariant method of linear and polynomial regression analysis (Parts 1-3). Ned. Akad. Wetensch. Proc. Ser. A, 53, 386 - 392, 521- 525, 1397 - 1412.

35. Wald A. (1943) Tests of statistical hypotheses concerning several parameters when the number of observations is large . Trans. Amer. Math. Soc, 54, 426-482.118Публикации автора ио теме диссерта-ции.

36. Бусарова Д. А. (2006) Проверка гинотез о матрице коэффициентов мно- гомерной линейной регрессии. Вестн. Моск. ун-та. Сер. 1, Математи-ка. Механика., 4, с. 8 - 14.

37. Бусарова Д. А. (2006) Робастное оценивание матрицы коэффициентов в многомерной линейной регрессионной модели. Успехи математическихнаук, 61, вынуск 3, с. 169 - 170.

38. Бивагоуа D., Tyurin Y., Mottonen J. and Oja Н. (2006) Multivariate Theil estimator with the corresponding test. Mathematical methods of statistics,15, 1, pp. 1 - 19.

39. Busarova D. (2005) Robust multivariate regression. ICORS-2005 (International Conference on Robust Statistics), Abstracts, p. 9.119