Эмпирические и последовательные эмпирические процессы в статистическом анализе ARMA модели тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Московский государственный университет имени М.В. Ломоносова Механико-математический факультет

На правах рукописи УДК 519.233.2, 519.233.3

Эрлих Иван Генрихович

Эмпирические и последовательные эмпирические процессы в статистическом анализе ARMA модели

Специальность: 01.01.05 — теория вероятностей и математическая

статистика

АВТОРЕФЕРАТ диссертации иа соискание ученой степени кандидата физико-математических наук

Москва 2010

- 2 п£К 2010

004614883

Работа выполнена на кафедре теории вероятностей механико-математического факультета Московского государственного университета имени М. В. Ломоносова.

Научный руководитель:

Официальные оппоненты:

Ведущая организация:

кандидат физико-математических наук, доцент

Болдин Михаил Васильевич

доктор физико-математических наук, профессор

Гущин Александр Александрович

кандидат физико-математических наук

Мартынов Геннадий Владимирович Центральный

экономико-математический институт РАН

Защита диссертации состоится «10» декабря 2010 г. в 16 часов 45 минут на заседании диссертационного совета Д 501.001.85 при Московском государственном университете имени М. В. Ломоносова по адресу: 119991, ГСП-1, Москва, Ленинские горы, МГУ, механико-математический факультет, аудитория 16-24.

С диссертацией можно ознакомиться в библиотеке мехаиико-мате-матического факультета (Главное здание, 14 этаж).

Автореферат разослан «10 » ноября 2010 г.

Ученый секретарь диссертационного совета Д 501.001.85 при МГУ, доктор физико-математических наук, профессор

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Временные ряды являются одним из традиционных объектов изучения статистиков. Все начиналось с изучения свойств процессов типа авторегрессии (AR), скользящего среднего (MA) и родственных им. Основные задачи для таких процессов — оценка параметров, проверка гипотез о структуре модели, построение прогнозов — решались, как правило, либо в параметрической постановке в предположении нормальности инноваций, либо с использованием процедур типа наименьших квадратов, см., например, монографию Brockwell, Davis1.

Желание строить тесты и оценки асимптотически более эффективные, чем тесты и оценки наименьших квадратов, а так же робастные по отношению к отклонениям от постулируемой модели, привело к созданию целого ряда новых процедур. В частности, ранговых, знаковых, GM и минимального расстояния. Изучать подобные процедуры оказалось удобным с помощью так называемых остаточных эмпирических процессов (о.э.п.).

О.э.п. определяются как аналоги классических эмпирических процессов для независимых одинаково распределенных данных, в которых ненаблюдаемые инновации заменяются на остатки модели. Интересующие нас статистики являются функционалами от о.э.п. Поэтому изучение асимптотических свойств статистик сводится к изучению асимптотических свойств о.э.п., в первую очередь равномерных линейных и квадратичных разложений и слабой сходимости в подходящих метрических пространствах. Так, например, в AR модели Koul2 с помощью о.э.п. изучал обобщенные М-оценки, ранговые и оценки минимального расстояния, Kreiss3 строил тесты для проверки гипотез, Болдин4'5 — тесты типа Колмогорова и омега-квадрат. Задачи проверки линейных гипотез в ARMA модели решали Hallin и Puri6 с помощью ранговых тестов, Болдин и Штуте7 с помощью знаковых тестов. Для реше-

1 Brockwell P.J., Davis R.A. Time Series: Theory and Methods. New York. Springer-Verlag. 1987. 519 p.

2 Koul ILL. Weighted Empiricals and Linear Models. IMS. Ilayward. CA. 1992.

'Kreiss J.P. Testing linear hypotheses in autoregressions // Ann. Statist. 1990. V.18. №3. P.1470-1482.

4Болдин M.B. Оценка распределения возмущений в схеме авторегрессии. // Теор. вероятностей. и ее применен. 1982. Т. 27. №4. С.805-810.

5 Болдин М.В. Проверка гипотез в схемах авторегрессии критериями Колмогорова и омега-квадрат.// ДАН СССР. 1983. Т. 273. №1. С.19-22.

е Hallin M., Puri M.L. Optimal rank-based procedures for time series analysis: testing an ARMA model against other ARMA models // Ann. Statist. 1988. V.16. №1. P.402-432.

7Болдин M.В., Штуте В. О знаковых тестах в ARMA модели с возможно бесконечной дисперсией ошибок // Теор. вероятностей и ее применен. 2004. Т. 49. №3. С.436-460.

ния задач типа "change-point"использовались последовательные о.э.и. Асимптотические свойства таких процессов изучали, например, Ling8 для AR модели, Bai9 для ARMA модели.

Замечательно, что о.э.п. нашли широкое применение в статистическом анализе нелинейных моделей. Выделим среди них класс гетерос-кедастических моделей, применяющихся в эконометрических приложениях. Базовой моделью для этого обширного семейства является ARCH модель, предложенная в работе Engle10. На модели типа ARCH перенесены многие результаты, полученные первоначально для AR. Выделим работы Lee, Taniguchi11, Koul, Ling12, Сорокина13, а так же работу Болдина14, в которой получено равномерное линейное разло-' жение о.э.п. общего вида для гетероскедастических моделей.

Отметим, что существует ряд задач, решенных для AR модели и некоторых нелинейных моделей, но не решенных для наиболее общей среди линейных ARMA модели. Например, задача построения асимптотически гауссовской оценки типа минимального расстояния решена Koul15 для AR модели в 1986г., обобщена им16 на класс нелинейных моделей с аддитивными "шумами"в 1996г., в 2004г. Сорокиным14 доказана асимптотическая гауссовость оценки минимального расстояния для параметра ARCH модели. Однако, эти результаты до сих пор не были обобщены на ARMA модель.

Другой пример: задача проверки гипотезы постоянства коэффициентов модели против альтернативы о том, что они меняются ("дрейфуют") во времени. Она решена Болдиным17,18 для AR модели и ARCH

8 Ling S. Weak convergence of the sequential empirical processes of residuals in nonstationary autoregrcssive models // Ann. Statist. 1998. V.26. P.741-754.

9Bai J. Weak convergence of the sequential empirical processes of residuals in ARMA models// Ann. Statist. 1994. V.22. P.2051-2061.

10 Engle R.F. Autoregressive conditional heteroskedastidty with estimates of the van cuts of U.K. inflation // Econometrica. 1982. V.5. P.987-1008.

11 Lee S., Taniguchi M. Asymptotic theory for ARCH-SM models: LAN and residual empirical processes // Statistica Sinica. 2005. V.15. P.215-234.

uKovl H.L., Ling S. Fitting an error distribution in some heteroscedastic time series models // Ann. Statist. 2006. V.34. №2. P.994-1012.

"Samkin A.A. On The Minimum Distance Estimates in ARCH Model // Math. Methods of Stat. 2004. V.13. №3. P.329-355.

uBoldin M.V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Math. Methods Statist. 2000. V.9. .VI. P.65-89.

15Koul H.L. Minimum distance estimation and goodness-of-fit tests in first order autoregression // Ann. Statist. 19S6. V.14. Р.11Э4-1213.

lsKoul H.L. Asymptotics of some estimators and sequential residual empiricals in nonlinear time series // Ann. Statist. 1996. V.24. №1. P.380-404.

l7Boldin M.V. On median estimates and tests in autoregrcssive models // Math. Mathods Statist.

1994.V.3. P. 114-129.

19Балдин M.B. Последовательные процессы и тесты типа Колмогорова для авторегрессионных

модели, но на ARMA модель результаты перенесены не были.

Перенос упомянутых результатов на ARMA модель связан с существенными техническими трудностями, которые, впрочем, всегда возникают при изучении ARMA моделей. Иногда эти трудности так велики, что преодолеть их удается лишь используя новые (в сравнении с AR) подходы. Тогда перенос результатов с AR на ARMA модель оказывается содержательным с теоретической точки зрения. Для приложений актуальность таких задач очевидна, поскольку ARMA модель является наиболее общей из общеупотребительных линейных моделей.

Выделим еще одно обстоятельство. ARMA модель обобщает авторегрессию также, как гетсроскедастическая GARCH модель (введена Bollerslev19) обобщает ARCH. Изучая ARMA модель, мы, тем самым, "готовим почву"для изучения нелинейной GARCH модели. Таким образом, тема диссертации представляется актуальной как с теоретической точки зрения, так и для приложений.

Цель работы Целью работы является построение и исследование с помощью остаточных и последовательных остаточных эмпирических процессов новых процедур оценивания и проверки гипотез в ARMA (Autoregressive Moving-Average) модели.

Научная новизна Основные результаты работы являются новыми и состоят в следующем:

1. Построены тесты для проверки гипотезы о постоянстве коэффициентов ARMA модели. Коэффициенты модели предполагаются неизвестными, тестовая статистика строится согласовано с оценками для коэффициентов модели.

2. Построена новая непараметрическая оценка типа минимального расстояния для параметра авторегрессии первого порядка. Доказана асимптотическая гауссовость построенной оценки. Предельная дисперсия оценки не больше предельных дисперсий оценок, известных ранее. Эта оценка имеет конечную чувствительность относительно независимых аддитивных выбросов.

3. Построена новая двухшаговая оценка типа минимального расстояния для коэффициентов ARMA модели. Доказана асимптотическая гауссовость построенной оценки. Показано, что такие оценки

гетероскедастических моделей // Тез. док. меж-ой конф. "Колмогоров и современная математика". Москва. Июнь 2003. С.400-401.

19 Bollerslev Т. Generalized autoregressive conditional heteroskedasticity // J. Econometrics. 1986. V.31. P.307-327.

могут обладать большей асимптотической эффективностью, чем классические оценки наименьших квадратов.

4. Построены тесты типа минимального расстояния для проверки линейных гипотез о коэффициентах ARMA модели. Для них найдена асимптотическая мощность при локальных альтернативах. Показано, что построенные тесты могут обладать большей асимптотической мощностью по сравнению с тестами наименьших квадратов и знаковыми тестами.

Методы исследования В работе используются методы математического и функционального анализа, методы теории вероятностей и математической статистики. Метод исследования основан на использовании остаточных и последовательных остаточных эмпирических процессов. При доказательстве основных теорем используется равномерное линейное разложение таких процессов.

Теоретическая и практическая ценность Работа носит теоретических характер. Результаты могут быть полезны специалистам по математической статистике, теории временных рядов и эконометрике.

Апробация работы Результаты докладывались на Большом семинаре кафедры теории вероятностей мех-мата МГУ в 2008 г. (руководитель — член-корреспондент РАН А.Н.Ширяев). Неоднократно делались доклады на семинаре "Непараметрическая статистика и временные ряды"под руководством проф. Ю.Н. Тюрина, проф. В.Н. Тутуба-лина, доц. М.В. Болдина в 2008-2009 гг. Кроме того, результаты докладывались на XV и XVI Международных конференциях студентов, аспирантов и молодых ученых "Ломоносов"(МГУ 2008; 2009), Ломоносовских чтениях (МГУ 2008; 2009) и VI Колмогоровских чтениях (ЯГПУ 2008).

Публикации По теме диссертации опубликовано 5 работ, список которых приведен в конце настоящего автореферата. Работы [1]-[3] изданы в журналах, внесенных в список ВАК.

Структура и объем диссертации Диссертациях состоит из четырех глав, первая из которых — введение, списка обозначений и списка используемой литературы, насчитывающего 79 наименований. Формулы имеют номер, состоящий из двух чисел. Первое из них соответствует номеру главы, а второе — номеру формулы в главе. Леммы, теоремы и условия имеют трехзначный номер, состоящий из номера главы,

номера параграфа и номера леммы (теоремы, условия) в данном параграфе. Ссылки на работы других авторов нумеруются по алфавиту, согласно фамилии первого из них. Общий объем диссертации — 141 страница.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Диссертация посвящена построению и исследованию новых процедур для оценки параметров и проверки гипотез в ARMA модели. Наши целевые функционалы и тестовые статистики основаны на остаточных и последовательных остаточных эмпирических процессах.

В автореферате сохранены номера теорем, лемм и утверждений. Номера условий изменены.

Первая глава диссертации посвящена истории применения о.э.п. в статистическом анализе временных рядов и краткому описанию основных результатов работы.

Вторая глава диссертации состоит из трех параграфов. Первый параграф посвящен задаче проверки гипотезы о постоянстве коэффициентов ARMA модели. Введем необходимые обозначения.

ARMA(p,q) модель определяется стохастическим разностным уравнением

р я

ut = ^aiUt-i + £t + Y^bj£t-j' tel, (1)

i'=i j=1

где {ut} - наблюдения, а := (ai,..., ар)т и b := (&!,...,b,,) - векторы неизвестных параметров (г - знак транспонирования), {е(}гб3 - независимые одинаково распределенные (далее н.о.р.) случайные величины (далее с.в.) с неизвестной функцией распределения (далее ф.р.) F(x).

Отметим, что здесь и далее прописные латинские и греческие буквы, выделенные жирным шрифтом, обозначают столбцы. Заглавные греческие буквы и заглавные латинские, выделенные жирным шрифтом, обозначают матрицы.

В диссертации рассмотрены статистические задачи оценки неизвестного параметра с:=(ат,Ьг)т и проверки гипотез по выборке Ui_p,... ,ип из стационарного решения уравнения (1).

Чтобы стационарное решение существовало, на неизвестные параметры модели (1) а и b накладывается стандартное ограничение.

Условие 1 Корни многочленов

A(z) =zp- a\zp~l — ... — Op и B(z) = zq + bizq~l + ... + bq (2)

лежат внутри единичного круга.

Условие 2 Корпи многочленов А(г) и В(г) из (2) не совпадают.

Величины принято назвать инновациями модели (1). Пусть выполнено

Условие 3 Ее1 = 0, Ее, < оо, у Р(х) существует плотность по мере Лебега /(х).

Поскольку инновации не наблюдаются, определяются величины, играющие роль оценок инноваций. Эти величины принято называть остатками модели (1) и обозначать е*(0), (0 = {в{ ,вТ2)Т, вг 6 Жр, 02 € К«).

Остатки определяются рекуррентным уравнением

<г,(0) = щ- - 0^-1(0), Ь = 1, - - -, п,

с нулевыми начальными условиями е\-ч{в) = ... = £о(0) = 0.

В первом параграфе второй главы проверяется гипотеза Я о том, что параметры (а^..., ар, Ь\,..., Ьч) модели (1) постоянны, т.е. с = Со, против альтернативы Ап о том, что они "дрейфуют" во времени, т.е. Щ-р, является выборкой из решения уравнения

р я

щ = £ + п"1/2а"г) (ь; + п~11'%) * = 1.2, • ■ •,

1=1 7=1

(з)

с нулевыми начальными условиями.

На компоненты С(П накладываются условия равномерной ограниченности, и предполагается, что для некоторой функции с(г/) из

£>р+<г[0,1] 20 ВЬШолнеко 8ир„е[0д, | тГ1 Х^Н сш ~ Ф) Послед-

нее условие выполнено, например, в случае, когда коэффициенты дрейфа меняются (по 4) в моменты [ш^],..., Тогда каждая компонента с(г/) будет ломаной с изломами в точках их,..., и^.

Тестовая статистика для проверки Н против Ап строится на основе последовательного процесса

уп(0, и) ~ п1'2 И (е,_!(0)) ^(£,(0)), (4)

203десь и далее £)р+9[0,1] есть прямое произведение р + д пространств 1)[0,1], элементами которого являются действительнозначные функции на [0,1] с разрывами лишь первого рода, с метрикой Скорохода.

где h : IR^"1"9 —» Rp+? и ф : R —» R - априорно выбираемые функции. Здесь ej_i(0) - вектор, противоположный вектору частных производных £t(&) по öi,..., 6p+i, h(x) = (h\(xi),..., hp+q(xp+q))T-,

На функции hk(x), к = 1,... ,p + q накладываются следующие ограничения

Условие 4 hk{x) - дважды непрерывно дифференцируемы, sup,.max{1^(1)1, < оо, k = l,...,p + q и J := E [h(e0)eg]

невырождена.

Здесь e4_i := (¿Vi, •.., ßt-i, ■ ■ ■, ßt-q)T, a vt и fit являются стационарными решениями уравнений авторегрессии

vt = aivt-i + a2i/t-2 + - ■ ■ + apvt_p + et,

Mi = -bißt-i ~ hßt-2 - ... - ЪдЩ-д + et, t e Z.

Будем предполагать, что ф(х) из (4) удовлетворяет одному из двух следующих условий.

Условие 5 (i) функция ф дифференцируема, ф' - удовлетворяет условию Липшица;

(И) Eifi{ei) = 0, 0 < Еф2{£1) < оо, //(х)ф'{х)дх ф 0.

Условие 6 (¡) ф имеет ограниченную вариацию; (Н) Еф{£1) = 0, Eef < оо и f /(х)дф(х) ф 0; (iii) J{x) > 0, lim xf(x) = 0, sup [(1 + я2) |/'0с)|] < оо.

kl—оо i£R

При выполнении Условия 6(i)-(ii) процесс v„(6, и) можно представить в виде

vn(0, и) = - J wn(x, v, 6)<1ф(х),

где wn(i, I/, в) суть последовательный остаточный эмпирический процесс, определяемый как

w,(i, 1л в) := гГ1'2 h (et_i(0)) [I {et(B) < x) - F(x)}, (5)

v € [0,1], I {•} — индикатор события.

Условие 6(iii) и предположение Rs'i < оо позволяет нам использовать общие результаты работы Болдина14 о равномерном разложении последовательных остаточных эмпирических процессов. При выполнении условия 5 для получения этого разложения достаточно воспользоваться формулой Тейлора.

„1/2 (f.

Чтобы предельное распределение тестовой статистики не зависело от параметров модели, в качестве оценки для с необходимо выбрать оценку с„ согласованную с процессом уп(6, и), т.е. оценку, для которой при Н верно разложение

(с„ - с) = I-1 • гГ1/2 £ • ^ /(я)*)) + оР( 1).

(6)

Вопрос о выборе оценки, для которой верно разложение (6), решается рассмотрением СМ-оценки.

Назовем СМ-оценкой параметра с модели А11МА(р^) решение сп с,м системы уравнений

п

= (7)

<=1

Если решения (7) не существует, то определяем сп_см = 0.

Показано (Утверждение 2.1.1), что при выполнении условий 1-4, а так же 5 или 6 и непрерывности функции система уравнений (7) имеет -у/п-состоятельное при А„ решение сп.вм, для которого верно разложение (6).

Основной результат второй главы сформулирован в виде теоремы

Теорема 2.1.1 Пусть выполнены условия 1-4, а так же 5 или 6. Пусть У„ и суть состоятельные при Ап оценки матрицы Е [Ь(е1)Ьг(е1) и константы Еф2(е1). Пусть сп — у/п-состоятельное при Ап решение (7).

Тогда при гипотезе Н процесс V)слабо сходится в

0Р+''[0,1] к (р+д)-мериому процессу V(и), компоненты которого суть независимые броуновские мосты.

При альтернативе Ап процесс и) слабо сходится в

Рр+9[0,1] к + ¿(у), где неслучайный сдвиг 6(и) имеет, вид

S(v) = [Eh(ei)hT(ei)]"1/2 J [сМ - i/c(l)],

а2(ф) = ЕГ(ег)-

J f(xW(x)

-2

В качестве тестовой статистики рассматривается статистика типа омега-квадрат

й2п = шах {<2>2S, s = 1,... ,р + q} , ш2П1 = [ v2ns(u)du,

J о

здесь vn., - s-ая компонента вектора s~1Yn1^2vn(c„.;/). Асимптотическое распределение при Я - распределение омега-квадрат, а т.к. {wr2la} асимптотически независимы, то и предельное распределение известно и свободно от параметров модели. Гипотеза Я отвергается при больших значениях

Построенные тссты зависят от априорно выбираемых функций h и ф, и возникает вопрос об оптимальном выборе этих функций. Поскольку предельные распределения тестовых статистик не гауссовские и не хи-квадрат, то воспользоваться определением асимптотической относительной эффективности (далее АОЭ) по Питмену для нахождения оптимального теста мы не можем. Однако, в случае, когда h(x) = х, удается определить естественный вид асимптотической относительной эффективности (АОЭ), которая помогает определить оптимальный тест. Это определение АОЭ было предложено Волдиным18.

Для 7 > 0 определим альтернативу при которой верна мо-

дель (3) с коэффициентами а,- + bj -f rC1!276^.

Назовем АОЭ тестовой статистики ¿>„(^1) относительно тестовой статистики и^Оь) такое положительное число е^ = e(ipi,ip2), что при Ап(е\^) статистика имеет такое же асимптотическое рас-

пределение, что и i) при Ап.

Тогда при е12 > 1 тест со статистикой "лучше" теста со ста-

тистикой поскольку Ап "ближе" к Я, чем An(ei^), а распозна-

ют они эти гипотезы асимптотически одинаково.

Теорема 2.1.2 Пусть hi(x) = х, г — 1,... :p+q, и выполнены условия 1-4■ Пусть для гр\, Ф2 выполнено условие 5 или условие 6, а также сп — у/п-состоятелъное при Ап решение (7). Тогда АОЭ е Ф2) тестовой статистики относительно тестовой статисти-

ки ш\{ф2) существует, единственна и имеет вид е (ipi, Ф2) =

Таким образом, для нахождения оптимальной с точки зрения АОЭ ф надо минимизировать а{ф). Оказывается, что если lim ф(х)/(х) =

|а;[—юо

О и wmiXx) := удовлетворяет условию 5 или условию 6, то наименьшее а(ф) достигается при ф(х) — Фмь{х)- При таком выборе функций h и ф разложение (6) есть разложение оценки максимального правдоподобия. Оценка максимального правдоподобия является асимптотически эффективной, таким образом наилучшая оценка наследует наилучшему тесту.

Второй параграф второй главы посвящен доказательству Теорем 2.1.1 и 2.1.2. В третий параграф вынесено доказательство леммы о равномерном линейном разложении процесса vn(0, v).

Третья глава диссертации состоит из трех параграфов и посвящена модернизированным оценкам типа минимального расстояния (далее MD-оценкам) параметра стационарной авторегрессии первого порядка (ARMA(1,0) модели).

В первом параграфе рассматривается выборка у о, у\,..., уп из стационарного решения уравнения авторегрессии первого порядка

jft = j3î/t-i + et, íeZ, |/?| <1. (8)

Как и раньше {et} - н.о.р.с.в. с ф.р. F(x). Остатки модели (8) определяются соотношением £t{6) ~ Ht — Oyt-\, 0 € R.

MD-оценки для параметра /3 из (8) предлагались в монографии Koul2. Данные оценки либо требовали знание распределения инноваций, либо требовали симметрию распределения инноваций.

Модифицированная MD-оценка, которую мы обозначим ftn,Mn, определяется как решение экстремальной задачи

Pn.MD Argminделкп(в) (9)

на множестве А = {0 6 R : Щ < 1}. Если решения не существует, определяем /?„,мд = 0. Здесь

у"|*пМ)|2<од,

G(x) - априорно выбираемая функция и wn(x, 0) есть остаточный эмпирический процесс, определяемый как

п

wn(x, в) := пг'2 £ Л(№_0 [i {et(0) ^ х} - Рп(в, х)] . t=i

Здесь

F„(x,0) :=n_1^l{£t(0) leR.iel

есть остаточная эмпирическая функция распределения. Она является аналогом недоступной для построения истинной эмпирической ф.р. Fn{x):=n-1'£l{Et^x}.

Использование процесса wn(a:, 0) позволило построить асимптотическую гауссовскую MD-оценку в случае, когда неизвестно распределение инноваций и не выполняется условие симметрии. Нам понадобятся дополнительные условия.

Условие 7 G(x) - непрерывная, неубывающая и ограниченная на R функция, G(x) ф const.

Условие 8Eei = 0, Ее? < оо; F(x) имеет плотность f(x) > О, которая имеет непрерывную производную, и sup|/'(x)| < оо;

Условие 9 Е/г9(у0) < оо, Eyoh(yo) ^ 0, h{x) монотонна по х.

Пусть

Чуо) := h(y0)-Eh(y0), фс(у) ~ j[I{v^x}~ F(x)} f(x)dG(x).

Основной результат первого параграфа сформулирован в виде теоремы.

Теорема 3.1.1 Пусть выполнены Условия 7, 8 и 9. Тогда

nl^2(ßn,MD — ß) jV(0, <72), где асимптотическая дисперсия

^ = ЕПЪо) ЩЫа) (10)

[Eyo^(yo)]2 [/ f2dG(x)]2

Отметим, что предельная дисперсия MD-оценок Koul2 всегда не меньше а2 и равенство достигается при E/i(yo) = 0.

Во втором параграфе исследуются робастные свойства построенной MD-оценки. Существует несколько определений робастности оценки. Мы будем понимать робастность как конечную чувствительность оценки. Подобную характеризацию робастности предложили Martin, Yohai21. Напомним необходимые определения.

Пусть фиксирован некоторый класс ф.р. Пусть {¿¡} - независимые бернуллиевские величины с параметром 7, 0 ^ 7 SC 1, {£t} -н.о.р.с.в. с ф.р. 6 Jç. Последовательности {¿¡} , {£t} , {vi} независимы между собой. Предположим, что вместо {yt} наблюдаются величины

vt=vt + *tb, t = 0,1,2,.... (il)

Величины Çt интерпретируются как выбросы, а 7 - как их доля в выборке. Случай 7 = 0 соответствует выборке без засорений.

Пусть j/35J,ra ^ lj - последовательность оценок параметра ß, построенная по выборке с уровнем засорения 7. Предположим, что для любого достаточно малого 7 > 0 при п —► оо выполняется сходимость по вероятности

fa^ß1

21Martin R.D., Yohai V.J. Influence Junctionals for time series // Ann. Statist. 1986. V.14. P.781-818.

для некоторого неслучайного ß1, ß(1 = ß. Тогда функционалом влияния оценки ßn называется величина

IFiß^FA := lim

У ' Ç/ 7-0+ 7

в том случае, когда она определена.

Мы будем, следуя21, называть оценку ßn робастной в схеме (11), если ("Influence Functional") определен на и величина

GES(fy,ßn) := sup I/Я/Г,^)!,

называемая чувствительностью к грубым выбросам, конечна.

В дальнейшем будем предполагать выполнение следующего условия.

Условие 10 Функция h(x) ограничена.

Теорема 3.2.1 Пусть выполнены Условия 7, 8, 9, 10 и < оо. Тогда функционал влияния оценки ßn,MD имеет вид

IF(ft{Dift) = - Ey0h(y0) J f2(x)dG(x)j J f(x)d(x)dG(x), (12) где

d{x) = E%o + Ço) [F(x + ßta) - F{x)} - Eh(y0) [EF(x + ߣ0) - F{x)}.

Чувствительность MD-оценки конечна на классе Q2 распределений выбросов с конечным вторым моментом.

Отметим, что подсчет функционала влияния оценки, определяемой как решение уравнения, проще, чем для оценки, определяемой как решение экстремальной задачи. К последним относятся MD-оценка для параметра ARCH модели (функционал влияния найден Сорокиным13) и нспарамстрическая MD-оценка Koul15 для параметра AR(1) модели (функционал влияния найден Dhar22).

Третий параграф главы посвящен доказательствам лемм, на которых основывается доказательство Теоремы 3.1.1.

Четвертая глава состоит из пяти параграфов и посвящена построению MD-оценок и MD-тестов в общей ARMA модели. Предложен новый двухшаговый подход к построению MD-оценок, отличный от описанного в предыдущей главе для модели авторегрессии. Отме-

s2Dhar S.K. Minimum distance estimation in an additive effects outliers model // Ann. Statist.

1991. V.19. №1. P.205-228.

тим, что к общей ARMA модели метод минимального расстояния для задач оценивания и проверки гипотез применяется впервые.

Стандартная схема доказательства асимптотической гауссовости MD-оцекки, разработанная Koul2 состоит из двух пунктов: получение равномерного линейного разложения о.э.п. в 0(гг_1/'2) окрестности истинного значения параметра и доказательство п1/,2-состоятельности оценки. Причем п1/,2-состоятельность нужна для того, чтобы мы могли утверждать, что решение экстремальной задачи (9) с вероятностью, стремящейся к 1, попадает в окрестность, в которой верно равномерное линейное разложение процесса.

В силу технических затруднений при построении MD-оценки для параметра модели авторегрессии нам удалось доказать лишь nL^2~s-состоятельность оценки (<5 = 1/14), и, как следствие, пришлось находить равномерное линейное разложение уже в окрестности истинного значения параметра. Можно обобщить данные результаты на общую ARMA модель, но доказательства будут слишком громоздкими. Мы поступаем иначе.

При построении оценки для параметра с общей ARMA модели используется двухшаговый метод оценивания, описанный в п.6.6.3 монографии Болдина и др.23, который не требует доказательства п1/2-соетоятельности. Для этого выбирается произвольная несостоятельная оценка сп. MD-оценка определяется как решение экстремальной задачи

сn,MD ■= Argming^^e). (13)

где

Кп{в) = J ||wnM)||2(iG(:c) и Л = {в : пх'г ||0 - с„|| ^ logn}

||-|| - евклидова норма и о.э.п. определяется как

п

w„(i, в) := гГ1'2 Y, h (e,-i(0)) [i {£<(0) «Ï х} - Fn(x, 0)] . (14) t=1

Таким образом, функционал Кп(в) минимизируется не по всем возможным в, а лишь по в из сужающейся окрестности оценки. При таком подходе для доказательства асимптотической нормальности построенной оценки достаточно получить равномерное линейное разложение процесса w„(x,в) в О(n-1/2logn) окрестности истинного зна-

23 Болдип М.В., Симонова Г.И., Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука. 1997. 288с.

чения параметра.

В конце главы построенные оценки используются для построения тестов для проверки линейных гипотез. Для подсчета асимптотической мощности необходимо знать распределение тестовых статистик при альтернативах вида Н\п : с = с„ := Со + n~ll2d + о(п_1//2). Поэтому во втором параграфе доказывается равномерное линейное разложение процесса wn(x, в) в 0(n-1/2 logn) окрестности истинного значения параметра при Н\п (Теорема 4.2.1). Случай, когда коэффициенты модели постоянны, является частным случаем этой теоремы при d = 0. Первый параграф главы посвящен описанию модели и формулировке необходимых условий.

Нам понадобится дополнительное условие

Условие 11 Esi = 0, Ее® < оо; F(x) имеет плотность f(x) > О, которая имеет непрерывную производную, и sup \f'{x) j < оо;

Теорема 4.2.1 Пусть верно Н\п. Пусть выполнены Условия 1, 4 и 11 . Тогда для любого В > О

sup w„(i, с„ + п"1/2т) - Jrf(x) - w°(x) = op(log_1 п), ®CR,||r||<BIogn11 11

где := п1'2£ h(e(-i) \ï{et < x} - F(x)}, h(e(_0 ~ hfe-i) -t~ î

Eh(et-i) ы J = Eh(e0)e£.

В третьем параграфе с помощью равномерного линейного разложения процесса wn(x, в) доказывается основной результат четвертой главы — асимптотическая гауссовость MD-оценки параметра ARMA модели

Теорема 4.3.1 Пусть выполнены Условия 1,2,4,7 и 11. Тогда верна сходимость по распределению

nl/2{cnMD - с) -> ЩО, Smd),

Sud = J-'E [h(e0)hT(e0)] (J^fffW/. G), где

сT2lD(f,G):=Eip2G(£l)QfdG(x)j \

Mv) ■= J[I{v<x}~ F(x)] f(x)dG(x).

Отметим, что при q = 0 и р = 1 ковариация Ед/д совпадает с а2 из (10).

В четвертом параграфе на основе построенных оценок стандартным образом строятся тестовые статистики для проверки линейных гипотез об ARMA модели.

Проверяется гипотеза

Hq : Ci = Cío, i = Ч, ■ ■ ■, ip+q-m\ 1 ^ ¿i < г2 < ... < ip+q-m ^ p + q,

где {c¿o} известны, а оставшиеся компоненты {c¿, i ф ¿i, ¿2,..., ip+5_m} являются мешающими параметрами, 0 ^ m < p + q. В качестве альтернативы рассматривается

Я1 id) • lCÍ = ^ + diU~1/2 + °(П~1/2)' Í — Чт ■ -Jp+q-m, ln \с'~ °in := Ci + d¡n~1/2 + о(п~^2), i фи,...,ip+q-m,

где d = (di,..., dp+q)T - постоянный вектор.

Обозначим i = (¿i,..., ip+q-m). Пусть Еп,мв - произвольная состоятельная при fíi„(d) оценка для Емд. Обозначим E¡ md и ¿пл,л/£) -матрицы, образованные пересечением строк и столбцов матриц £md и Ê„,ml> с номерами ц,..., ip+q-m.

Будем теперь обозначать с помощью Со вектор из Mp+Í, i-тая компонента которого равна c¿o из определения Hq для i = ц,..., ¿JJ+g_m; остальные компоненты со положим равными нулю.

Для произвольного вектора f € Rp"t <3 обозначим с помощью f¡ вектор размерности р + q — m, состоящий из элементов вектора f с номерами

II, ... ,

В качестве тестовой статистики рассмотрим

Я2 := п(с„,мв - co)ï^nX\lD(ên,MD - C0)i- (15)

Обозначим х2(0 и b2) соответственно центральное и нецентральное с параметром нецентральности Ь2 распределения хи-квадрат с I степенями свободы.

Теорема 4.4.1 Пусть выполнены условия Теоремы 4-3.1. Тогда при гипотезе Hq верна слабая сходимость MD —* х2(р + q — m). При альтернативе Я^(d) выполнено

Rl,MD Х2(р + q-m,dfs^di).

Предельное распределение тестовых статистик суть центральное и нецентральное хи-квадрат распределение при гипотезе и при альтернативе соответственно. Параметр нецентральности выписывается в явном виде. Это позволяет сравнить данный MD-тест с другими тестами (найти асимптотическую относительную эффективность по Питмену).

В частности, в пятом параграфе MD-тесты сравниваются с тестами наименьших квадратов и знаковыми тестами, предложенными в работе Болдина и Штуте7.

Автор выражает глубокую благодарность своему научному руководителю, кандидату физико-математических наук, доценту Михаилу Васильевичу Болдину за постановку задач, постоянное внимание и помощь в работе, а также профессорам Ю.Н. Тюрину и В.Н. Тутубалину за многочисленные обсуждения и ценные замечания.

Работы автора по теме диссертации

[1] Эрлих И.Г. Проверка гипотезы о "дрейфе"параметров в модели скользящего среднего // Вестник МГУ. Математика. Механика.

2009. №1. С. 8-11.

[2] Эрлих И. Г. Двухшаговые оценки типа минимального расстояния для параметров модели ARMA(1,1) // Вестник МГУ. Математика. Механика. 2010. №6. С.52-54.

[3] Эрлих И.Г. Тесты минимального расстояния для проверки линейных гипотез в ARMA модели // Обозр. прикл. и промышл. матем.

2010. Т.17. №3. С.374-375.

[4] Boldin M.V., Erlikh I.G. Testing Hypotheeses on the "Drift" of Parameters in ARMA and ARCH Models // Math. Methods Statist. 2009. V.18. №1. P.l-19.

В этой работе M.B. Болдину принадлежит постановка задач для ARMA и ARCH моделей и способ отыскания тестов. Конкретные результаты и их обоснование для ARMA модели принадлежат И.Г. Эрлиху.

[5] Эрлих И.Г. Об оценках минимального расстояния для параметров моделей AR(1) и МА(1) // Тезисы докладов Секции "математика и механика"Международной конференции студентов, аспирантов и молодых ученых "Ломоносов-2009". —М.: Механико-математический факультет МГУ имени М.В.Ломоносова. 2009. С.76-77.

Подписано в печать: 09.11.2010

Заказ № 4474 Тираж -120 экз. Печать трафаретная. Типография «11-й ФОРМАТ» ИНН 7726330900 115230, Москва, Варшавское ш., 36 (499) 788-78-56 www.autoreferat.ru

1 Введение

2 "Дрейф"параметров в ARMA модели

2.1 Постановка задачи и результаты для ARMA(p,q) модели

2.2 Доказательства результатов для ARMA(p,q) модели

2.3 Получение равномерного линейного разложения последовательного процесса.

3 Метод минимального расстояния в AR

3.1 Постановка задачи и формулировка основных результатов.

3.2 Об устойчивости к грубым выбросам оценки минимального расстояния для AR(1).

3.3 Равномерное линейное разложение и равномерная оценка для эмпирического процесса в AR(1).

4 Метод минимального расстояния в ARMA

4.1 Описание модели.

4.2 Равномерное линейное разложение эмпирического процесса для ARMA(p,q) модели.

4.3 Двухшаговые оценки типа минимального расстояния для параметров ARMA(p,q) модели.

4.4 Проверка линейных гипотез в ARMA(p,q) методом типа минимального расстояния.

Оглавление

4.5 Сравнение тестов типа минимального расстояния с СМтестами и знаковыми тестами.

Список обозначений.

В данной работе предлагаются и исследуются новые непараметрические оценки типа минимального расстояния для параметров ARMA модели. Рассмотрены соответствующие тесты для проверки линейных гипотез. Кроме того, решается задача о проверке постоянства коэффициентов ARMA модели. Альтернативой выступает предположение о том, что они меняются ("дрейфуют") во времени.

Все рассмотренные задачи объединены единым подходом. Для их решения используются остаточные эмпирические процессы и последовательные остаточные эмпирические процессы.

Эмпирические процессы используются для статистического анализа стохастических разностных уравнений очень давно. Решались задачи проверки гипотез, оценки параметров и проверки адекватности моделей. Началом послужили работы о проверке гипотез относительно распределения инноваций в линейных моделях временных рядов критериями типа Колмогорова и ш2 . Для примера обратимся к работе Болдина [7], в которой данная задача решалась для модели авторегрессии.

Итак, пусть наблюдаются величины У0,Уи . ,уп , являющиеся выборкой из стационарного решения уравнения авторегрессии yt = Pvt- 1 + е*, teZ, |/3|<1. (1.1)

Здесь {ê^} - независимые одинаково распределенные (н.о.р.) случайные величины (с.в.), Е^ = 0, Ее^ < оо 7 £1 имеет функцию распределения (ф.р.) Р(х) и плотность по мере Лебега /(ж).

Поскольку £1 не доступны для наблюдения, находятся величины £¿(0) := уг — Оуг-г > О Это остатки в модели (1.1). Величины при 9 ф ¡3 зависимы между собой, £¿(/5) = Et. Определим функцию п

Это остаточная эмпирическая функция распределения (э.ф.р.). Очевидно, Рп(х,/3) совпадает с обычной эмпирической ф.р. Рп[х), построенной (гипотетически) по е\,.,еп .

Функция Ёп(х, 9) может быть использована при построении тестов для проверки гипотезы Щ : Е = ^о в модели (1.1). В [7] исследовалось поведение статистики типа Колмогорова для проверки такой гипотезы. Тестовая статистика имеет вид

БИр п

1/2

Рп(х,рп) - Р0(х)

1.2) где ¡Зп - любая у^п-состоятельная оценка /3, например, оценка наименьших квадратов. При некоторых предположениях относительно /(х) было показано, что вир п1'2 (Рп(х, Р + п-^т) - | = ор(1), п оо, (1.3) для любого 0 ^ В < оо.

Далее все предельные переходы при п —оо ; если не оговорено иное. Из (1.3) следует, что вир хек п1'2 (А(®,Ао-зд)| = ор(1)

Следовательно, предельные распределения тестовых статистик типа Колмогорова-Смирнова (например, (1.2)) будут такими же, как если л л бы вместо Рп(ж,/Зп) стояла Рп{х). Эти распределения найдены явно в классический работах Колмогорова [52] и Смирнова [74], и табулированы, например, в [11]. Предельное распределение статистики ш2 (точнее, его характеристическая функция) найдено Смирновым в [24]. Таблица квантилей этого распределения приведена, например, в [11],[20]. Отметим, что результат Колмогорова о сходимости sup хеЕ п1'2 [Fn(x) - F0(x)] (1.4) является следствием общих теорем о слабой сходимости процессов. Действительно, введем процесс G [0,1], такой, что

ВДНп1/2 [ад-ад].

Траектории vn(^) принадлежат D[0,1] — пространству действительнозначных функций на [0,1] с разрывами лишь первого рода и метрикой Скорохода (см. подробности в [16], гл. IX, § 5). Тогда vn(^) сходится слабо в D[0,1] к броуновскому мосту (гаусовскому процессу на [0,1] с нулевым средним и ковариационной функцией г (Л, ¡i) = Л Л ц — А/л), а значит (1.4) сходится по распределению к sup |v(z/)|. Распределение

0,1] последней случайной величины и есть распределение Колмогорова.

Описанный для авторегрессии подход был обобщен многими авторами на другие линейные модели. В частности, Коулом и Левинталем (Koul, Levental, [58]) была рассмотрена модель взрывной авторегрессии (модель (1.1) с \ß\ > 1); в [6] Болдин рассмотрел модель скользящего среднего; Крайсом (Kreiss, [61]) была рассмотрена ARMA модель.

Отметим еще раз факт о том, что предельное распределение статистик типа Колмогорова-Смирнова в модели (1-1) с нулевым среднем не зависит от того, строим мы эмпирическую функцию распределения по независимым величинам et или по оцененным остаткам £t{ßn) •

Этот факт, верный для упомянутых выше линейных моделей с нулевым среднем, перестает быть верным, если рассмотреть линейные модели с ненулевым средним или нелинейные модели. Так, например, в работе [37] рассматривалась нелинейная ARCH модель, определяемая уравнением а0£ = 1, 2,., 20 = 0. (1.5)

В (1.5) а0,аг > 0 и а0 + аг < 1. Пусть сг2(г, в) = 0Х + в2г2, 0 = ($1) $2)Т ^ • Остатки в модели (1.5) определяются как в), если в) > 0, еь{в) := <

I 0, если сг2(^1, в) ^ 0.

Показано, что если ап — у/п-состоятельная оценка для векторного параметра модели а = (а1,а2)т, Ее2 = 1, то при дополнительных условия на /(ж) верно sup жек п1'2 (рп{х,кп) - Fn{x) - ^xf(x)(an - а)тЕе^ оР( 1), т где е = (<j~2(zi, а), (^)2сг2(^, а)) , {¿f} - стационарный предел для ы

Таким образом, предельное распределение тестовой статистики (1.2) для ARCH модели отлично от распределения Колмогорова. Аналогичный результат получен Вязиловым в [14] для GARCH(1,1).

Следующий естественный шаг состоит в попытке распространить описанный подход на проверку сложной гипотезы: F(x) £ {F(x, 9)}вео ■ Мы снова опишем результаты в этой области на примере модели авторегрессии первого порядка (1.1). Для простоты рассмотрим случай © С Ж. Итак, исследуется асимптотическое поведение статистики ,1/2 sup xeR п

Fn(x:(3n)-F{x,en) , (1.6) где, как и раньше, (Зп есть л/п-состоятельная оценка параметра [3 модели (1.1), 0п - оценка для истинного значения параметра В силу

1.3) предельное распределение (1.6) совпадает с предельным распределением sup хек п

1/2

Fn(x)-F(x,6n)

1.7) где, как и раньше, Fn(x) — эмпирическая ф.р., построенная по

Поведение с.в. (1.7) исследовалось, например, в работе Дурбина (Durbin, [44]), а так же целом ряде работ других авторов. В [44] вводился процесс ип(Х): А Е [0,1], такой что un(F(x, еп)) = п1'2 [Fn{x) - F{x, §п)

Тогда, при дополнительных условиях гладкости на F(x, 9) и дополнительных условиях на 6п , при гипотезе процесс ип{А) сходится слабо в Z)[0,1] к гауссовскому процессу «(А), Л G [0,1], с распределением, зал висящем от гипотетического семейства и оценки 6п . А значит и процесс vn(X), А £ [0,1], такой, что vn{F(x, 9п)) = n1/2 [Рп{х, fin) - F(x, §п) сходится слабо в D[0,1] к и(Л).

Для примера рассмотрим гипотезу о нормальности инноваций с нулевым средним в схеме (1.1), т.е. F(x) Е {Ф(ж/сг),0 < a < оо}, где

Ф(ж) - функция Лапласа. Тогда, если в качестве оценки для a2 расп смотреть оценку s2 := п, то vn(X) сходится слабо в D[0,1] t=i к гауссовскому процессу со средним ноль и ковариацией

R(А, ц) = А А у. - Xfi - ^Ф-1(А)</? (Ф-1(А)) Ф-1 (ц)<р (Ф-ХМ), где <р{и) = Ф'^) (подробности смотри в [4]). Для проверки гипотезы о нормальности можно использовать критерий ш2, т.к. соответствующее предельное распределение табулировано в [19], [20].

Упомянутые результаты относились к случаю, когда наблюдаемые величины зависимы и образуют выборку из строго стационарной последовательности. Замечательно, что удается решать похожие задачи и для разнораспределенных наблюдений. Так в работе Муганцевой [21] с помощью остаточных эмпирических процессов решалась задача проверки нормальности ошибок в схеме линейной регрессии. Позже Шо-рак (Shorack , Wellner, [73] (раздел 4.6)) обобщил результаты Муганцевой для схемы линейной регрессии в случае, когда в качестве оценок для неизвестных параметров регрессии берутся произвольные у/п-состоятельные оценки. Миллер (Miller, [69]) распространил результаты Муганцевой на модели регрессии с "ошибками в переменных". В работе Лойнеса (Loynes, [67]) исследовалось поведение процесса, аналогичного г?п(А), для модели обобщенной регрессии с произвольными оценками для неизвестных параметров.

Отметим, что и в современной литературе существует множество работ, в которых эмпирические процессы используются для проверки гипотез о виде распределения ошибок (шума, инноваций) в той или иной модели. Так, например, в работе Коула и Линга (Koul , Ling, [59]) рассматривался класс гетероскедастических моделей, в который входит, например, GARCH и ARMA-GARCH модели; в работе Ли и Вей (Lee, Wei, [64]) рассмотрен класс стохастических регрессионных моделей, в которых входит, например, стационарная AR{оо) модель; в работе Ли и Танигучи (Lee, Taniguchi, [63]) рассмотрена ARCH-SM модель; в работе Чана и Линга (Chan, Ling, [41]) рассмотрены временные ряды с короткой и длинной памятью.

Критерии согласия типа Колмогорова и ш2 вовсе не единственное и даже не основное применение эмпирических процессов во временных рядах. Главное применение — для оценивания параметров моделей в семипараметрической ситуации (когда распределение инноваций неизвестно) и для исследования тестов для проверки гипотез об этих параметрах. Эти задачи требуют рассмотрения иных остаточных эмпирических процессов — взвешенных и случайно взвешенных. Мы рассмотрим два типа оценок, которые будут использованы в диссертации, — оценки минимального расстояния (далее MD-оценки) и обобщенные М-оценки (далее GM-оценки). Однако начнем с истории развития метода минимального расстояния, поскольку большая часть диссертации посвящена этому вопросу.

Метод минимального расстояния оформился в 50-х годах 20-го века в работах Вольфовитса (Wolfowitz, [76], [77], [78]). Для схемы повторной выборки его идея выглядит следующим образом. Пусть £i,., еп -н.о.р.с.в. с ф.р. Fq{x) , где в Е в. Рассмотрим следующий функционал от э.ф.р. Fn(x), построенной по наблюдениям {et} :

Кп(в) = sup п1'2 [Fn{х) - Fe{x)] . (1.8)

Тогда MD-оценка 9u^md определяется как такая измеримая функция

ОТ £1 ЧТО 0n:MD 60 и

Кп(9п,мп) < - + infKn(0).

П 060

Фактически в качестве оценки выбирается такое 0 6 0, что Fg(x) ближе других к э.ф.р. в смысле равномерной метрики.

В [76]-[78] на основе этого приема строятся MD-оценки для параметров схемы повторной выборки, схем одномерной авторегрессии и скользящего среднего. Доказана состоятельность оценок.

В работе Коула (Koul, [53]) для определения MD-оценки параметра одномерной линейной регрессии используется взвешенный остаточный эмпирический процесс п wn(x, в) := п1'2 dtn [I {et(6) ^х}- F(x)], t=1 где {dtn} равномерно ограниченный набор чисел, £t{@) — остатки, определяемые аналогично остаткам модели авторегрессии.

Оценка 0niMD определятся как точка минимума функционала от эмпирического процесса оо

6n,MD := Argmiii0eiA/Cn(0), где К,п(0) = J w*(x,0)dG(x). (1.9) оо

Здесь Л = М. (далее, при определении MD-оценок в других моделях, Л может быть иным), G{x) - априорно выбираемая монотонная ограниченная функция. (Далее, если интегрирование проводится по всей прямой, пределы интегрирования будут опускаться.) Доказана асимптотическая гауссовость On,MD •

Задача оценивания параметра одномерной регрессии в случае, когда неизвестно распределение инноваций, была решена в работе Коула (Koul [54]) для случая, когда инновации имеют симметричное распределение. Оценка определяется аналогично (1.9), только эмпирический процесс wn(x,9) заменен на п шп(х,в) := и'1'2 ]Г dtn |1{е*(0) ^®} + I{et(0) ^ -х} - 1]. t=1

Оценка при таком подходе оказывается асимптотически гауссовской с тем же предельным распределением, что и в параметрической задаче.

Далее в работе Коула (Koul [55]) при построении оценки параметра одномерной авторегрессии (1.1) было показано, что подход, разработанный для модели линейной регрессии, работает также и для авторегрессии. Оценка определяется аналогично (1.9), только эмпирический процесс wn{x,0) заменен на

71 wn(x,0) - п"1/2 ]Г %;!) pr{et(0) t=i h(-) - априорно выбираемая функция. Процесс wn(x,0) называется случайно взвешенным остаточным эмпирическим процессом.

Доказана асимптотическая нормальность построенной оценки. Непараметрическая задача оценивания решена по аналогии с линейной регрессией в случае, когда выполнено условие симметрии распределения инноваций.

Доказательство асимптотической нормальности оценок, предложенных Коулом, основывается на доказательстве равномерной асимптотической линейности соответствующего эмпирического процесса. Для примера рассмотрим процесс wn(x, 9). Положим w„(®, 9) := w„(®, ß) + nl'2(0 - ß)E [h(y0)y0] f(x).

Процесс wn(x,0) имеет смысл равномерного асимптотического линейного приближения для wп(х,6). Равномерная асимптотическая линейность (AUL) означает, что для любого 0 ^ В < оо имеет место разложение sup |w„(®,0) - wn(s,0)l = оР{ 1), Лп{В) = h : \0-ß\^ п-^в) xeR ,etAn(B) 1 J

1.10)

Для модели (1.1) при некоторых условиях на распределения инноваций и функцию h(-) соотношение (1.10) доказано в [55].

Покажем, как при помощи AUL устанавливается асимптотическая нормальность MD-оценки. Из (1.10) получаем, что для любого 0 ^ В < оо выполнено sup \Кп(0)-Кп{О)\=оР(1), (1.11) веЛп(В) где Кп{9) подсчитана по wn(x,9) как в (1.9), а Кп(9) - по -wn{x,Q). Тогда

Кп{9) = Kn{ß) + 2n1/2Sn(9 -ß} + nD(9 - ß)2, n Г г E [%оЫ X) Kvt-1) J P fe < - ^ W] f(x)dG(x) t=l

D = [Е%0Ь]2 / f(x)dG(x).

Обозначим Рп - точку минимума Кп{0). Поскольку Кп{9) является квадратным трехчленом, то ¡Зп имеет вид: ¡Зп = (3 — п-1/2!)-1^. В силу ЦПТ для Sn получаем, что п1//2(/Зп — ¡3) сходится по распределению к нормальной случайной величине. Для доказательства асимп

Л „ А тотической нормальности /?п,мг> остается показать, что (Зп — fin,MD — ор(п-1/2). Это следует из (1.11) в предположении у/п-состоятельности Pn,MD ( у/п-состоятельность ¡Зп уже доказана).

Доказательство у/п-состоятельности ¡3n,MD основывается на монотонности процесса wn(x,6). Действительно, при h(y)y ^ 0 или h(y)y ^ 0 процесс п wn{x, 9) = п1'2 Y, Kvt-1) Р < х + yt-i(9 - /3)} -t=î является монотонным по 9 в силу монотонности индикатора. Подробности этой части доказательства нас в дальнейшем интересовать не будут, поэтому здесь мы их опустим.

Гауссовость построенной MD-оценки для параметра стационарной авторегрессии была доказана еще в 80-х года ХХ-го века и было бы естественным обобщить эти результаты на ARMA модель. Но даже на модель скользящего среднего эти результаты перенесены не были. И причина как в технических, так и в идейных затруднениях.

Пусть, например, щ,. ,ип - выборка из решения уравнения скользящего среднего первого порядка

Щ = £t + OLSt-ъ '|ск| < 1, i G (1-12)

Остатки в модели (1.12) естественно определить рекуррентным соотношением et{9)=ut-9et-1{9), е0{9) = 0. i-1

Т.е. £t(9) = • Мы видим, что остатки в модели (1.12) з=о имеют вид многочленов, что делает работу с ними куда более трудоемкой, чем с остатками в модели авторегресси (1.1), которые имеют вид

0) — Уь — вуь-1- В частности, это объясняет, почему результат (1.3), доказанный в [7] в 1982 году, был распространен на модель скользящего среднего в [6] лишь через 7 лет, хотя идеи доказательств одни и те же.

Кроме того, случайно взвешенный остаточный эмпирический процесс для модели (1.12) имеет вид

Отметим, что в качестве "весовой"функции к можно взять любую (с некоторыми моментными ограничениями) функцию, зависящую от "прошлого" (т.е. щ, щ,. ,щ), и построенная по ней оценка будет асимптотически гауссовской. Однако целесообразно выбрать весовую функцию как в (1.13), поскольку частным случаем оценки, определяемой с помощью эмпирического процесса (1.13), является оценка, асимптотически эквивалентная оценке максимального правдоподобия.

Нетрудно видеть, что уп(х,6) не является монотонной функцией по в, в отличие от процесса -жп(х:9). Тем самым, схема доказательства л/п-состоятельности оценки, разработанная Коулом в его работах, для МЭ-оценки параметра скользящего среднего не работает.

Кроме того, все МЮ-оценки, предложенные Коулом, либо используют при построении функцию распределения инноваций (это параметрическая ситуация), либо требуют симметрию распределения инноваций.

В некоторых случаях от предположения о симметрии распределения можно отказаться. Так в [75] рассматривалась выборка ., хп из А11СН(1) модели

Оценка ап,М£> для а определяется, как точка минимума функционала (1.9) от эмпирического процесса уп(Х, в) := «-^¿й (М) р{е,(в) < *} - *■(»)]. (1.13)

1.14) П ъ(х1в) = п-112^Къ-1,0) 1{еь{в)^х}-Рп{х,в) здесь, как и раньше, Fn(x:9) - остаточная э.ф.р., т.е. неизвестная ф.р. F{x) заменена на остаточную э.ф.р. Показано, что при некоторых дополнительных условиях регулярности, так определенная оценка существует и является асимптотически гауссовской.

Интересной задачей, в особенности для приложений, является перенос результатов Коула на ARMA модель. Проблемы, которые возникают при таком обобщении (мы о них сказали выше), можно попытаться решить с помощью подхода из [75].

Отметим, что одно из важных свойств MD-оценок, делающих их привлекательными для применения, есть свойство робастности. Существует несколько определений робастности оценки. Мы будем понимать ро-бастность как конечную чувствительность функционала влияния оценки. Подобную характеризацию робастности предложили Мартин и Йо-хаи (Martin, Yohai, [68]).

Известно, как вычислить функционал влияния оценки, определяемой как решение уравнения, см. в [68]. Сложнее посчитать функционал влияния оценки, определяемой экстремальной задачей. К такому типу оценок относится MD-оценка. Отметим две работы, в которых в явном виде подсчитан функционал влияния MD-оценок и выписаны условия, при которых чувствительность конечна. В работе Дхара (Dhar, [42]) рассмотрена непараметрическая MD-оценка для параметра модели авторегрессии; в работе Сорокина [75] — MD-оценка для параметра ARCH модели.

AUL остаточного эмпирического процесса так же позволяет доказывать асимптотическую гауссовость GM-оценок. Обратимся опять к модели (1.1). Пусть в дополнение к h фиксирована функция ф : Ж. —> Ж. GM-оценка ßn,GM в модели (1.1) определяется как корень уравнения п

Zn(9) := n-w Y, Куь-1)ФЫв)) = 0. 1

Для доказательства существования у/п— состоятельного решения и его гауссовости необходимо получить равномерное линейное разложение гладкая, то это можно сделать с помощью формулы Тейлора, однако она не применима, если функция ф не является дифференцируемой. Но такие случаи крайне важны, например, ф(х) = signж .

Предположим, что ф(х) непрерывна, имеет ограниченную вариацию и Жф^ег) — 0. (В некоторых случаях от условия непрерывности можно отказаться, но тогда надо иначе определять оценку, для примера см. п. 5.5.1 из [3]). Тогда Zn{9) можно тождественно переписать в виде где Л Е [/1(2/0)2/0] / 1(х)с№(х). Из (1.15) можно получить, что с вероятностью, стремящейся к 1, существует (Зщсм > Для которого

Из последнего равенства и ЦПТ для Zn(ß) следует асимптотическая нормальность ßn,GM •

Обозначенный подход применялся в монографии Коула (Koul, [57]) для линейной регрессии и авторегрессии, в работе Болдина [33] для ARCH модели, в работе Вязилова [13] для GARCH модели.

Класс решаемых при помощи остаточного эмпирического процесса задач не ограничивается перечисленными выше. Например, AUL указывает путь к исследованию различных ранговых статистик, построенных по остаткам. Действительно, если ., .йп(0) - ранги

Zn(9) в 0{п х/2) окрестности истинного значения параметра. Если ф в<=Ап(В)

Zn{ßn,GM) = 0, ßn,GM =ß~ n-WjZntf) + Opin-1'2). ei(0),.,e„(0), то

Rt(e) = nFn(Et(9),9) и тогда равномерное линейное разложение для остаточного эмпирического процесса позволит находить разложение для ранговых статистик.

Ранговые статистики широко используются для построения оценок. Так в работе Юресковой (Jureskova, [51]) строятся ранговые оценки для параметров линейной регрессии, у Коула и Осиандера (Koul, Ossiander, [60]) и у Болдина [35] - для параметров стационарной авторегрессии, у Коула (Koul, [56]) - для параметров нелинейных моделей с аддитивными шумами.

Основные результаты рангового анализа во временных рядах, впрочем, связаны не с задачами оценивания, а с задачами проверки гипотез. Так в работах Халлина и др. (Hallin, [45] и [46]) с помощью линейных и квадратичных ранговых статистик проверяется гипотеза о том, что наблюдается "белый шум", против альтернативы, что наблюдения порождаются стационарной ARMA моделью; в статье Халлина и др. (Hallin, [47]) проверяется одна ARMA модель против другой; в работе Крайса (Kreiss, [62]) с помощью ранговых тестовых статистик проверяются линейные гипотезы в авторегрессии; у Халлина и др. (Hallin, [48]) для проверки одной ARMA модели против другой ARMA используются знаково-ранговые статистики (результаты суммированы в обзоре Халлина и др. (Hallin, [49])). В работе Халлина и др. (Hallin, [50]) проверяются линейные гипотезы в схеме линейной регрессии с ошибками, порожденными ARMA моделью. Знаковые оценки и тесты для проверки линейных гипотез исследовались в монографии Болдина и др. [3] и работе [9].

Перейдем теперь к классу задач о "дрейфе11 параметров разностных уравнений. Эти задачи решаются с помощью последовательных остаточных эмпирических процессов. Рассмотрим такую задачу на примере модели авторегрессии. Цитируем [34].

Итак, проверяется гипотеза H о том, что наблюдения г/о? Уъ ■ ■ • ? Уп суть выборка из строго стационарного решения модели (1.1). В качестве альтернативы рассматривается Ап о том, что наблюдения уо, yi,. ,уп порождаются моделью

Уь = PtnVt-i + ей t С Z+, уо = 0. (1.16)

Ры = Р + n~1/2btn, sup |6in| < oo, (1.17) i,n btn} неизвестны, и для некоторой функции b(y) G D[0,1] sup i/6[0,l]

1 X>n -bм n t<ni/

-> 0. (1.18)

Предположение (1-18) выполняется, например, когда последовательность {&гп} , £ = 1,., п, изменяется только в моменты времени Ь = [пр^ [п^],., [ш^], 0 < щ < . < щ. Тогда Ъ(р) кусочно линейна, непрерывна и имеет "изломы" в точках ., Рь

Тестовая статистика строится на основе последовательного остаточного эмпирического процесса уп{у,в) := п-1/2 ^ зщпу^^пе^в), р в [0, 1], в е Ж.

Щпи

Л Л

Чтобы предельное распределение процесса уп(^, /Зп) (/Зп — состоятельная оценка (3) было свободно от параметров модели при Н, в качестве ¡Зп выбирается оценка, для которой верно разложение

1 п п1/2фп - /з) = 2/(0)Е|у1| ^ + С1-19)

Ь—1

При некоторых естественных условиях регулярности медиана массива {^/^¿-х} , £ = 1,. ,п удовлетворяет (1.19) (см. подробности в [34])

Тощ При Ап

Тогда при Я vn(^, 0п) v(t/), где v(v) — броуновский мост.

А») ^ VM + 2/(0)Е\У1\ (6(1/) - ^(1)).

Тестовые статистики для проверки Н против Ап, например,

Dn = sup i п(^Дг) и ¿и2 = /у/Зп)(11/. Предельные распределения V о при Н таких статистик суть распределения Колмогорова и и1.

Отметим еще раз, что главная идея [34] состоит в согласовании оценки и последовательного остаточного эмпирического процесса (другой пример для схемы повторной выборки см., например, в [23]). Однако обычно согласование оценки и процесса не требуется. Для примера рассмотрим задачу типа пchange-pointмдля модели авторегрессии. Используемый для ее решения последовательный процесс позволяет строить асимптотически свободные тесты без всякого согласования способа оценивания параметров и структуры процессов.

Пусть в модели (1.1) с.в. {е^} до неизвестного момента [пи], 0 < и < 1, имеют функцию распределения ^(ж), а после этого момента - ^(ж), ф ^2, неизвестны. Гипотеза Н состоит в том, что ^(ж) = (ж). Опишем кратко тест и его распределение при Н.

Пусть е^О) - остатки модели (1.1), ¡Зп есть у/п-состоятельная оценка параметра /3. Пусть Рщ1/{х) и Рпдг/(ж), и £ [0,1], будут э.ф.р., по/ч л л л строенные по £1 (¡Зп),., е[„„](/У и €[П1/]+1(Рп),£п(рп) соответственно. Статистика типа Колмогорова-Смирнова для проверки Н имеет вид Dn = sup x.v

Bn{x,v) где

Bn{x, v) = -^ -n ^ {Fn,v(x) - Fntl-v(x)) .

Обозначим D2 метрическое пространство функций на квадрате [0,1]2, имеющих пределы снизу и непрерывных сверху с метрикой, Скорохода. Пусть B{v,ß) непрерывный гауссовский процесс на [0,1]2 с нулевым средним и ковариацией

Cov(ß(z/i,Aii), B(u2,fJ,2)) = (yi Л I/2 - VlV2){ßl А/^2

Пусть Вп(х, v) строится по самим е\,.,еп. В силу работы Бикела и Вичуры (Bickel, Wichura, [32])при гипотезе выполнено

Bn(F 1(i/),/x) Тогда (при естественных условиях регулярности) при H sup Bn{x,v) - Bn(x,v) =оР( 1), Ên(F-1(^),/i) ^ х,и так что Dn A sup \В(у^ ц)\. Распределение последней статистики табулировано в работе Пикарда (Pikard, [72]). Статистика Dn распределена асимптотически свободно, но никакого согласования ¡Зп и Èn(x,v) здесь нет.

Подобные результаты давно описаны в литературе: для стационарной ARMA модели в работе Баи (Bai, [31]), для нестационарной авторегрессии у Линга (Ling, [66]), для нелинейных моделей с аддитивными "шумами" у Коула (Koul, [56]), для ARCH модели у Болдина в [5]. Отметим так же работу Карлштейна (Carlstein, [40]), в которой была предложена оценка момента разладки v в схеме повторной выборки.

Завершая обзор литературы отметим, что некоторые задачи из рассмотренных выше до сих пор не решены для ARMA модели. Так, например, актуальной с прикладной и математической точки зрения задачей является обобщение результатов по MD-оцениванию на ARMA модель. Это до сих пор не было сделано, хотя результаты для AR модели получены еще в 80-х годах прошлого века. Так же интересной, в особенности для приложений, задачей является задача проверки гипотезы о постоянстве коэффициентов ARMA модели, против альтернативы об их "дрейфе". Проблемы, возникающие при обобщении результатов на ARMA модель,связаны как с техническими затруднениями (например, решение задачи о "дрейфе"параметров), так и с принципиальными (мы отмечали, что метод доказательства ^/п-состоятельность MD-оценки, разработанный Коулом, не работает для модели скользящего среднего). В данной диссертации пытаемся справиться с этими затруднениями. Сейчас кратко опишем полученные результаты по главам.

Будем рассматривать АГША(р^) модель, задаваемую уравнением р я щ ~ + + Ъ^-у (1.20) г=1 ]=1

Вторая глава посвящена проверке гипотезы Н о том, что параметры с = . ,ар,Ь\,., Ьд)т модели (1.20) постоянны , т.е. с = Со, и неизвестны, против альтернативы Ап о том, что они "дрейфуют" во времени. Тогда щ-р,., ип является выборкой из решения уравнения р а

Щ = (а* + ^-г + ^ + Х^ (ь,- + 61-3, * = 1, 2, • - •, г=1 з=1

1.21) с нулевыми начальными условиями.

На последовательность с^ = (а^,., а™р, Ь"1}., накладывается условие равномерной ограниченности. Кроме того, для некоторой функции с (и) из 1] выполнено вЩ^ер),!]

->> 0.

Тестовая статистика для проверки Н против Ап строится на основе последовательного эмпирического процесса

1/) := тГ1/* ^ Ь (е£х(0)) (1-22) где £¿(0) - остатки модели (1.20), := —дедд^ , Ъ. и ф - априорно выбираемые функции.

Чтобы предельное распределение тестовой статистики, основанной на v7г(cn,z/), не зависело от параметров модели, в качестве сп необходимо выбрать оценку согласованную с процессом. Т.е. оценку, для которой при Н верно разложение п1'2 (сп - с) = З-1 • п1'2 £ Це^фЫ . (У /(*)#(*)) 1 + ор{ 1).

1.23)

Здесь — стационарный предел для е^1(с), Л = ЕИ(ео)ед .

Вопрос о выборе оценки, для которой верно разложение (1.23), решается рассмотрением ОМ-оценки , которая определяется как корень системы уравнений тг

1.24) г=1

Показано (Утверждение 2.1.1), что при некоторых дополнительных условиях на функцию ф данная система уравнений с вероятностью, стремящейся к 1, имеет у/п-состоятельное решение сп&м, для которого верно разложение (1.23).

Таким образом, если сп - л/п-состоятельное решение (1.24), то (Теорема 2.1.1) при гипотезе Н у„(с„, V) [Ч!Ы]1,!.Е[Ь(е1)Ьг(е1)]"!уМ1 где v(z/) вектор-процесс, компоненты которого суть независимые броуновские мосты. При альтернативе сп,*/) [Е^2(£1)]1/2 -Е [Ь(е1)Ьт(е1)]1/2уМ + д{у\ где д{у) - некоторый неслучайный сдвиг. Доказательству этого результата (Теоремы 2.1.1) посвящен второй параграф главы.

Если ~¥п и суть состоятельные при Ап оценки матрицы Е [Ь(в1)Ьт(е1)] и константы Е^2^), то слабый предел

П) р) при Н свободен от параметров модели, что позволит использовать Для построения тестовой статистики. Таковой берется статистика типа омега-квадрат.

Поскольку построенные тесты зависят от априорно выбираемых функций Ъ. и ф, то возникает вопрос об оптимальном выборе этих функций. Поскольку предельные распределения тестовых статистик не гауссовские и не хи-квадрат, то воспользоваться классическим определением асимптотической относительной эффективностью по Питмену для нахождения оптимального теста мы не можем. Однако, в случае, когда h(x) = х, удается определить естественную асимптотическую относительную эффективность, которая помогает определить оптимальный тест. В Теореме 2.1.2 показано, что так определенная АОЭ существует, единственна и приведен ее явный вид.

Наконец, третий параграф главы посвящен получению равномерного линейного разложения последовательного эмпирического процесса (Теорема 2.2.1) v„ (с + п-^т, Z/) =v„(i/)+J-[c(i/)-i/r] J f(x)dif>(x) + op( 1), (1.25) равномерно по (||т|| ^ в, v е [0,1]). На основе этого разложения построено доказательство основной Теоремы 2.1.1.

Третья глава посвящена модернизации оценок наименьшего расстояния Коула для стационарной авторегрессии в случае, когда распределение инноваций неизвестно и нет условия симметрии этого распределения.

Мы определяем MD-оценку для параметра одномерной авторегрессии (1.1) как решение экстремальной задачи (1.9), где Л = {9 : \9\ < 1}, а Кп(6) построен по процессу п wn(x,d) := n-W^Kyt-i) t=i

По описанной выше схеме доказательства асимптотической нормальности MD-оценок (см. стр. 12) достаточно доказать у/п-состоятельность оценки и AUL эмпирического процесса в 0(п1/2) окрестности истинного значения параметра. Понятно, что у/п-состоятельность в этой схеме нужна для того, чтобы мы могли утверждать, что с вероятностью, стремящейся к 1, точка минимума Кп(9) попадает в окрестность, в которой верно AUL эмпирического процесса.

I{et(0) ^x}-Fn{x,9)

1.26)

Поскольку автору не удалось доказать у/^~с0ст0ятель110сть предложенной оценки, была модернизирована стандартная схема доказательства. Доказывается п1/2-5 -состоятельность оценки (8 > 0) и доказывается AUL процесса в 0{п~1^2+6) окрестности истинного значения параметра. С одной стороны при таком подходе мы выигрываем (доказательство п1!2~5 -состоятельность тем проще, чем больше 8), с другой стороны мы вынуждены обосновывать AUL процесса в нестандартной окрестности. Даже при маленьких 8 мы не можем воспользоваться общими теоремами о разложении остаточного эмпирического процесса, и приходится уточнять доказательства этих теорем.

По описанной схеме в первом параграфе доказывается асимптотическая нормальность предложенной оценки (Теорема 3.1.1) с предельной дисперсией Е Щу0) Е ф%{е1) [Е уоЦуо)}2 [S pdG(x)f где Цу0) := %0) - Е%0), М») ■= f(x)dG{x).

Отметим, что данная дисперсия всегда не больше дисперсий MD-оценок, предложенных Коулом для параметра авторегрессии (у Коула в числители первой дроби Kh2(yo)). Таким образом, предлагаемая модернизированная оценка не требует знания распределения инноваций, не требует симметрии распределения и при этом всегда не хуже (с точки зрения асимптотической относительной эффективности) оценок Коула.

Равенство (1.27) и предельной дисперсии оценки Коула достигается при Е^(уо) = 0. Последнее верно в наиболее интересном случае h{x) = х.

Доказательство Теоремы 3.1.1 основывается на AUL о.э.п. (Лемма 3.1.1) в 0(п-3/7) окрестности (т.е. 8 — 1/14) и п3/7-состоятельности оценки. Доказательство Леммы 3.1.1 вынесено в третий параграф. Доказательство п3/7-состоятельности оценки основано на равномерной оценке для эмпирического процесса (Лемма 3.1.2), доказательство которой вынесено в третий параграф.

В втором параграфе исследуется робастные свойства построенной MD-оценки с точки зрения конечной чувствительности функционала влияния. Доказано (Теорема 3.2.1), что функционал влияния MD-оценки равномерно ограничен для выбросов с конечным вторым моментом.

Четвертая глава посвящена построению оценок и тестов минимального расстояния для ARMA модели. Предлагается новый двухша-говый метод оценивания, отличающийся от описанного в третьей главе для параметра одномерной авторегрессии. Данный метод применялся в § 6.6.3 [3] при построении знаковой оценки параметра одномерной авторегрессии. Отметим, что к общей ARMA модели метод минимального расстояния для задач оценивания и проверки гипотез применяется впервые.

MD-оценка, как и раньше, определяется как решение экстремальной задачи (1.9), где Кп(в) построен по эмпирическому процессу п t=1

Но минимизация проходит не по всем возможным в, а лишь по в из окрестности радиуса n-1//2logn с центром в некоторой предварительной у/п -состоятельной оценки сп. Т.е. в (1-9) А= {в : п1'2 \\0 - сп\\ <logn}.

При таком подходе для доказательства асимптотической нормальности построенной оценки (в соответствии со стандартной схемой доказательства, см. стр. 12) не надо доказывать л/n-состоятельность оценки, но при этом необходимо доказать AUL соответствующего случайно взвешенного о.э.п. в 0(n-1/2 log п) окрестности истинного значения параметра. Таким образом, для доказательства AUL мы опять не можем воспользоваться общей теоремой о разложении о.э.п. в l{st(e)^x}-Fn(x,6) . окрестности точки из [33] и нам необходимо модернизировать ее для новой окрестности.

В конце главы построенные оценки используются для построения тестов для проверки линейных гипотез. Для подсчета асимптотической мощности необходимо знать распределение тестовых статистик при альтернативах вида Н\п : с = сп := со + та-1/2d -f- о{п~1/2). Вот почему во втором параграфе доказывается AUL процесса wn(x, в) в 0{n~1l2\ogn) окрестности истинного значения параметра при Н\п (Теорема 4.2.1). Случай, когда коэффициенты модели постоянны, является частным случаем этой теоремы при d = 0. Итак, показано, что при Ны sup

Wn(x,cn + n 1/2т) - Jt/(îc) - w°(œ) = oP(log 1n), где w°(®) := n-V2£h(et-i)[I{et^x}-F(x)]Met-ï) := h(eÉi) - ЕЦе^).

С помощью AUL процесса wn(x, 9), доказывается основной результат четвертой главы — асимптотическая гауссовость MD-оценки параметра ARMA модели (Теорема 4.3.1 в случае, когда коэффициенты постоянны, Теорема 4.4.2 при Н\п). Предельная матрица ковариации имеет вид

ЕMD = [h(e0)hr(e0)] (J"1)^^/, G), где

G) := ЕфЦеу) [j f2dG{x)) , фс(у) := J [I {v К x}- F(x)} f(x)dG(x).

Отметим, что при q = 0 и р = 1 ковариация Ещ? совпадает с сг2 из (1.27). И это не удивительно, ведь при определении этих двух оценок использовался один и тот же процесс.

В четвертом параграфе на основе построенных оценок стандартным образом строятся тестовые статистики для проверки линейных гипотез об ARMA модели. Предельное распределение тестовых статистик суть центральное и нецентральное хи-квадрат распределение при гипотезе и при альтернативе соответственно (Теорема 4.4.1). Параметр нецентральности выписывается в явном виде. Это позволяет сравнить данный MD-тест с другими тестами (найти асимптотическую относительную эффективность). В частности, в пятом параграфе MD-тесты сравниваются с тестами наименьших квадратов и знаковыми тестами, предложенными в работе [9].

Глава 2

Проверка гипотезы о "дрейфе" параметров в А11МА(р,д) модели

В данной главе будут построены тесты для проверки гипотезы о "дрей-фе"параметров в А11МА(р,д) модели. Закон изменения параметров ("дрейф") аналогичен тому, что рассмотрен в (1.16)-(1.18) для авторегрессии. Тестовые статистики строятся на основе последовательных процессов, согласованных со способом оценивания неизвестных параметров модели.

В параграфе 2.1 будет поставлена задача и сформулированы основные результаты.

В параграфе 2.2 дано доказательство этих результатов, которое основывается на равномерном линейном разложении последовательного процесса. Доказательство этого разложения вынесено в параграф 2.3.

Результаты данной главы содержаться в публикациях автора [27], [10] и [38].

1. Андерсон Т.Статистический анализ временных рядов. М.: Мир. 1976. 756с.

2. Биллингсли П. Сходимость вероятностных мер. М.: Наука. 1977. 352с.

3. Болдин М.В. Симонова Г.И. Тюрин Ю.Н. Знаковый статистический анализ линейных моделей. М.: Наука. 1997. 288с.

4. Болдин М.В. Проверка гипотез в схемах авторегрессии критериями Колмогорова и омега-квадрат.// ДАН СССР. 1983. Т. 273. №1, С. 19-22.

5. Болдин М.В. О последовательных остаточных эмпирических процессах в АКСН-модели // Успехи мат. наук. 2002. Т.57. №2. С.185-186.

6. Болдин М.В. О проверке гипотез в схеме скользящего среднего критериями Колмогорова-Смирнова и омега-квадрат.// Теор. вероятностей. и ее применен. 1989. Т. 34. №4. С. 758-764.

7. Болдин М.В. Оценка распределения возмущений в схеме авторегрессии. // Теор. вероятностей, и ее применен. 1982 Т. 27. №4. С. 805-810.

8. Болдин М.В. Последовательные процессы и тесты типа Колмогорова для авторегрессионных гетероскедастических моделей // Колмогоров и современная математика, тезисы доклодов. 2003 С. 400401.

9. Болдин М.В., Штуте В. О знаковых тестах в ARMA модели с возможно бесконечной дисперсией ошибок // Теор. вероятностей и ее применен. 2004. Т. 49. №З.С. 436-460.

10. Болдин М.В., Эрлих И.Г. Проверка гипотезы о "дрей-фе"параметров в ARMA и ARCH моделях// Труды VI Кол-могоровских чтений. Ярославль. Издательство ЯГПУ. 2008. С. 94-102.

11. Болыпев Л.Н., Смирнов Н.В. Таблицы математической статисти-ки.М.: Наука. 1983. 416с.

12. Боровков A.A. Математическая статистика. М.:Наука. 1984. 472с.

13. Вязилов А.Е. Эмпирические процессы в GARCH(l,l)-мoдeли и ро-бастное оценивание параметров // Успехи мат. наук. 2001. Т.56. №5. С.179-180.

14. Вязилов А.Е. Остаточная эмпирическая функция распределения в G ARCH (1,1) и ее применение при проверке гипотез / / Успехи мат. наук. 1999. Т.54. №4. С. 163-164.

15. Гаек Я., Шидак 3. Теория ранговых критериев. М.:Наука. 1971. 352с.

16. Гихман И.И., Скороход A.B. Теория случайных процессов. М.:Наука. 1977. 568с.

17. Кеидалл М., Стьюарт А. Статистические выводы и связи. М.: Наука. 1973. 899с.

18. Мартынов Г.В. Вычисление предельного распределения статистик критерия нормальности типа омега-квадрат // Теор. вероятностейи ее применен. 1973. Т. 18. №3. С. 671-673.

19. Мартынов Г.В. Вычисление предельных распределений статистик критериев нормальности типа омега-квадрат // Теор. вероятностей и ее применен. 1976. Т. 21. №1. С.3-15.

20. Мартынов Г.В. Критерии омега-квадрат. М.: Наука. 1978. 80с.

21. Муганцева Л. А. Проверка нормальности в схемах одномерной и многомерной регрессии // Теор. вероятностей и ее применен. 1977. Т. 22. №3. С. 603-614.

22. Надарая Э.А. О непараметрических оценках плотности вероятности и регрессии // Теор. вероятностей и ее применен. 1965 Т.10. №1. С.199-203.

23. Парджанадзе А.М. Функциональные предельные теоремы в задаче апостериорного обнаружения разладки // Теор. вероятностей и ее применен. 1986. Т. 31. №2 С. 408-411.

24. Смирнов Н.В. О распределении о;2-критерия Мизеса // Матем. сб. 1937. Т.2(44). №5. С.973-993.

25. Ширяев А.Н. Вероятность-1. М.: Московский центр непрерывного математического образования. 2004. 520с.

26. Ширяев А.Н. Вероятность-2. М.:Московский центр непрерывного математического образования. 2004. 408с.

27. Эрлих И.Г. Проверка гипотезы о "дрейфе"параметров в модели скользящего среднего // Вестник МГУ. Математика. Механика. 2009. №1. С. 8-11.

28. Эрлих И.Г. Двухшаговые оценки типа минимального расстояния для параметров модели ARMA(1,1) // Вестник МГУ. Математика. Механика. 2010. №6. С. 52-54.

29. Эрлих И.Г. Тесты минимального расстояния для проверки линейных гипотез в ARM А модели / / Обозр. прикл. pi промышл. матем., 2010, Т. 17, вып. 3, С. 374-375.

30. Bai J. Weak convergence of the sequential empirical processes of residuals in ARMA models// Ann. Statist. 1994.V. 22. P.2051-2061.

31. Bickel P.J., Wichura M.J. Convergence for multipa rameter stochastic processes and some applications // Ann. Statist. 1971. V. 42. P.1656-1670.

32. Boldin M.V. On empirical processes in heteroscedastic time series and their use for hypothesis testing and estimation // Math. Methods Statist. 2000. V. 9. №1. P.65-89.

33. Boldin M.V. On median estimates and tests in autoregressive models // Math. Mathods Statist. 1994.V.3 .P. 114-129.

34. Boldin M.V. On residual empirical distribution function and rank estimators in autoregression // Math. Methods Statist. 1997.V. 6. №1. P. 70-91.

35. Boldin M.V. On sequential residual empirical processes in heteroscedastic time series // Math. Methods Statist. 2002. V.U. P.453-464.

36. Boldin M.V. On residual empirical distribution functions in ARCH models with applications to testing and estimationMitt. Math. Sem. Glessen. 1998. V.235. P.49-66.

37. Boldin M.V., Erlikh I.G. Testing Hypotheeses on the "Drift" of Parameters in ARM A and ARCH Models // Math. Methods Statist. 2009. V.18. m. P. 1-19.

38. Brockwell P.J., Davis R.A. Time Series: Theory and Methods. New York. Springer-Verlag. 1987. 519 p.

39. Carlstein E. Nonparametric change point estimation // Ann. Statist. 1988. V. 16. P. 188-197.

40. Chan N.H., Ling S. Residual empirical processes for long and short memory time series // Ann. Statist. 2008. V. 36. №5. P.2453-2470,

41. Dhar S.K. Minimum distance estimation in an additive effects outliers model // Ann. Statist. 1991. V.19. №1. P.205-228.

42. Doukhan P. Mixing: Properties and Examples Lecture Notes in Statistics, V.85. New York. Springer-Verlag. 1994. 142p.

43. Durbin J. Weak convergence of the sample distribution function when parameters are estimate,// Ann. Statist. 1973. V.l. №2. P.279-290.

44. Hallin M., Ingenbleek J.-F., Puri M.L. Linear serial rank tests for randomness against ARM A alternatives // Ann. Statist. 1985. V.13. №3. P.1156-1181.

45. Hallin M., Ingenbleek J.-F., Puri M.L. Linear and quadratic rank tests for randomness against serial dependence// J. Time Ser. Anal. 1987. V.8. №4. P.409-424.

46. Hallin M., Puri M.L. Optimal rank-based procedures for time series analysis: testing an ARMA model against other ARMA models // Ann. Statist. 1988. V.16, №1. P.402-432.

47. Hallin M., Puri M.L. Time series analysis via rank order theory: signed-rank tests for ARMA models // J. Multivariate Ahalysis. 1991. V.39. m. P. 1-29.

48. Hallin M., Puri M.L. Rank tests for time-series analysis: a survey. New Directions in Time Series Analysis, Part I. Ed. by D. Brillinger, E. Parzen, and M. Rosenblatt. 1992. New York. Springer-Verlag. 11-153.

49. Hallin M., Puri M.L. Aligned rank tests for linear models with autocorrelated error terms // Multivariate Analysis. 1994. V.50. №2. P. 175-237.

50. Jureskova J. Nonparametric estimation of regression coefficients // Ann. Math. Statist. 1971. V.42. №4. P.1328-1338.

51. Kolmogorov A.N. Sulla determinazione empirica di une legge di distribuzione // Giorn. Ist.Ital. Attuari, 1933. V.4. P.83-91,

52. Koul H.L. Minimum distance estimation in a linear regression // Ann. Statist. 1983. V.ll. P.921-932.

53. Koul H.L. Minimum distance estimation in a linear regression with anknown error distribution // Statist, and Probab. Letters. 1985. V.3. P.l-8.

54. Koul H.L. Minimum distance estimation and goodness-of-fit tests in first order autoregression // Ann. Statist. 1986. V.14. P.1194-1213.

55. Koul H.L. Asymptotics of some estimators and sequential residual empiricals in nonlinear time series // Ann. Statist. 1996. V.24. №1. P.380-404.

56. Koul H.L. Weighted Empiricals and Linear Models. IMS. Hayward. CA. 1992.

57. Koul H.L., Levental S. Weak convergence of residual empirical process in explosive autoregression // Ann. Statist. 1989. V.17. P.1784-1794.

58. Koul H.L., Ling S. Fitting an error distribution in some heteroscedastic time series models // Ann. Statist. 2006. V.34. №2. P.994-1012.

59. Koul H.L. , Ossiander M. Weak convergence of randomly weighted dependent residual empiricals with applications to autoregression // Ann. Statist. 1994. V.22. P.540-562.

60. Kreiss J.P. Estimation of the distribution function of noise in stationary processes // Metrica. 1991. V.38. P.285-297.

61. Kreiss J.P. Testing linear hypotheses in autoregressions // Ann. Statist. 1990. V.18. №3. P. 1470-1482.

62. Lee S., Taniguchi M. Asymptotic theory for ARCH-SM models: LAN and residual empirical processes // Statistica Sinica. 2005. V.15. 215234.

63. Lee S., Wei C. Z. On residual empirical processes of stochastic regression models with applications to time series // Ann. Statist. 1999. V.27. P.237-261.

64. Lilliefors H.W. On the Kolmogorow-Smirnow test for normality with mean and variance unknown //J. Amer. Statist. Ass. 1967. V.62. 399402.

65. Ling S. Weak convergence of the sequential empirical processes of residuals in nonstationary autoregressive models // Ann. Statist. 1998. V.26. P.741-754.

66. Loynes R.M. The empirical distribution function of residuals from generalized regression // Ann. Statist. 1980. V.8. P.285-298.

67. Martin R.D., Yohai V.J. Influence functionals for time series // Ann. Statist. 1986. V.14. P.781-818.

68. Miller S.M. Empirical processes based upon residuals from errors-in-variables regressions // Ann.Statist. 1989. V.17. P.282-292.

69. Milnor J.W. Topology from the Differentiate Viewpoint, Princeton University Press, NJ, 1965. 64p.

70. Mokkadem A. Mixing properties of ARMA processes // Stochastic Processes Applications. 1988. V.29. P.309-315.

71. Pikard D. Testing and estimating change-point in time series // Adv. in Appl. Probab. 1985. V.7. P.841-867.

72. Shorack G.R., Wellner J.A. Empirical processes with applications to statistics. New York. Wiley. 1986.

73. Smirnov N. Sur les ecarts de la courbe de distribution empirique // Ree. Math. (Mat. Sbornik) (NS), 1939. V.6. P.3-26.

74. Sorokin A.A. On The Minimum Distance Estimates in ARCH Model // Math. Methods of Stat. 2004. V.13. №3. P.329-355.

75. Wolfowitz J. Estimation by minimum distance method // Ann. Inst. Stat. Math. 1953. V.5. P.9-23.

76. Wolfowitz J. Estimation by the Minimum Distance Method in Nonparametric Stochastic Difference Equations // Ann. Math. Statist. 1954. V.25. №2. P.203-217.

77. Wolfowitz J. Minimum distance estimation method // Ann. Math. Stat. 1957. V.28. P.75-88.

78. Whittle P. Gaussian estimation in stationary time series // Bull. Int. Stat. 1962. V.39. P. 105-129.