Методы экстраполяции нерегулярных временных рядов тема автореферата и диссертации по физике, 01.04.02 ВАК РФ

ВВЕДЕНИЕ.

ГЛАВА 1. ВРЕМЕННЫЕ РЯДЫ В ТЕОРИИ ДИНАМИЧЕСКИХ

СИСТЕМ.

1.1. Теоретические основы обработки временных рядов.

1.2. Особенности обработки реальных временных рядов.

1.3. Способы определения количественных характеристик ряда.

1.4. Возможности «нелинейной» обработки временных рядов.

ГЛАВА 2. МЕТОДЫ АНАЛИЗА И ПРОГНОЗА НЕРЕГУЛЯРНЫХ

ВРЕМЕННЫХ РЯДОВ.

2.1. Глобальные методы.

2.2. Локальные методы.

ГЛАВА 3. ОБЩАЯ МАТЕМАТИЧЕСКАЯ МОДЕЛЬ МЕТОДА

ЛОКАЛЬНОЙ АППРОКСИМАЦИИ.

3.1. Построение системы уравнений LA.

3.2. Выбор оптимального варианта LA.

ГЛАВА 4. ПРИМЕНЕНИЕ АЛГОРИТМОВ ПРОГНОЗА.

4.1. Прогноз активности Солнца.

4.2. Обобщения метода LA.

4.3. Алгоритм автоматического выбора параметров в методе локальной аппроксимации.

4.4. Дополнительные возможности алгоритма автоматического выбора параметров.

РЕЗУЛЬТАТЫ И ПЕРСПЕКТИВЫ.

Актуальность темы

Проблема обработки и анализа временных рядов является одной из классических. Оценка результатов любого эксперимента базируется на обработке полученных данных. В этих условиях обработка временных рядов с целью извлечения из них полезной информации становится одной из важнейших задач любого исследования. Но этим цели обработки временных рядов не ограничиваются. Достаточно часто определяющим является не только изучение свойств системы, породившей временной ряд, но - иногда и в первую очередь - прогноз дальнейшей динамики временного ряда - его экстраполяция. Например, в метеорологии практический интерес представляет прогноз погоды на ближайшее время, тогда как более глобальная задача изучения особенностей климата имеет в краткосрочной перспективе меньшее значение.

Задача прогноза не является исключительной принадлежностью метеорологии, она также актуальна в геофизике, где предсказание землетрясений является одним из основных направлений исследований, в астрофизике при изучении солнечной активности, финансовом анализе при прогнозе курсов акций, биржевых индексов и т.д. В этих и других областях исследований уже достаточно давно применяются методы прогноза, большинство из которых построено на линейных моделях.

В то же время с развитием технических средств постоянно расширяется интерес к построению и исследованию сложных процессов на основе нелинейных моделей. Здесь применение классических методов далеко не всегда приводит к желаемым результатам. Кроме того, встает проблема выбора подходящих моделей для описания исследуемого процесса.

Указанные трудности и ограничения в применении классических методов заставляют обратить внимание на методы и подходы, разработанные в рамках теории динамических систем. Многие их этих методов уже дано вышли за пределы самой дисциплины и привлекли внимание исследователей, работающих во многих областях науки.

Более того, за счет постоянного расширения области применения и, несмотря на связанные с этим вопросы обоснованности использования методов теории динамических систем, эта теория может стать, по сути, парадигмой анализа временных рядов. Не последнюю роль в этом играет концепция, что качество результата - единственный важный аргумент в пользу применения метода. Такой подход весьма характерен особенно при анализе временных рядов: очень немногие люди действительно считают, что фондовый рынок или поле, засеянное кукурузой, - на самом деле это линейные авторегрессионные системы. Тем не менее, линейные методы анализа временных рядов применяются к временным рядам, порожденным подобными системами, причем со значительным успехом.

В основе большинства методов, связанных с обработкой временных рядов, лежит использование многомерного представления временного ряда в виде матрицы задержек - набора копий временного ряда, взятых с определенными лагами. Новым результатом теории динамических систем явилось установление факта, что пространство задержек при соблюдении определенных условий может рассматриваться как реконструкция фазового пространства нелинейной динамической системы, породившей временной ряд (теорема Такенса и ее обобщения [1], [2]). Таким образом, была доказана возможность описания динамики многомерной системы по временному ряду наблюдаемой. В свою очередь, возможность описания и реконструкции динамики системы при определенных условиях позволяет прогнозировать ее дальнейшее поведение [3].

В рамках теории динамических систем было разработано достаточно много методов анализа и прогнозирования временных рядов. В настоящей работе подробно рассмотрены два наиболее теоретически обоснованных метода, отражающих два основных подхода к описанию динамики временных рядов: глобальный - метод сингулярного спектрального анализа [4] - и локальный - метод локальной аппроксимации [5].

Эти методы имеют свои преимущества и недостатки, например, применение сингулярного спектрального анализа позволяет сгладить исходный ряд и снизить уровень случайных возмущений. Кроме того, с его помощью удается выявлять периодические составляющие ряда и во многих случаях прогнозировать дальнейшее изменение изучаемой временной зависимости. Преимущества локальной аппроксимации проявляются в первую очередь при прогнозировании нерегулярных (хаотических и квазипериодических) стационарных временных рядов.

На сегодняшний день существует несколько вариантов метода локальной аппроксимации, которые различаются конкретным видом используемых моделей, принципами прогнозирования на несколько шагов вперед и способами численных расчетов. Также имеется несколько модификаций сингулярного спектрального анализа. Однако, в отличие от вариантов метода локальной аппроксимации, они различаются не столь принципиально и достаточно подробно рассмотрены в литературе (см. работу [4] и приведенные там ссылки).

Таким образом, в первую очередь возникает задача систематизации существующих разновидностей метода локальной аппроксимации и выбора из них наиболее оптимальной в каждом конкретном случае. Кроме того, при исследовании реальных систем, как правило, приходится иметь дело с зашумленными данными, что может затруднять использование метода локальной аппроксимации. Решение перечисленных задач, как представляется, должно способствовать расширению сферы применения рассматриваемых методов экстраполяции временных рядов.

Цели работы

Разработка математической модели метода локальной аппроксимации, позволяющей выбирать оптимальный вариант метода исходя из характеристик исследуемого временного ряда;

Анализ особенностей применения различных вариантов рассматриваемых методов;

Исследование возможностей применения рассматриваемых методов при обработке временных рядов с аддитивным шумом;

Разработка алгоритма выбора параметров локальной аппроксимации, не требующего визуального контроля и принятия решения исследователем.

Научная новизна

1. Исследован, расширен и систематизирован набор вариантов метода локальной аппроксимации;

2. Оценено качество прогнозов, получаемых различными вариантами метода локальной аппроксимации;

3. Предложен способ выбора оптимального варианта метода локальной аппроксимации;

4. Разработан метод снижения влияния шума на результаты прогноза;

5. Предложен критерий выбора параметров локальной аппроксимации.

Практическая ценность

1. Предложен математический аппарат для аналитического исследования результатов прогноза.

2. Разработан программный комплекс, реализующий методы локальной аппроксимации и сингулярного спектрального анализа, в том числе с автоматическим выбором параметров и контролем получаемых результатов.

3. Выработаны рекомендации по численной реализации методов локальной аппроксимации и сингулярного спектрального анализа для обработки временных рядов.

Структура работы

Диссертация состоит из введения, четырех глав, заключения и списка литературы. Первая глава посвящена изложению общих принципов описания и способов обработки временных рядов в рамках теории динамических систем. Классификация рассматриваемых в работе методов обработки временных рядов содержатся во второй главе. Там же проводится сравнение методов на основе тестовых примеров. Третья глава посвящена математической модели метода локальной аппроксимации. В четвертой главе рассматриваются особенности применения рассматриваемых методов при прогнозировании реальных временных рядов. В заключении приведены основные результаты работы и представлены положения, выносимые на защиту.

1. Аналитически и на реальных данных изучены возможности и

офаничения методов сингулярного спектрального анализа и локальной

аппроксимации;

2. Разработана общая математическая модель метода локальной

аппроксимации, на основе которой удалось выяснить существенные

особенности получаемого решения задачи прогноза и предложить способ

выбора варианта метода с учетом условий конкретной задачи и объема

имеющихся данных;

3. Предложен способ предварительной фильтрации защумленных

временных рядов, позволяющий существенно повысить надежность

прогноза;

4. Обоснован алгоритм автоматического выбора параметров локальной

аппроксимации, который обеспечивает возможпость использования

метода локальной аппроксимации в составе программного комплекса. Алгоритм позволяет отказаться от визуального контроля при выборе

параметров метода;

5. На основе построенных моделей и алгоритмов разработан программный

комплекс для анализа и прогнозирования временных рядов. реализующий, в том числе полностью автоматизированный режим

обработки с контролем обоснованности нрогноза. Приведенные результаты позволяют снять основное ограничение,

сдерживающее распространение метода локальной аппроксимации в

исследованиях реальных временных рядов, связанное с необходимостью

фактически интуитивного выбора параметров и варианта метода для условий

решаемой задачи. Это в свою очередь может способствовать значительному

расширению сферы применения метода локальной аппроксимации. На защиту выносятся следующие положения:

1. Обш,ая математическая модель метода локальной аппроксимации и ее

следствия;

2. Принцип предварительной SSA-фильтрации временного ряда для

экстраполяции ряда по методу локальной аппроксимации;

3. Способ автоматического выбора параметров локальной аппроксимации. Благодарности

Эта работа готовилась достаточно долго. На то были объективные, а

больше субъективные причины. Но ее не было бы вовсе, если бы не многие и

многие люди, которые направляли мою работу, помогали, поддерживали, были

рядом; если бы не коллектив лаборатории нелинейной динамики: сотрудники,

аспиранты, студенты, друзья. Я благодарен и признателен всем. Эта работа была бы невозможна без самого неносредственного и

постоянного участия, научного руководства профессора Александра Юрьевича

Лоскутова, которому я благодарен за постоянное внимание к работе,

возможность обсудить в любой момент проблемы и результаты, за неоценимую

помощь в самый трудный момент моей научной работы. Моя благодарность Сергею Рыбалко, который помог глубже понять

предмет и определить направление исследований, Нлье Истомину за помощь в

изучении предмета и щедрость, с которой он готов делиться своим опытом и

знаниями. Моя глубокая признательность Олегу Петровичу Ревокатову, которого, к

сожалению, нет с нами, но участие которого определило всю мою научную

деятельность. Этой работы не получилось бы, если бы не прекрасные лекции

профессора Эмиля Борисовича Ершова. Я благодарен Андрею Картавому за постоянную поддержку и помощь. Многое из того, что представлено в работе никогда бы не ноявилось, если

бы не постоянные обсуждения, неформальное общение и дружеское участие

сотрудников лаборатории нелинейной динамики: Алексея Рябова, Сергея

Белякина, Марии Васильевой, Арсена Джаноева, Екатерины Жучковой,

Дмитрия Журавлева. Спасибо!

1. Takens F. Detecting strange attractors in turbulence // Lect. Notes in Math. — Berlin, 1981. —Vol. 898. —P. 336-381.

2. Mane R. On the dimension of the compact invariant sets of certain non-linear maps // Lect.Notes in Math. — Berlin, 1981, — Vol. 898. — P. 230-242.

3. Малинецкий Г.Г., Потапов А.Б. Современные проблемы нелинейной динамики. —М.: Эдиториал УРСС, 2000. — 336 с.

4. Ghil М., Allen M.R., Dettinger M.D. et al. Advanced spectral methods for climatic time series //Reviews of Geophysics.— 2002.— Vol .40, №3. —P. 1-41.

5. Farmer J.D., Siclorowich J.J. Predicting Chaotic Time Series // Phys. Rev. Lett. — 1987. —Vol. 59. — P. 845-848.

6. Abarbanel H.D.I. Analysis of observed chaotic data. — N.Y., 1996. — 272 p.

7. Kantz H., Schreiber T. Nonlinear time series analysis. — Cambridge, 1997. — 320 p.

8. Лоскутов A.IO., Михайлов A.C. Введение в синергетику. — M.: Наука, 1990. — 272 с.

9. Ott Е. Chaos in dynamical systems. — Cambridge, 1993. — 397 p.

10. Katok A., Hasselblatt B. Introduction to the modern theory of dynamical systems. — Cambridge, 1996. —822 p.

11. Tsonis A. A. Chaos: From theory to applications. — N.Y., 1992. — 274 p.

12. Broomhead D.S., King G.P. Extracting qualitative dynamics from experimental data //Physica D. — 1986. — Vol. 20. — P. 217-236.

13. Бокс Дж., Джепкипс Г. Анализ временных рядов. Прогноз и управление. — М.: Мир,1974, — 406 с.

14. CasdagliM. Nonlinear prediction of chaotic time series // Physica D. — 1989. — Vol. 35. — P. 335-356.

15. Kostelich E. J. Problems in estimating dynamics from data // Physica D. — 1992. — Vol. 58. — P. 138-152.

16. Jaeger L., Kantz H. Unbiased reconstruction underlying a noisy chaotic time series —CHAOS. — 1996. — Vol. 6. — P. 440-450.

17. Brown R., Rulkov E.R., Tracy N.F. Modeling and synchronizing chaotic systems from timeseries data // Phys. Rev. E. — 1994. — Vol. 49. — P. 3784-3800.

18. Saner Т., Yorke J.A., Casdagli M. Embedology// J. Stat. Phys. — 1991. — Vol. 65. — P. 579616.

19. Rosenstein M.T., Collins J.J., DeLuca C.J. Reconstruction expansion as a geometry-basedframework for choosing proper delay times // Physica D. — 1993. — Vol. 65. — P. 117-134.

20. Kantz H, A robust method to estimate the maximal Lyapunov exponent of a time series // Phys.1.tt. A. — 1994. — Vol. 185. — P. 77-87.

21. Eckmann J.-P., Olifison Kamphorst S., Ruelle D., et al. Lyapunov exponents from a time series // Phys. Rev. A. — 1986. — Vol. 34. — P. 4971-4779.

22. Sano M., Sawada Y. Measurement of the Lyapunov spectrum from a chaotic time series //Phys. Rev. Lett. — 1985. — Vol. 55. — P. 1082-1085.

23. Stoop R., Parisi J. Calculation of Lyapunov exponents avoiding spurious elements //Physica D. — 1991. — Vol. 50. — P. 89-94.

24. Abarbanel H.D.I., Brown R., Kennel M.B. Variation of Lyapunov exponents on a strangeattractor // J. Nonlinear Sci. — 1991. — Vol. 1. — P. 175-199.

25. Smith L.A. Local optimal prediction: exploiting strangeness and the variation of sensitivity toinitial condition // Philos. Trans. Roy. Soc. A. — 1994. — Vol. 348. — P. 371-381.

26. Schreiber Т. Interdisciplinary application of nonlinear time series methods // Physics Reports.1999. — Vol. 308. — P. 1-64.

27. Theiler J., Eubank S., Longtin A., et. al. Testing for nonlinearity in time series: the method of surrogate data // Physica D. — 1992. — Vol. 58. — P. 77-94.

28. Wolf A., Swift J.В., Swinney H.L., et. al. Determining Lyapunov exponents from a time series // Physica D. — 1985. — Vol. 16. — P. 285-317.

29. Geist K., Parlitz U., Lauterborn W. Comparison of different methods for computing Lyapunov exponents // Prog. Thoeor. Phys. — 1990. — Vol. 83. — P. 875-893.

30. Theiler J. Statistical precision of dimension estimators // Phys. Rev. A. — 1990. — Vol. 41. — P. 3038-3051.

31. Smith R.L. Estimating dimension in noisy chaotic time-series // J. R. Statist. Soc. B. — 1992.Vol. 54, —P. 329-351.

32. Takens F. On the numerical determination of the dimension of an attractor I I B.L.J. Braaksma, H.W. Broer, F.Takens. Dynamical systems and bifurcations. Lecture notes in mathematics. — Berlin, 1985. — Vol. 1125. — P. 99-106.

33. Cutler C.D. Some results on the behavior and estimation of the fractal dimensions of distributions on attractors // J. Stat. Phys. — 1991. — Vol. 62. —P. 651-708.

34. Theiler J. Estimating fractal dimension // J. Opt. Soc. Amer. A. — 1990. — Vol. 7. — P. 10551073.

35. Schreiber Т., Kantz H. Noise in chaotic data: Diagnosis and treatment // CHAOS. — 1995. —Vol. 5, —P. 133-142.

36. Grassberger P. Finite sample corrections to entropy and dimension estimates // Phys. Lett. A.1988. — Vol. 128. — P. 369-373.

37. Osborne A.R., Provenzale A. Finite correlation dimension for stochastic systems with powerlaw spectra //Physica D. — 1989. — Vol. 35. — P. 357-381.

38. Provenzale A., Smith L.A., Vio R., et. al. Distinguishing between low-dimensional dynamics and randomness in measured time series // Physica D. — 1992. — Vol. 58. — P. 31-49.

39. Theiler J. Lacunarity in a best estimator of fractal dimension // Phys. Lett. A. — 1988. — Vol. 135, —P. 195-200.

40. Diks C. Estimating invariants of noisy attractors // Phys. Rev. E. — 1996. — Vol. 53. — P. 4263-4266.

41. Oltmans H., Verheijen P.J.T. The influence of noise on power law scaling functions and an algorithm for dimension estimations // Phys. Rev. E. — 1997. — Vol. 56. — P. 1160-1170.

42. Schreiber T. Determination of the noise level of chaotic time series // Phys. Rev. E. — 1993.Vol. 48, —P. R13-R16.

43. Schreiber T. Influence of Gaussian noise on the correlation exponent // Phys. Rev. E. — 1997.Vol. 56. — P. 274-277.

44. Schouten J.C., Takens F., van den Bleek C.M. Maximum likelihood estimation of the entropyof an attractor//Phys. Rev. E. — 1994. — Vol. 49. —P. 126-129.

45. Schreiber Т., Schmitz A. Classification of time series data with nonlinear similarity measures //Phys. Rev. Lett. — 1997. — Vol. 79. — P. 1475-1478.

46. Casdagli M. Chaos and deterministic versus stochastic nonlinear modeling // J. Roy. Stat. Soc.1991. —Vol. 54, —P. 303-328.

47. Lorenz E.N. Atmospheric predictability as revealed by naturally occurring analogues //J. Atmos. Sci. — 1969. — Vol. 26. — P. 636-646.

48. Sugihara G., May R. Nonlinear forecasting as a way of distinguishing chaos from measurementerror in time series // Nature. — 1990. — Vol. 344. — P. 734-741.

49. Broomhead D., Lowe D. Multivariable function interpolation and adaptive networks //Complex Syst. — 1988. — Vol. 2. — P. 321-355.

50. Grassberger P., Procaccia I. Characterization of strange attractors // Phys. Rev. Lett. — 1983. — Vol. 50. — P. 346-349.

51. Дайлюденко В.Ф., Крот A.M. Определение минимальной размерности вложения хаотического аттрактора на основе локально топологического анализа фазовых траекторий // Журнал вычислит, матем. и матем. физики. — 1997, № 3. — Т. 27. — С. 315-324.

52. Дубров A.M., Мхитарян B.C., Трошин Л.И. Многомерные статистические методы. Учеб. для вузов — М.: Финансы и статистика, 2000. — 352 с.

53. Каханер Д., Моулер К., Нэш С. Численные методы и программное обеспечение — М.: Мир, 1998, —575 с.

54. Kugiumtzis D., Lingjcerde О.С., Christophers en N. Regularized local linear prediction of chaotic time series // Physica D. — 1998. — Vol. 112. — P. 344-360.

55. JuddK., Small M. Towards long-term prediction // Physica D. — 2000. — Vol.136. — P. 3144.

56. Schatten K. Forecasting solar activity and cycle 23 outlook // ASP Conf. The Tenth Cambridge Workshop on Cool Stars, Stellar Systems and the Sun. — 1997. — Ser. 154. — P.1315-1325.

57. Наговицын Ю.А. Нелинейная математическая модель процесса солнечной цикличности и возможности для реконструкции активности в прошлом // Письма в АЖ. — 1997. — Т. 23. —С. 851-858.

58. Wilson R.M., Hathaway D.H., Reichmann E.J. Estimating the size and timing of maximum amplitude for cycle 23 from its early cycle behavior // Geophys. Res. — 1998. — Vol. 103. — P. 17411-17418.

59. Hoyt D. V., Schatten K.H. Group sunspot numbers: A new solar activity reconstruction // Solar Physics. — 1998. — Vol. 181. — P. 491-497.

60. Hathaway D.H., Wilson R.M., Reichmann E.J. A synthesis of solar cycle prediction techniques // J. Geophys. Res. — 1999. — Vol. 104, № A10. — P. 22375-22388.

61. Lowrence J.K., Ruzmaikin A.A., Cadavid A.C. Multifractal measure of the solar magnetic field // Astrophys. J. — 1993. — Vol. 417. — P. 805-811.

62. Lowrence J.K., Ruzmaikin A.A., Cadavid A.C. Turbulent and chaotic dynamics underlying solar magnetic variability // Astrophys. J. — 1995. — Vol. 455. — P. 366-375.