Байесов подход к реконструкции динамических систем по временным рядам и долгосрочный прогноз их качественного поведения тема автореферата и диссертации по физике, 01.04.03 ВАК РФ

МОЛЬКОВ Ярослав Игоревич

БАЙЕСОВ ПОДХОД К РЕКОНСТРУКЦИИ ДИНАМИЧЕСКИХ СИСТЕМ ПО ВРЕМЕННЫМ РЯДАМ И ДОЛГОСРОЧНЫЙ ПРОГНОЗ ИХ КАЧЕСТВЕННОГО ПОВЕДЕНИЯ

01.04.03 - радиофизика

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

ииЗДВО Ю7

Нижний Новгород - 2008

003460107

Работа выполнена в Институте ук (г. Нижний Новгород).

прикладной физики Российской академии на-

Научный руководитель:

доктор физико-математических наук А.М. Фейгин

Официальные оппоненты:

доктор физико-математических наук В.Б. Казанцев;

доктор физико-математических наук, профессор Б.П. Безручко

Ведущая организация:

ИРЭ РАН (г. Москва)

Защита состоится «26» января 2009 г. в 1500 часов на заседании диссертационного совета Д002.069.02 в Институте прикладной физики РАН (603950, г. Нижний Новгород, ул. Ульянова, 46).

С диссертацией можно ознакомиться в библиотеке Института прикладной физики РАН.

Автореферат разослан « V »> декабря 2008 г.

Ученый секретарь диссертационного совета профессор

Ю. В. Чугунов

Общая характеристика диссертации

Предмет исследования и актуальность темы. В условиях, когда возможны только пассивные наблюдения за системой, построение моделей из первых принципов (попытка описать ее динамику с помощью уравнений движения среды или отдельных частиц, уравнений для силовых полей, переноса излучения, химической кинетики, тепло- и массопереноса и пр.) сталкивается с определенными сложностями, поскольку требует наличия полной и детальной априорной информации о физической природе процессов, определяющих динамику системы, а также о методике измерений, определяющей связь между текущим состоянием системы и результатами измерений. Это делает реконструкцию динамических систем (ДС) непосредственно по временным рядам (ВР) одной из фундаментальных задач радиофизики, так как математическая модель исследуемой динамической системы при этом строится путем прямого анализа наблюдаемого процесса, без привлечения информации как о природе явления, лежащего в его основе, так и о способе измерений.

Несмотря на то, что разработке методов реконструкции динамических систем по порожденным ими временным рядам посвящено в последние тридцать лет большое количество работ, не было достигнуто существенного прогресса в их приложении к «природным» данным вследствие фундаментальных ограничений, связанных со слишком высокой размерностью вложения при реконструкции фазовых переменных. При существенном превышении размерностью вложения размерности наблюдаемого хаотического режима (сильном оверимбеддинге) получаемые модели оказываются негрубыми, что делает их использование с прогностическими целями невозможным. Тем самым, требуется принципиально новый подход, который бы позволил преодолеть возникшую тупиковую ситуацию.

Кроме того, в процессе реального наблюдения всегда имеется случайная составляющая в экспериментальных данных, которая может быть следствием, например, шума измерительной аппаратуры, конечной точности измерений, случайных воздействий на систему в процессе эволюции, дискретности временного ряда и т.п. В результате наблюдаемые в реальном эксперименте величины содержат стохастическую компоненту и, следовательно, подлежат вероятностному описанию. Это означает, что для получения несмещенных оценок неизвестных характеристик системы нужны методы, основанные на статистически корректном подходе к реконструкции системы по зашумлен-ным данным. Исследования в данном направлении, проведенные в последнее время, показали, что разработка таких методов является нетривиальной задачей как в случае, когда наблюдается сложное детерминированное (хаотическое) поведение системы, а данные измерений содержат существенную погрешность, так и в случае стохастической динамики, когда система испытывает случайные воздействия в процессе эволюции.

Другой характерной чертой процессов, протекающих во многих природных системах, является нестационарность наблюдаемого поведения как следствие медленной неавтономности системы. Такая неавтономность связана с изменяющимися с течением времени внешними условиями, что может приводить к изменению во времени параметров, определяющих динамические свойства системы. Это означает, прежде всего, возможность смены типа поведения системы (бифуркации) в процессе ее эволюции, что влечет за собой существенные (иногда катастрофические) изменения количественных характеристик наблюдаемого процесса. В описанной ситуации актуальной прикладной задачей, которую может решать глобальная реконструкция, является задача прогноза качественного поведения динамической системы.

Общей целью представленной диссертационной работы является разработка и реализация эффективной методики глобальной реконструкции динамических систем с целью долгосрочного прогноза их качественного поведения с учетом описанных сложностей на основе статистического (Байесова) подхода к решению обратных задач. В работе рассмотрены следующие проблемы:

1) модификация «классического» Байесова подхода в ситуации, когда наблюдаемые данные представляют собой хаотический зашумленный процесс;

2) вероятностный прогноз поведения динамических систем по слабонестационарным хаотическим зашумленным временным рядам;

3) анализ фундаментальных ограничений, возникающих при реконструкции детерминированных динамических систем вследствие высокой размерности вложения, и их преодоление путем построения стохастических моделей;

4) разработка последовательного Байесова подхода к построению моделей в виде случайных (стохастических) динамических систем и его применение для долгосрочного прогноза качественного поведения как стохастических, так и детерминированных систем высокой размерности;

5) разработка эффективного подхода к оценке размерности вложения, а также других технических параметров при глобальной реконструкции динамических систем по зашумленным временным рядам.

Для решения перечисленных задач предложены методы, включающие в себя эффективные оригинальные способы параметризации решения, а также учета имеющейся априорной информации о системе. Кроме того, используемые в работе численные алгоритмы модифицированы с учетом специфики рассматриваемых задач.

Научная новизна работы

1. В диссертационной работе предлагается способ использования Байесова подхода для реконструкции ДС по хаотическим ВР, содержащим шум измерений. Метод корректно учитывает статистику шумов, и в то же самое

время максимально возможным образом принимает во внимание хаотическое поведение исследуемой системы. Отмеченная во многих работах (см., например [5-8]) неприменимость Байесова подхода для анализа хаотических рядов преодолевается при этом более эффективно, по сравнению с предложенными ранее методами [7,8]. С помощью предлженного подхода разработан метод прогноза качественного поведения неизвестной ДС, который позволяет производить вероятностное предсказание поведения исследуемой системы. В рамках этого метода задается явно зависящая от времени модель оператора эволюции (ОЭ) системы, строится функция апостериорной плотности вероятности параметров этой модели, которая определяет ансамбль возможных сценариев поведения системы, по которому затем вычисляются вероятности искомых характеристик (такие как, например, тип динамического режима в интересующий момент времени или моменты времени бифуркаций) как на интервале времени наблюдения, так и в будущем (путем экстраполяции модели за пределы времени наблюдения).

2. В работе сформулированы фундаментальные ограничения реконструкции детерминированных систем по временным рядам, связанные с оверим-беддингом. Предложен метод диагностики оверимбеддинга. Предложен путь преодоления описанных ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.

3. В работе разработан Байесов подход к построению как автономных, так и слабонеавтномных стохастических моделей по временным рядам. На модельных примерах продемонстрирована его эффективность как при реконструкции динамических систем стохастической природы, так и при моделировании высокоразмерных детерминированных систем. Показана грубость подхода по отношению к базовым предположениям о свойствах динамического шума. На модельных примерах успешно произведен прогноз качественного поведения по временным рядам, порожденным как высокоразмерными детерминированными, так и случайными динамическими системами.

4. Как известно [1], стандартные методы определения размерности вложения [15] при реконструкции фазовых переменных системы не эффективны в присутствии в данных существенного измерительного шума. В работе предложен метод оценки минимальной размерности вложения, основанный на принципе минимальной длины описания [17], пригодный как для анализа зашумленных временных рядов, порожденных детерминированными динамическими системами, так и для рядов стохастической природы.

Методы и подходы, используемые в диссертации

• Используется Байесов подход к построению апостериорных распределений для ненаблюдаемых, включающих в себя как информацию о шумовой составляющей данных наблюдений, так и априорную информацию об исследуемой системе (последнее является способом регуляризации некорректной задачи [19]).

• Разработаны численные коды, реализующие предлагаемые алгоритмы анализа используемых в работе функций плотности вероятности, являющихся функциями большого числа переменных'. Данные алгоритмы включают в себя оптимизацию таких функций, их интегрирование методом Лапласа и статистический анализ методом Монте-Карло (разработан метод, основанный на алгоритме Metropolis-Hasting [18]), а также расчет доверительных интервалов реконструируемых характеристик системы.

• Для аппроксимации неизвестных функций многих переменных (функций последования отображений, распределения динамического шума по фазовому пространству для стохастических моделей) используются искусственные нейронные сети (ИНС). Разработаны оригинальные алгоритмы обучения ИНС с учетом специфики получаемых ценовых функций, существенно отличающихся от стандартных.

• С использованием указанных кодов проведено численное моделирование для задач, изложенных в данной работе.

Апробация работы. Изложенные в диссертации результаты докладывались на семинарах и конкурсах работ молодых ученых Института прикладной физики РАН, семинарах НИИ ПМК, ИФА РАН, кафедры математической статистики ВМК МГУ им. М.В. Ломоносова, на семинаре "Российская наука - XXI век" Минпромнауки РФ, в Лондонском Империал колледже (Великобритания), на конкурсах научных работ, на международных и общероссийских конференциях и совещаниях: 12-ой Генеральной ассамблее Международного союза геодезии и геофизики (1999 г., Бирмингем, Великобритания), Международной конференции, посвященной 100-летию со дня рождения А.А. Андронова "Прогресс в нелинейной науке" (2001 г., Нижний Новгород), Международной конференции Хаос'01 (2001 г., Саратов), 120-ой Фарадеевской дискуссии Королевского химического общества "Nonlinear Chemical Kinetics: Complex dynamics and Spatiotemporal Patterns" (Манчестер, Великобритания, 2001), XXXII Международном научно-методическом семинаре "Шумовые и деградационные процессы в полупроводниковых приборах" (Москва, 2001), 4-ом и 5-ом Рабочих совещаниях программы "REACTOR" Европейского научного фонда (2003 г., Будапешт, Венгрия; 2004г., Прага, Чехия), Генеральной ассамблее Европейского союза наук о Земле (2005, 2006, 2007, 2008г., Вена, Австрия), Международном симпозиуме "Topical Problems of Nonlinear Wave Physics" (2005, 2007, 2008г.), Международной конференции "Динамические дни" (2006 г., Крит, Греция), 3-й, 4-й, 5-й, 6-й Нижегородской научной сессии молодых ученых (1998, 1999, 2000, 2001 гг.), 9-й Всероссийской шко-^е-семинаре "Волны - 2004" (Москва), 6-й, 7-й, 8-й, 9-й и 10-й Всероссийской школе-конференции молодых ученых "МАПАТЭ" (2000 г. и 2003г., Н. Новгород; 2004г., Москва; 2005г., Борок; 2006г., Москва), 11-й, 12-й, 13-й и 14-й Научной школе "Нелинейные волны" (2002, 2004, 2006 и 2008 гг., Н. Новгород), 20-й Всероссийской конференции по распространению радиоволн

(2002 г., H. Новгород), 15-й, 16-й и 17-й научной сессии Совета по нелинейной динамике (2006, 2007,2008 гг., Москва).

Основные результаты диссертации опубликованы в 4 статьях в реферируемых российских (Известия ВУЗов - Радиофизика) и международных (Faradey Discussions, Physical Review E) научных журналах, 5 препринтах ИПФ РАН, 2 отчетах по программе фундаментальных исследований ОФН РАН, 6 сборниках трудов и 22 сборниках тезисов всероссийских и международных конференций.

Структура и объем работы. Диссертация состоит из введения, пяти глав, заключения и списка цитированной литературы, включающего и работы автора. Общий объем диссертации составляет 101 страницу, включая 23 рисунка и список литературы из 123 наименований.

Краткое содержание работы

Во введении обоснована актуальность темы, определены предмет исследования и задачи диссертации, кратко изложено содержание диссертации, а также приведены данные по апробации и публикациям включенных в диссертацию материалов.

В первой главе излагается последовательный подход к реконструкции слабонеавтономных детерминированных динамических систем, имеющий определенную прикладную направленность.

В разделе 1.1 описывается реконструкция фазовых переменных по скалярному временному ряду методом координат с задержками. Теоретической основой этого метода являются теоремы Такенса о вложении [21]. Практическим следствием указанной теоремы является то, что по скалярному ряду

fx{tk ) можно восстановить фазовые координаты в виде

fx(tk),x(tk + At),...,x{tk + (dE — \)At)} при некоторой достаточной размерности вложения dE > 2ds +1, где ds - размерность исходной системы.

В разделе 1.2 приводится способ понижения размерности путем перехода к отображению на секущей Пуанкаре. Для этого выбирается некоторая секущая размерности dE — 1, и регистрируются ее пересечения в одну сторону восстановленной фазовой траекторией. Координаты этих пересечений формируют восстановленное отображение на секущей.

В разделе 1.3 формулируется теорема Байеса применительно к задаче реконструкции динамических систем по зашумленным хаотическим временным рядам и показывается неприменимость такого подхода в случае хаотической динамики. Оказывается, что в этом случае апостериорная плотность вероятности параметров (АПВ) модели с ростом длины ряда становится все более изрезанной, количество локальных максимумов экспоненциально растет при

увеличении длины ряда. При сколько-нибудь длинных рядах численное исследование апостериорного распределения становится невозможным.

В разделе 1.4 предлагается модификация подхода, снимающая указанную сложность. Идея такой модификации состоит в разделении исходного временного ряда на сегменты. Формально это выражается в том, что латентные состояния системы, разделенные во времени длиной сегмента, считаются независимыми. Предельная длина сегмента выбирается в соответствии с требованием возможности различить локальные максимумы АПВ. Показывается, что она определяется следующим соотношением

w = —In——

тах 1 • A G.

Здесь X - максимальный показатель Ляпунова, а под логарифмом — отношение стандартных отклонений исходного ряда и измерительного шума.

В разделе 1.5 предлагается универсальная модель оператора эволюции в виде искусственной нейронной сети (ИНС). Такая параметризация выбрана вследствие того, что а) с помощью нейронной сети может быть аппроксимирована произвольная гладкая зависимость с любой наперед заданной точностью; б) существуют эффективные алгоритмы обучения ИНС по данным; в) для параметров ИНС легко формулируются физически обоснованные априорные ограничения, позволяющие регуляризировать задачу.

В разделе 1.6 возможности модифицированного Байесова подхода иллюстрируются на примере задачи классификации режимов поведения известной динамической системы (используется отображение Эно) по коротким (около 20 характерных периодов изменения динамической переменной системы) существенно зашумленным временным рядам, неразличимых традиционными методами. Результаты классификации представляют собой рассчитанные вероятности наблюдения различных динамических режимов (хаотического и периодических с различным периодом). Показано, что предложенный метод позволяет уверенно выявить истинные динамические режимы, лежащие в основе исследуемых временных рядов при достаточно высоких уровнях шума (отношение шум/сигнал до 50% для хаотического режима и до 25% для двух-периодического).

В разделе 1.7 мы применяем изложенный подход для прогноза качественного поведения ДС по существенно зашумленному слабонестационарному временному ряду. При этом для реконструкции используется функция апостериорной плотности вероятности (АПВ), построенная в соответствии с модифицированным Байесовым подходом, описанным в разделе 1.4. Обстоятельством, усложняющим анализ вероятностного распределения в последнем случае, является наличие в нем степеней свободы, соответствующих латентным переменным системы, количество которых возрастает пропорционально протяженности исследуемого временного ряда. В рассматриваемой задаче прогноза поведения динамической системы используются реализации суще-

ственной протяженности (например, используемый в данной работе временной ряд включает в себя порядка 1000 отсчетов), поскольку требуется, чтобы процесс содержал в себе достаточную информацию о структуре фазового пространства восстанавливаемой системы. В результате размерность пространства ненаблюдаемых является настолько большой, что численный анализ соответствующей функции АПВ становится невозможным. Для преодоления указанной трудности в работе предлагается метод приближенного интегрирования АПВ по латентным переменным, позволяющий получить АПВ только для параметров модели ОЭ. Результаты прогноза демонстрируются на примере ВР, порожденного системой обыкновенных дифференциальных уравнений третьего порядка (система Ресслера) (см. рис. 1).

Рис. 1. Результаты прогноза бифуркаций по ряду, произведенному неавтономной системой Ресслера. Сверху - отсчеты восстановленного по ряду точечного отображения. Для прогноза использованы с 1100-го по 2600-й отсчеты. Снизу - зависимости вероятностей наблюдения различных динамических режимов от медленного времени (номера отсчета отображения).

Приведенные результаты иллюстрируют высокую эффективность модифицированного Байесова подхода с точки зрения как прогноза поведения системы, так и реконструкции наблюдаемой динамики.

Вторая глава посвящена формулировке фундаментальных ограничений, возникающих при реконструкции детерминированных систем по временным рядам, связанных с потенциально высокой размерностью вложения при реконструкции фазовых переменных (оверимбеддингом).

В разделе 2.1 приводятся оценки соотношения размерностей фазового пространства модели и наблюдаемого хаотического аттрактора, на модельных примерах демонстрируется общий характер ситуации, когда минимальная

размерность вложения более чем вдвое превышает размерность наблюдаемого аттрактора.

В разделе 2.2 разрабатываются методы диагностики оверимбеддинга, с помощью которых показывается, что конечная точность восстановления оператора эволюции может быть достигнута при оверимбедцинге, не превышающим 1. Предлагается мера оверимбеддинга, в соответствии с которой могут выбираться технические параметры, при которых производится реконструкция.

В разделе 2.3 обсуждаются следствия оверимбеддинга, связанные с прогнозом качественного поведения. Оказывается, что даже при слабом оверимбедцинге результаты сильно зависят от выбора технических параметров при реконструкции отображения. При сильном оверимбедцинге модели оказываются негрубыми, и их использование с прогностическими целями оказывается невозможным (см. рис. 2).

в звв 1вве 1зее геев гзвв зоо»

13 -1-1---,-1-

10 -V *.-'*.*'*'*•**. ,

3 •

В зео 1888 1388 ' 2888 2308 388В

Рис.2. Попытка построения прогноза с помощью детерминированного отображения по временному ряду с корреляционной размерностью 2.5. По первым 1000 отсчетам строилась детерминированная модель размерности 6, что соответствовало оценке методом фальшивых соседей. Трем рисункам соответствуют попытки прогноза с помощью трех равновероятных моделей вблизи максимума апостериорного распределения (косые крестики). Видно, что даже в пределах первых 1000 отсчетов, по которым строилась модель, демонстрируется качественно различное поведение.

Одним из следствий также является невозможность предсказания усложнения поведения системы по сравнению с наблюдаемым, или, другими словами, невозможность прогноза «из простого в сложное».

В разделе 2.4 делаются заключительные выводы, и формулируется способ выхода из описанной тупиковой ситуации. Способ заключается в том, чтобы в случае сильного оверимбеддинга строить модель в пространстве меньшей размерности в виде случайной (стохастической) динамической системы, описывающей возникающую неоднозначность оператора эволюции статистически.

Третья глава посвящена разработке последовательного подхода к построению моделей стохастических динамических систем с дискретным временем.

В разделе 3.1 данной главы формулируется общая задача глобальной реконструкции случайной динамической системы "по Байесу". Мы стартуем с формального определения случайной динамической системы,

|и„+1 =<р(£Уи)°ил, ф: £2x9^ — \й)пН=воа)п,в:а^а

данного в [20], и сводим задачу построения стохастической модели к построению апостериорного распределения конечного числа ненаблюдаемых параметров, включающих как параметризацию оператора эволюции, так и статистические характеристики стохастической компоненты.

В разделе 3.2 предлагается эффективная с прикладной точки зрения общая стохастическая модель оператора эволюции в виде суммы детерминированной и случайной компонент.

Формулируется гипотеза о гауссовом распределении случайной компоненты. В этом случае задача сводится к идентификации детерминированной части ^и) и распределения случайной части (ее ковариационной матрицы

С (11) — ^ §) по фазовому пространству модели. Функция правдоподобия при этом получается аналитически, что делает возможным его численное исследование.

Р(и | Г,б) ос П ^ ^ ) | ехр|~± (Ц,„ -Г(и„))г<5-1(и.)(ил+1-Г(и|,))|

В разделе 3.3 описывается аппроксимация детерминированной и стохастической части модельного оператора эволюции искусственной нейронной сетью. Формулируются физически обоснованные априорные распределения параметров сетей.

В разделе 3.4 части предлагаемый подход обобщается на случай слабонеавтономных стохастических систем. В этом случае модели детерминированной и случайной компонент строятся линейно зависящими от времени. В заключение приводится общее выражение апостериорного распределения параметров неавтономной модели.

В четвертой главе на модельных примерах демонстрируются возможности описанного в предыдущей главе подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции автономной системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. А именно, демонстрируется успешный прогноз усложнения поведения системы по сравнению с наблюдаемым, что принципиально невозможно для детерминированных систем. Кроме того, строится прогноз поведения высокоразмерной детерминированной системы с помощью низкоразмерной стохастической модели.

В разделе 4.1 показывается эффективность подхода на примере реконструкции системы с неоднородным, негауссовым динамическим шумом. Как оказывается, несмотря на нарушение лежащих в его Основе предположений, в этом случае удается верно восстановить распределение ковариационной матрицы стохастической части оператора эволюции.

В разделе 4.2 предлагается способ репрезентации (классификации) режимов поведения стохастических систем на основе их инвариантных мер. Способ состоит в построении зависимости инвариантной меры - предельной плотности вероятности одной из фазовых переменных - от контрольного параметра. Величина плотности вероятности показывается оттенками серого на плоскости фазовая переменная — контрольный параметр (см. рис. 3). Получаемая мерограмма имеет сходство с бифуркационной диаграммой детерминированной компоненты реконструируемой системы, что позволяет тестировать качество реконструкции с помощью стохастической модели.

0.6 0.3 ' 1 12 1.4 1.6 1.8

Л

Рис. 3. Мерограмма как аналог бифуркационной диаграммы для стохастических систем на примере логистического отображения хп+1 = 1 — Хх2п + <т£ . Слева: бифуркационная диаграмма при а = 0. Справа: мерограмма стохастического отображения при а - 0.02, градациями серого показана зависимость инвариантной меры рх(х, Л.).

В разделе 4.3 строится прогноз изменения качественного поведения на примере системы с неоднородным и негауссовым динамическим шумом. Показывается, что предлагаемый подход обеспечивает надежный прогноз на времена порядка длины исходного временного ряда.

В разделе 4.4 демонстрируется возможность прогноза смены «простого» поведения стохастической системы более «сложным», что принципиально невозможно в детерминированном случае (см. рис. 4).

Рис. 4. Слева: мерограмма стохастического логистического отображения хп -1 - + а • С„_1 > соответствует настоящему поведению системы при медленном изменении параметра X от 0.5 до 1.4. Время течет слева направо. Справа: мерограмма модели, построенной по временному ряду в 1000 отсчетов, сгенерированному данной системой при изменении параметра X от 0.5 до 0.7. Уровень шума а = 0.04.

В разделе 4.5 приводятся примеры прогноза поведения детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей. В частности, успешно делается прогноз в случае сильного оверимбеддинга, не позволяющего произвести реконструкцию с помощью детерминированной модели (см. раздел) 2.3, с помощью одномерной стохастической модели (см. рис. 5).

Рис. 5. Прогноз качественного поведения по тому же ряду, что и в п.2.3 (см. рис. 2). Верхняя панель: исходный временной ряд, для построения модели использованы первые 1000 отсчетов отображения. Нижняя панель - мерограмма модели в тех же пределах изменения медленного времени.

В приводимых в этой главе примерах мы ограничиваемся анализом наиболее вероятных моделей, то есть тех, которые соответствуют максимуму апостериорного Байесова распределения. В такой постановке задача построения модели состоит в поиске максимума апостериорной плотности вероятности по параметрам сетей, аппроксимирующим детерминированную и стохастическую компоненты.

В заключении четвертой главы формулируются задачи, решение которых позволит определить границы применимости нового подхода, и обсуждаются некоторые возможные приложения.

Пятая глава посвящена разработке нового метода определения размерности вложения для построения моделей как детерминированных систем по зашумленным временным рядам, так и для стохастических систем. Известно [1], что в этом случае стандартные методы оказываются неприменимыми. В диссертационной работе для определения размерности вложения адаптируется принцип минимальной длины описания (МДО) [22]. С этой целью используется универсальный вид модели в виде искусственной нейронной сети, включающий размерность вложения как параметр. Особенностью использования нейронных сетей является необходимость введения физически обоснованных априорных ограничений на параметры сети, поэтому необходимо обобщение определение длины описания на этот случай. Кроме того, вводится требование инвариантности МДО относительно произвольных линейных преобразований параметров модели. Это требование позволяет, в частности, получить для МДО явное выражение, что делает использование принципа МДО существенно более простым.

В разделе 5.1 производится вывод инвариантной формы МДО и конкретизируется вид модели. Модель строится в видехп = /{хп_1,.--,хп_[))+^Г1 , где связь между отсчетами аппроксимируется искусственной нейронной сетью:

/ о

/(*„_!) = X™*хп-к + Ук

1=1 Ч*=1

т — количество нейронов, О — размерность вложения, /л = /а, IV, у} - полный набор параметров модели, М=т (й+2) — полное число параметров.

Величина МДО может быть сведена к следующему выражению

д2Ф

МБЬ = тш Ф(и) + — + — 1п м ■ 2 2

Э/Г

где <2>М = у

' 2ка2{ц) .

1П-7^+1

е

\ л М с ^ к=1

1П(2ЛГС7^ )+

Ик

'к у

1 N 2 Здесь o"2(/u) = —— ,...,Xn_D ))2 - средний квадрат невязки, N -

N ¿=]

число отсчетов временного ряда, о\ - априорные дисперсии параметров модели.

В разделе 5.2 демонстрируется, что в присутствии шума, делающего стандартные методы определения размерности неэффективными, принцип МДО позволяет успешно решать поставленную задачу. Зависимость МДО от размерности вложения (и других технических параметров модели) имеет четко выраженный минимум (см. рис. 6), соответствующий реальной минимальной размерности вложения в случае зашумленного хаотического ряда.

8В5В 8000 7938 7900 7858 7888 7758 7788 7858 7688

123456709 10

Рис. 6. Зависимость МДО от размерности вложения при различном количестве нейронов для ряда, порожденного системой Лоренца в хаотическом режиме, зашумленного гауссовым шумом. Отношение шум/сигнал составляет 20%.

В заключении формулируются основные результаты диссертационной работы.

Основные результаты диссертационной работы

1. Разработан метод глобальной реконструкции слабонеавтономных детерминированных динамических систем по зашумленным BP и прогноза их качественного поведения, основанный на байесовом подходе к решению обратных задач. Метод включает в себя: а) модификацию классического Байесова подхода, делающую возможным его практическое использования для хаотической динамики; б) интегрирование апостериорных распределений по латентным переменным методом Лапласа для уменьшения размерности апостериорного распределения для его последующего исследования; в) универсальную модель неавтономного оператора эволюции в виде искусственной нейронной сети; г) исследование апостериорных распределений МСМС (Markov Chain Monte Carlo) методами, позволяющее извлекать из наблюдаемого процесса максимально полную информацию об исследуемой системе.

2. С помощью разработанного метода реконструкции ДС по нестационарным рядам успешно произведен прогноз качественного поведения ряда детерминированных систем. В качестве примеров наблюдаемых процессов использовались слабонестационарные BP, порожденные как дискретными отображениями, так и потоковыми системами. По участкам BP, соответствующим хаотической динамике систем, правильно предсказаны вероятности реализации различных динамических режимов и бифуркационных переходов, а также типы возможных бифуркаций. Применительно к задаче прогноза показана эффективность использования модифицированного Байесова подхода в ситуации, когда исследуемые данные содержат существенный измерительный шум.

3. Сформулированы фундаментальные ограничения реконструкции детерминированных систем по временным рядам, связанные с оверимбеддин-гом. Предложен метод диагностики оверимбеддинга. Предложен путь преодоления описанных ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.

4. Разработан Байесов подход к построению слабонеавтномных стохастических моделей по временным рядам. На модельных примерах продемонстрирована его эффективность как при реконструкции динамических систем стохастической природы, так и при моделировании выскокоразмер-ных детерминированных систем. Показана грубость подхода по отношению к базовым предположениям о свойствах динамического шума.

5. На модельных примерах успешно произведен прогноз качественного поведения по временным рядам, порожденным как высокоразмерными детерминированным^ так и случайными динамическими системами.

6. Предложен метод оценки минимальной размерности вложения, основанный на принципе минимальной длины описания, пригодный как анализа зашумленных временных рядов, порожденных детерминированными динамическими системами, так и для рядов стохастической природы.

Список цитируемой литературы

[1] Abarbanel H.D.I. Analysis of Observed Chaotic Data. New York: SpringerVerlag, 1997.

[2] Безручко Б.П., Смирнов Д.А. Математическое моделирование и хаотические временные ряды. Саратов: ГосУНЦ "Колледж", 2005.

[3] Bagarinao Е., Pakdaman К., Nomura Т., and Sato S. Reconstructing bifurcation diagrams from noisy time series using nonlinear autoregressive models // Phys. Rev. E. 1999. V. 60. P. 1073.

[4] Anishchenko V.S., Pavlov A.P. Global reconstruction in application to multichannel communication//Phys. Rev. E. 1998. V. 57(2). P. 2455.

[5] Judd K. Chaotic-time-series reconstruction by the Bayesian paradigm: Right results by wrong methods // Phys. Rev. E. 2003. V. 67. P. 026212.

[6] Pisarenko V. F. and Sornette D. Statistical methods of parameter estimation for deterministically chaotic time series // Phys. Rev. E. 2004. V.69. P. 036122.

[7] McSharry P.E. and Smith LA. Better Nonlinear Models from Noisy Data: Attractors with Maximum Likelihood // Phys. Rev. Lett. 1999. V. 83. P. 4285.

[8] Meyer R. and Christesen N. Bayesian reconstruction of chaotic dynamic systems // Phys. Rev. E. 2000. V. 62. P. 3535.

[9] Бутковский О.Я., Кравцов Ю.А., Логунов М.Ю. Анализ погрешностей восстановления параметров нелинейного отображения по зашумленным хаотическим временным рядам // Изв. ВУЗов - Радиофизика. 2002. Т. 45(1). С. 55.

[10] Yang, P., Brasseur G.P. , Gille J.С., et al. Dimensionalities of ozone attractors and their global distribution // Physica D. 1994. V. 76. P. 331.

[11] Li I.F., Biswas P. , and Islam S. Estimation of the dominant degrees of freedom for air pollutant concentration data: applications to ozone measurements // Atmospheric Environment. 1994. V. 28. P. 1707.

[12] Neelin, J.D. and LatifM. El Nino Dynamics // Physics Today. 1998. V. 51. P. 32.

[13] Макаренко Н.Г. Фракталы, аттракторы, нейронные сети и все такое // Труды IV Всероссийской научн.-техн. конф. "Нейроинформатика-2002". Часть 2. М„ 2002. Р. 121.

[14] Hornik К., Stinchcombe М. and White Н. Multilayer feedforward networks are universal approximators // Neural Networks. 1989. V. 2. P. 359.

[15] Kennel M.B., Brown R. and Abarbanel H. D. I. Determining embedding dimension for phase-space reconstruction using a geometrical construction. Phys. Rev. A. 1992. 45(6). P.3403.

[16] Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов математической статистики для решения некорректных задач // Усп. фнз. наук. 1970. Т. 102(3). С. 345.

[17] Judd К, Mees A.I. On selecting models for nonlinear prediction. Physica D.

1995. 82. P.426.

[18] Chib S. and Greenberg E. Understanding the Metropolis-Hasting algorithm. The American Statistian 1995. 49. P.327.

[19] Тихонов A.H. О регуляризации некорректно поставленных задач // Докл. АН СССР. 1963. Т. 153(1). С. 49.

[20] L. Arnold. Random Dynamical Systems. Springer Verlag, Corrected 2nd print-

ing 2003.

[21] Takens F. Detecting strange attractor in turbulence. In: D.A. Rand and L.-S. Young (Eds.), Dynamical Systems and Turbulence, Warwick, 1980, Lecture Notes in Mathematics. - Springer, Berlin 1981. 898. P.366.

[22] Judd K, Mees A.I. On selecting models for nonlinear prediction. Physica D. 1995. 82. P.426.

Список работ автора по теме диссертации

1. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Восстановление динамических моделей атмосферных фотохимических систем по временной реализации одной динамической переменной //Третья нижегородская сессия молодых ученых. Тезисы докладов, Н.Новгород 1998, с. 99.

2. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Создание прогностических моделей атмосферных фотохимических систем по данным наблюдения // Вторая Всероссийская научная конференция студентов-радиофизиков. Тезисы докладов, С.-Петербург 1998.

3. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей нелинейных неавтономных динамических систем, //Четвертая нижегородская сессия молодых ученых. Тезисы докладов. Н.Новгород, 1999, с. 154-155.

4. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Адаптивный алгоритм долгосрочного предсказания поведения системы, демонстрирующей хаотическую динамику // Четвертая нижегородская сессия молодых ученых. Тезисы докладов, Н.Новгород, 1999, с. 153-154.

5. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Долгосрочный прогноз эволюции малых газовых составляющих атмосферы по наблюдаемым временным зависимостям //Сборник трудов Международной конференции "Физика атмосферного аэрозоля", Москва, 12-17 апреля 1999г. - М.: Диалог-МГУ,1999,. - с.480-485.

6. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognostic models of non-linear dynamic systems Печ. XXII General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291,1999.

7. E.M. Loskutov, Ya.I. Molkov, DM. Mukhin, A.M. Feigin, Adaptive algorithm for long-term prognosis of observed chaotic dynamics, General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291, 1999.

8. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз бифуркаций слабонеавтономных динамических систем на основе наблюдаемых временных рядов. Институт Прикладной Физики РАН, Нижний Новгород, Препринт № 508, 1999.

9. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз бифуркаций динамической системы по наблюдаемому хаотическому временному ряду. // Тезисы докладов VI всероссийской конференции молодых ученых «Малые примеси атмосферы. Атмосферное электричество» (Нижний Новгород, 11-13 мая 2000г.), Н. Новгород.: Изд. ИПФ РАН, 2000, с.49.

10. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз бифуркаций динамической системы по наблюдаемому хаотическому временному ряду. // Труды VI всероссийской конференции молодых ученых «Малые примеси атмосферы. Атмосферное электричество» (Нижний Новгород, 11-13 мая 2000г.), Н. Новгород.: Изд. ИПФ РАН, 2000, с.151-169.

11. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, О глобальной реконструкции слабо неавтономных динамических систем по наблюдаемой динамике с целью прогноза бифуркаций. // Сборник тезисов докладов 5-й Нижегородской научной сессии молодых ученых, Н.Новгород, 2000, с. 121.

12. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Об оценке точности прогноза бифуркаций неавтономной динамической системы. Там же, с. 122.

13. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамической системы по хаотическому временному ряду. // Изв. ВУЗов - Радиофизика, т. 44, №5-6, с. 376-399, 2001.

14. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by the observed chaotic time series, Abstracts of the International conference the 100th Anniversary of A. A. Andronov «Progress in Nonlinear Science», 2001, p.233.

15. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей высокоразмерных слабонеавтономных динамических систем по наблюдаемой динамике. //Сборник тезисов 6-й Нижегородской научной сессии молодых ученых, 2001, с. 11.

16. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамических систем по хаотическим временным рядам, 6th International Conference CHAOS'Ol (Saratov, 2-7 October 2001), Book of Abstracts, Saratov, 2001, p. 111.

17. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей динамических систем по нестационарной зашум-ленной хаотической реализации, Там же, с. 112.

18. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Investigation of Nonlinear Dynamical Properties by the Observed Complex Behaviour as a Basis for Construction of the Dynamical Models of Atmospheric Photochemical Systems, Faradey Discussions, v.120, p.105-123,2002.

19. Я.И. Мольков, A.M. Фейгин, Прогноз качественного поведения динамической системы по нестационарному хаотическому временному ряду, //Сборник «Нелинейные волны' 2002». - Нижний Новгород: ИПФ РАН, 2003, с.34-52.

20. Е.М. Лоскутов, Я.И. Мольков, A.M. Фейгин, Построение параметризованных моделей динамических систем по зашумленным временным рядам, //Тезисы докладов VII всероссийской конференции молодых ученых «Малые примеси, атмосферное электричество и динамические процессы в атмосфере» (Нижний Новгород, 13-15 мая 2003г.), Н. Новгород.: Изд. ИПФ РАН, 2003, с.38.

21. Е.М. Лоскутов, Я.И. Мольков, A.M. Фейгин, Построение параметризованных моделей динамических систем по зашумленным временным рядам, //Труды VII Всероссийской конференции молодых ученых «Малые примеси, атмосферное электричество и динамические процессы в атмосфере» (Нижний Новгород, 13-15 мая 2003г.), Н. Новгород.: Изд. ИПФ РАН, 2003, с.163-167.

22. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Статистический подход к реконструкции динамических систем по временным рядам, Там же, с. 80.

23. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Статистический подход к реконструкции динамических систем. //Сборник «Нелинейные волны' 2004». - Нижний Новгород: ИПФ РАН, 2005, с.411-425.

24. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Modification of Bayesian approach as applied to reconstruction of dynamic system from time-series, Proceedings of International Symposium "Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 2-9 August, 2005, v.l, p.75-76.

25. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Modified Bayesian approach for the reconstruction of dynamical systems from time series, Physical Review E, 2006, vol.73, 036211.

26. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by noisy chaotic time series, Geophysical Research Abstracts, Vol. 8,06966,2006.

27. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Глобальная реконструкция динамических систем по слабонестационарным зашумленным хаотическим временным рядам, Препринт ИПФ РАН № 708, 2006.

28. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, МСМС метод в байесовой реконструкции динамических систем по зашумленным хаотическим временным рядам, Препринт ИПФ РАН № 716,2006.

29. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Markov chain Monte Carlo method in Bayesian reconstruction of dynamical systems from noisy

chaotic time series, Physical Review E, 2008, vol.77, 066214.

30. E.M. Loskutov, Ya.l. Molkov, D.M. Mukhin, A.M. Feigin, R.I. Timushev, Markov Chain Monte Carlo algorithm for Bayesian reconstruction of a dynamical system by noisy chaotic time series and its application to prognosis of bifurcations, Geophysical Research Abstracts, Vol. 9,03022, 2007, EGU General Assembly, Vienna, 15-20 April 2007,

31. E.M. Loskutov, Ya.l. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction of high dimensional dynamic systems from time series by stochastic models, Geophysical Research Abstracts, Vol. 10,00789,2008.

32. E.M. Loskutov, Ya.l. Molkov, D.M. Mukhin, A.M. Feigin, Parameterized modeling of stochastic systems by time series and prognosis of their qualitative behavior, Geophysical Research Abstracts, Vol. 10, 01541, 2008.

33. E.M. Loskutov, Ya.l. Molkov, D.M. Mukhin, A.M. Feigin, Stochastic models from time series, Proceedings of International Symposium 'Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 20-26 July, 2008, NWP-3, p.36-37.

34. E.M. Loskutov, Ya.l. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction and prognosis of qualitative behavior of high-dimensional dynamic systems by low-dimensional stochastic models, Proceedings of International Symposium "Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 20-26 July, 2008, NWP-3, p.62.

35. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Реконструкция случайных динамических систем по временным рядам и прогноз их качественного поведения, Тезисы докладов XIV научной школы «Нелинейные волны - 2008». Нижний Новгород: ИПФ РАН, 2008, с.115.

36. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Байесов подход к построению моделей в виде случайных динамических систем по наблюдаемым временным рядам, Препринт ИПФ РАН № 769, 2008.

37. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин,Е. Фиделии, Принцип минимальной длины описания при глобальной реконструкции динамических систем по зашумленным временным рядам, Препринт ИПФ РАН №771,2008.

Оглавление диссертации

Введение 4

I Построение детерминированных моделей по временным

рядам 15

1.1. Реконструкция фазовых переменных. 16

1.2 Построение отображения на секущей Пуанкаре. 17

1.3. Байесов подход к реконструкции динамических систем. 18

1.4. Модификация Байесова подхода. 22

1.5. Параметризованная модель оператора эволюции. 24

1.6. Классификация режимов поведения известной ДС

по коротким зашумленным ВР. 26

1.7. Прогноз качественного поведения по слабонестационарному

ряду. 31

II Фундаментальные проблемы детерминированного моделирования. 38

2.1. Оверимбеддинг 38

2.2. Диагностика оверимбеддинга 40

2.3. Следствия оверимбеддинга. 42

2.4. Выводы. От детерминированных к стохастическим моделям. 45

III Построение стохастических моделей: описание подхода. 47

3.1. Байесов подход к реконструкции случайной динамической

системы 48

3.2. Детерминированная и стохастическая компоненты 49

3.3. Модели детерминированной и стохастической компонент

в виде искусственных нейронных сетей 50

3.4. Обобщение на случай слабонеавтономных динамических систем. 51

IV Построение стохастических моделей: приложения

и примеры. 53

4.1. Реконструкция СДС с неоднородным, негауссовым и небелым динамическим шумом. 54

4.2. Мерограммы. 55

4.3. Прогноз в случае неоднородного и негауссова шума. 56

4.4. Прогноз "из простого в сложное". 57

4.5. Стохастические модели детерминированных систем. 58

4.5.1. Одномерная стохастическая модель отображения Эно. 59

4.5.2. Стохастическая модель двух связанных систем Ресслера. 62

V Принцип минимальной длины описания при глобальной

реконструкции динамических систем. 67

5.0. Недостатки существующих методов определения

размерности вложения. 67

5.1. Инвариантное определение минимальной дескриптивной длины. 68

5.2. Использование метода МДД для определения минимальной размерности вложения 73

Заключение. Основные результаты, выносимые на защиту. 79

Список работ автора по теме диссертации 81

Литература 87

МОЛЬКОВ Ярослав Игоревич

БАЙЕСОВ ПОДХОД К РЕКОНСТРУКЦИИ ДИНАМИЧЕСКИХ СИСТЕМ ПО ВРЕМЕННЫМ РЯДАМ И ДОЛГОСРОЧНЫЙ ПРОГНОЗ ИХ КАЧЕСТВЕННОГО ПОВЕДЕНИЯ

Автореферат

Подписано к печати 22.12.08. Формат 60 х 90 Бумага офсетная № 1. Печать офсетная. Усл. печ. л. 1,5. Тираж 100 экз. Заказ № 134(2008).

Отпечатано в типографии Института прикладной физики РАН, 603950 Н. Новгород, ул. Ульянова 46

Введение

1. Построение детерминированных моделей по временным рядам

1.1. Реконструкция фазовых переменных.

1.2 Построение отображения на секущей Пуанкаре.

1.3. Байесов подход к реконструкции динамических систем.

1.4. Модификация Байесова подхода.

1.5. Параметризованная модель оператора эволюции.

1.6. Классификация режимов поведения известной ДС по коротким зашумленным ВР.

1.7. Прогноз качественного поведения по слабонестационарному ряду.

2. Фундаментальные проблемы детерминированного моделирования.

2.1. Оверимбеддинг

2.2. Диагностика оверимбеддинга

2.3. Следствия оверимбеддинга.

2.4. Выводы. От детерминированных к стохастическим моделям.

3. Построение стохастических моделей: описание подхода.

3.1. Байесов подход к реконструкции случайной динамической системы

3.2. Детерминированная и стохастическая компоненты случайного оператора эволюции

3.3. Модели детерминированной и стохастической компонент в виде искусственных нейронных сетей

3.4. Обобщение на случай слабонеавтономных динамических систем.

4. Построение стохастических моделей: приложения и примеры.

4.1. Реконструкция СДС с неоднородным, негауссовым и небелым динамическим шумом.

4.2. Мерограммы.

4.3. Прогноз в случае неоднородного и негауссова шума.

4.4. Прогноз "из простого в сложное".

4.5. Стохастические модели детерминированных систем.

4.5.1. Одномерная стохастическая модель отображения Эно.

4.5.2. Стохастическая модель двух связанных систем Ресслера.

5. Принцип минимальной длины описания при глобальной реконструкции динамических систем.

5.0. Недостатки существующих методов определения размерности вложения.

5.1. Инвариантное определение минимальной дескриптивной длины.

5.2. Использовние метода МДД для определения минимальной размерности вложения

В диссертационной работе излагается последовательный подход к реконструкции динамических систем и долгосрочному прогнозу возможного изменения их качественного поведения, как одной из возможных целей такой реконструкции. Динамической системой (ДС) мы будем называть объект, состояние которого описывается точкой фазового пространства, или фазовыми переменными, и изменяется во времени по закону, задаваемому оператором эволюции. Под реконструкцией здесь понимается построение математической модели оператора эволюции (ОЭ) системы по временному ряду, представляющему собой результаты последовательных измерений некоторой физической величины, связанной с фазовыми переменными моделируемой системы. Измерения при этом производятся с конечной точностью. В работе рассматривается два вида ДС - детермини-

I •<»* рованные и случайные или стохастические. Детерминированной называется такая ДС, будущие состояния которой однозначно определяются г текущим, или по-другому начальными условиями. Под стохастической ДС понимается система, оператор эволюции которой в каждый момент времени является случайным. Физическим объектом, описываемым случайной*' ДС, является система, испытывающая случайные воздействия в процессе эволюции, которые часто называют динамическим или интерактивным шумом.

Разработке методов реконструкции ДС по порожденным ими временным рядам посвящено в последние тридцать лет большое количество работ (см., например, [1-3] и цитируемую там литературу). Такой подход не требует наличия полной и детальной априорной информации о процессах, протекающих в системе, в том смысле, что не включает в себя процедуру построения моделей из первых принципов (уравнений движения среды или отдельных частиц, уравнений для силовых полей, переноса излучения, химической кинетики, тепло и массопереноса и пр.). Математическая модель ОЭ исследуемой ДС при этом строится путем прямого анализа наблюдаемых данных, вообще говоря, без каких-либо допущений о природе изучаемого явления.

ОЭ ДС представляет собой отображение фазового пространства в себя, поэтому для построения его модели необходима реконструкция фазовых переменных системы. Фундаментальной основой методов реализации этого шага являются доказанные Такенсом теоремы [4], а также их обобщения на случай неавтономных и стохастических систем [6], в которых строится вложение фазового пространства произвольной ДС по последовательным измерениям произвольной скалярной функции фазовых переменных. Это вложение представляет собой взятые в достаточном количестве с фиксированным шагом по времени измерения, и носит название «метода координат с задержками». Количество таких координат является, тем самым, размерностью вложения, достаточная величина которой составляет 2Э+1, если £> - размерность исходной ДС. После того, как последовательность состояний ДС восстановлена, может быть сформирован набор пар образов и прообразов, связанных искомым оператором эволюции. Специфика моделирования ДС состоит, в том, что прообразы определяются собственной эволюцией ДС, а не выбираются в процессе эксперимента. Следствием этого является необходимость хаотичности детерминированной ДС, для того, чтобы ее реконструкция была возможна. В то же время стохастическая ДС в ряде случаев может быть восстановлена и по более простым режимам [102].

По подходам к их построению модели ОЭ можно разбить на две группы [1,2] - локальные и глобальные. К первым относятся модели, определяемые в отдельно взятых элементарных ячейках фазового пространства. При их построении используется идея разложения ОЭ в ряд. В качестве функций, аппроксимирующих данный ОЭ, используются полиномы различной степени [7] (в частности, полином нулевой степени — в этом случае предсказание заключается в простом усреднении по образам всех точек из выбранной окрестности), так и более сложные функции, например, системы радиальных базисных функций [8]. В случае хаотической динамики такие модели обеспечивают характерное время предсказания, обратно пропорциональное значению старшего ляпуновского показателя ВР, являющегося мерой разбегания изначально близких фазовых траекторий на хаотическом аттракторе [9]. Для успешной реконструкции поведения системы с помощью описанных локальных моделей необходимо, прежде всего, чтобы окрестность каждой точки исследуемого аттрактора была хорошо посещаема восстановленной фазовой траекторией, т. е. протяженность наблюдаемого ВР (объем данных) должна быть достаточной для хорошего покрытия всего аттрактора. Другим требованием к наблюдаемым данным является стационарность исследуемого ВР (предполагающая постоянство управляющих параметров реконструируемой системы), поскольку описанные методы базируются на эргодической гипотезе. Главным недостатком-локальных моделей является очень большое количество коэффициентов, требуемых для их описания, что очевидным образом снижает точность реконструируемых характеристик системы. Кроме того, высокая чувствительность к измерительному шуму сильно затрудняет их использование при работе с реальными данными. Вследствие перечисленных ограничений локальные модели используются для краткосрочного количественного прогноза эволюции ДС [7].

В противоположность локальным моделям глобальные модели оператора эволюции определяются во всей области фазового пространства, соответствующей наблюдаемому ВР. Привлекательность такого подхода связана с тем, что весь набор имеющихся данных описывается моделью с небольшим (по сравнению с локальными моделями) числом параметров. Более того, с помощью глобальных моделей можно отслеживать изменения управляющих параметров исходной системы, что находит применение в задачах реконструкции неавтономности системы [10-14,101,102], восстановления бифуркационных диаграмм [15-18], передачи информации [1921] и т.д. Чаще всего глобальная модель строится в виде дискретного ОЭ, описывающего связь между состояниями системы, соответствующими соседним по времени пересечениям фазовой траектории с выбранной секущей аттрактора в восстановленном фазовом пространстве. При этом для аппроксимации ОЭ могут использоваться различные функции, такие как, например, системы ортогональных полиномов [22], системы радиальных базисных функций [8,23,24], искусственные нейронные сети (ИНС) [12,13,25,26] и др. Кроме того, предложены методы построения потоковых глобальных моделей, представляющих собой системы дифференциальных уравнений заранее выбранного вида [27-32].

Глобальная модель ОЭ строится в виде функции, зависящей от набора свободных параметров. При этом задача реконструкции ДС сводится к определению этих параметров. Теоретической основой такого определения, при условии, что функциональный вид модели постулируется, является теорема Байеса [44], которая связывает апостериорную плотность вероятности параметров модели (АПВ) с результатами измерений, а также с априорными распределениями параметров, отражающими априорные представления о моделируемой системе. Часто в качестве оценки параметров модели принимаются их наиболее вероятные значения, т.е. значения, соответствующие максимуму АПВ. Частными случаями такого подхода являются метод наименьших квадратов (МНК) (см., например, [9,33,35]), соответствующий системе с однородным динамическим шумом; метод обобщенных наименьших квадратов (МОНК), эффективный в задачах аппроксимации данных, когда погрешность присутствует как в образах, так и в прообразах реконструируемого отображения [34,36,37]; метод множественной стрельбы [39,49], учитывающий «долгие» корреляции наблюдаемой динамической переменной. Одной из целей диссертационной работы является разработка и эффективная реализация «полной версии» Байесова подхода к глобальной реконструкции ДС, позволяющего извлекать из наблюдаемого ВР максимально полную информацию об исследуемой системе.

Попытки построения методик глобальной реконструкции детерминированных ДС, в которых в основе производимых оценок лежат статистические соображения, начали предприниматься сравнительно недавно. Первой работой, направленной на получение несмещенной оценки параметров известной ДС по зашумленному хаотическому ВР, является статья [40], в которой, во-первых, продемонстрировано растущее с увеличением уровня шума систематическое смещение оценок, полученных с помощью МНК и МОНК, и, во-вторых, предложена ценовая функция на основе инвариантной меры модели. На примере ВР, сгенерированного логистическим отображением, показано отсутствие систематической погрешности реконструкции параметра данной системы во всем представленном диапазоне уровня шума. Однако, как было отмечено в последующих работах [38, 41], предложенный метод построения ЦФ содержит ряд неточностей, связанных с неправильной статистической интерпретацией переменных, при этом использование предложенной ЦФ сопряжено с большой вычисли? тельной сложностью. Кроме того, в этих работах, а также в [42-44] отмечается трудность практического использования апостериорной плотности вероятности ненаблюдаемых, построенной статистически корректным' образом (в рамках «классического» Байесова подхода), в случае реконструкции динамической системы по зашумленному хаотическому ВР существенной протяженности. Основная проблема заключается здесь в практической невозможности учета «динамичности» системы в полной мере, что отражается в чрезвычайно сложной («изрезанной») структуре соответствующей функции АПВ. Поскольку именно хаотические ВР, неся в себе информацию о значительной части фазового пространства системы, представляют особый интерес с точки зрения глобальной реконструкции ДС, преодоление данной трудности является очень существенным шагом, на что и были направлены дальнейшие усилия в разработке Байесовых методов. Так, работе [41] предлагается подход, основанный на смягчении требований к динамичности исследуемой системы: при построении искомой АПВ предполагается наличие (кроме детерминированной) слабой стохастической связи между латентными переменными системы, т.е. по сути, в модель вводится динамический шум. Несмотря на то, что, как отмечено в работе [42], авторы фактически «неправомерно» подменили динамическую задачу стохастической, продемонстрировано, что такой подход позволяет получить несмещенные оценки на искомые характеристики системы. В работе [44] нами было показано, что при этом существенно снижается точность реконструкции из-за ослабления априорных требований к системе. В другой работе [38] предложена идея сегментации исходного ВР, при этом налагается требование, чтобы модель «максимально хорошо» воспроизводила наблюдаемую траекторию на этих сегментах. Вопросы выбора оптимальной длины сегмента, а также способа корректной оценки точности реконструкции остаются при этом открытыми.

В первой главе диссертационной работы развивается способ модификации Байесова подхода, направленный на построение функции АПВ, который корректно учитывает статистику шумов, и в то же самое время максимально возможным образом принимает во внимание динамичность исследуемой системы. Указанная выше трудность практического использования Байесова подхода для анализа хаотических рядов преодолевается при этом включением в процедуру реконструкции априорной информации о свойстве динамического хаоса, состоящем в потере информационной связи между отсчетами ряда с увеличением временного интервала между ними. Последнее позволяет получить апостериорное распределение ненаблюдаемых, пригодное для численного анализа. Предлагается также основанный на методе Монте-Карло метод статистического анализа (МСМС) [51,52] построенной функции АПВ, необходимый для расчета доверительных интервалов искомых величин. Отметим, что предложенный метод позволяет, кроме всего прочего, производить оценку параметров распределения шума (например, дисперсию), вообще говоря, неизвестных априори и являющихся ненаблюдаемыми наряду с параметрами модели и латентными переменными. В качестве возможного приложения формулируется и решается задача классификации режимов поведения ДС по коротким за-шумленным рядам [44].

В качестве одного из приложений предложенного подхода рассматривается задача реконструкции слабонеавтономной ДС (с медленно изменяющимися во времени управляющими параметрами). Наблюдаемый временной ряд при этом является слабонестационарным с масштабом нестационарности многократно превышающим характерные времена изменения динамических переменных. Неавтономность системы означает возможность смены типа поведения (бифуркаций) в процессе эволюции, что влечет за собой существенные (иногда катастрофические) изменения количественных характеристик наблюдаемого процесса, прогноз которых определяет практическую значимость задачи. На модельных примерах продемонстрирован успешный вероятностный прогноз типа поведения системы на времена, превышающие продолжительность наблюдений [10-14].

Вторая глава посвящена анализу фундаментальных ограничений на построение детерминированных моделей. Даже в случае, когда есть основания считать наблюдаемую систему детерминированной, построение по сгенерированному такой системой ВР детерминированной модели и использование этой модели для прогноза качественного поведения системы связано с рядом принципиальных ограничений. Первое — это ограничение на сложность системы. Дело в том, что в соответствии с теоремой Такенса [4], реконструкция фазовой траектории возможна в фазовом пространстве не слишком малой размерности йЕ: > 2с13 +1, где - размерность фазового пространства системы, породившей исходный временной ряд (ВР). Это означает, вообще говоря, что модель в форме детерминированной ДС (ДДС) корректно описывает поведение реконструируемой системы в подпространстве существенно меньшей размерности с18, чем размерность фазового пространства самой модели йЕ. Этот эффект называют оверимед-дингом [96]. В силу этого модель оказывается негрубой: она становится неадекватной системе при сравнительно небольших изменениях управляющих параметров. Второе — это ограничение на направление прогноза. Поскольку ВР содержит информацию только о части фазового пространства, определяемой "текущим" аттрактором, принципиально невозможен прогноз бифуркаций наблюдаемой системы "из простого в сложное". Например, нестационарный скалярный временной ряд позволяет правильно предсказать различные сценарии разрушения демонстрируемого системой хаотического поведения [11], однако прогноз возникновения хаотических осцилляций вследствие разрушения более простых типов поведения ДДС невозможен. И, наконец, третье - это ограничение на априорную информацию. Чтобы подтвердить детерминизм наблюдаемой системы, необходимо установить факт конечной размерности аттрактора, восстановленного по ВР, а также определить наименьшую для этого аттрактора размерности вложения. Существующие методы [1,82] определения упомянутых размерностей не применимы для анализа ВР, порожденных природными (например, атмосферными) системами. Дело в том, что, методы определения размерностей системы плохо работают в случае, когда исследуемый ВР содержит случайную компоненту («шум измерений»). Кроме того, требуемая для корректного определения размерности протяженность ВР степенным образом зависит от размерности системы, так что для не слишком простых систем необходимая продолжительность измерений становится практически недостижимой. Перечисленные ограничения являются, на наш взгляд, причиной того, что эффективность «детерминированной» глобальной реконструкции по временным рядам, порожденным природными системами, продемонстрировано в очень небольшом числе работ [27,28,29]. Реконструкция в форме модели случайной ДС (СДС) позволяет смягчить или преодолеть перечисленные выше ограничения, что делает такой подход существенно более универсальным. С точки зрения математики, СДС - это объект, состоящий из модели шума и модели системы, возмущаемой шумом [106]. Как уже было сказано, с точки зрения физики

СДС - это динамическая система, подверженная случайным внешним воздействиям в процессе эволюции. Известно, что большинство природных систем являются открытыми, то есть подверженными многочисленным внешним воздействиям, поэтому представление природных систем в виде СДС выглядит физически обоснованным. Можно сказать, что задача реконструкции СДС по ВР - это необходимый и важный шаг к реконструкции реальных (природных) систем в ситуации, когда неизвестны их адекватные математические модели, построенные из первых принципов (уравнений газо- и гидродинамики, химической кинетики, балансных соотношений для количества вещества, импульса, энергии и т.д.).

Во второй главе рассматриваются фундаментальные ограничения, обусловленные оверимбеддингом, на применимость изложенных в первой главе подходов к построению детерминированных моделей. Предлагается метод диагностики оверимбеддинга. Формулируется путь преодоления этих ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.

В третьей главе описывается последовательный Байесов подход к моделированию стохастических (случайных) динамических систем по временным рядам. Делаются базовые предположения о шуме, позволяющие эффективную алгоритмическую реализацию подхода. Предлагается универсальная модель случайного оператора эволюции в виде искусственных нейронных сетей.

В четвертой главе на модельных примерах демонстрируются возможности подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. В частности, мы демонстрируем успешный прогноз усложнения поведения системы по сравнению с наблюдаемым, что принципиально невозможно для детерминированных систем. Также в данной главе приводятся примеры успешного прогноза поведения некоторых детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей.

В пятой главе описывается подход к выбору размерности глобальных моделей динамических систем по зашумленным временным рядам (BP). Как известно [1], уже при сравнительно небольшом уровне шума используемые для определения размерности вложения методы (метод фальшивых соседей, вычисление корреляционного интеграла и др.) становятся не эффективными. Предлагаемый подход основан на построении глобальной модели в виде искусственной нейронной сети. При этом необходимое количество нейронов и размерность вложения выбираются так, чтобы длина описания была минимальна. В пятой главе показано, что такой подход является существенно более грубым по отношению к уровню и природе шума.

Апробация работы

Изложенные в диссертации результаты докладывались на семинарах и конкурсах работ молодых ученых Института прикладной физики РАН, семинарах НИИ ПМК, ИФА РАН, кафедры математической статистики ВМК МГУ им. М.В. Ломоносова, на семинаре "Российская наука ~ XXI век" Минпромнауки РФ, в Лондонском Империал колледже (Великобритания), на конкурсах научных работ, на международных и общероссийских конференциях и совещаниях: 12-ой Генеральной ассамблее Международного союза геодезии и геофизики (1999 г., Бирмингем, Великобритания), Международной конференции, посвященной 100-летию со дня рождения A.A. Андронова "Прогресс в нелинейной науке" (2001 г., Нижний Новгород), Международной конференции Хаос'01 (2001 г., Саратов), 120-ой Фа-радеевской дискуссии Королевского химического общества "Nonlinear Chemical Kinetics: Complex dynamics and Spatiotemporal Patterns" (Манчестер, Великобритания, 2001), XXXII Международном научно-методическом семинаре "Шумовые и деградационные процессы в полупроводниковых приборах" (Москва, 2001), 4-ом и 5-ом Рабочих совещаниях программы "REACTOR" Европейского научного фонда (2003 г., Будапешт, Венгрия; 2004г., Прага, Чехия), Генеральной ассамблее Европейского союза наук о Земле (2005, 2006, 2007, 2008г., Вена, Австрия), Международном симпозиуме "Topical Problems of Nonlinear Wave Physics" (2005, 2007, 2008г.), Международной конференции "Динамические дни" (2006 г., Крит, Греция), 3-ой, 4-ой, 5-ой, 6-ой Нижегородской научной сессии молодых ученых (Н. Новгород, 1998, 1999, 2000, 2001 гг.), 9-ой Всероссийской школе-семинаре "Волны — 2004" (Москва), 6-ой, 7-ой, 8-ой, 9-ой и 10-ой Всероссийской школе-конференции молодых ученых "МАПАТЭ" (2000 г. и 2003г., Нижний Новгород; 2004г., Москва; 2005г., Борок; 2006г.,, Москва), 11-ой, 12-ой, 13-ой и 14-ой Научной школе "Нелинейные Волны" (2002, 2004, 2006 и 2008 гг., Нижний Новгород), 20-ой Всероссийской конференции по распространению радиоволн (2002 г., Н. Новгород)* 15-ой, 16-ой и 17-ой научной сессии Совета по нелинейной динамике (2006, 2007, 2008гг., Москва). Í

Основные результаты диссертации опубликованы в 4 статьях в реферируемых российских (Известия ВУЗов - Радиофизика) и международных (Faradey Discussions, Physical Review E) научных журналах, 5 препринтах ИПФ РАН, 2 отчетах по программе фундаментальных исследований ОФН РАН, 6 сборниках трудов и 22 сборниках тезисов всероссийских и международных конференций.

2.4. Выводы. От детерминированных к стохастическим моделям.

В свете приведенных выше соображений, при построении модели по хаотическому временному ряду размерность множества обучения не может (сильно) превышать размерность наблюдаемого аттрактора, тогда как минимальная размерность вложения, напротив, может быть намного больше. В такой ситуации построение адекватной детерминированной модели становится невозможным, поскольку в размерности, меньшей наименьшей размерности вложения, однозначный оператор эволюции не существует. Одним из возможных способов описания этой неоднозначности может быть введение в динамику системы случайной компоненты, т.е. значение функции последования 0(х) на секущей в восстановленном фазовом пространстве считается случайной величиной.

Динамические системы такого типа называют стохастическими или случайными [106]. Объектом описания таких моделей являются физические системы, подверженные случайным внешним воздействиям. С другой стороны, с «экспериментальной» точки зрения высокоразмерный хаос в условиях ограниченного объема данных неотличим от случайного процесса, поэтому идея о попытке описания высокоразмерных детеминированных динамических систем с помощью низкоразмерных стохастических моделей выглядит вполне оправданной. В следующей главе мы покажем, что результаты такого подхода могут быть эффективны и в случае не слишком высокой размерности исходной детерминированной динамической системы. Заметим также, что аналогичный подход применяется для другого класса задач - при построении климатических моделей «из первых принципов» - для описания подсеточной динамики [100].

Еще одним важным преимуществом стохастического описания является существенно более широкий класс его объектов. Как правило, временные ряды, наблюдаемые в реальном эксперименте, являются короткими и/или зашумленными, что делает невозможным не только оценить размерность вложения, но и установить факт детерминированности породившей их системы как таковой. В такой ситуации стохастическое описание становится существенно более адекватным, поскольку не базируется на этих оценках.

Следующая глава данной диссертации посвящена разработке подходов к построению таких моделей по временным рядам.

Глава 3

Построение стохастических моделей: описание подхода. Введение

В предыдущих главах был подробно описан общий подход к реконструкции детерминированных систем и сформулированы фундаментальные ограничения. Как было показано, основным ограничением при построении детерминированных моделей является оверимбеддинг - существенное превышение минимальной размерностью вложения размерности аттрактора. Важным следствием оверимбеддинга является невозможность восстановления слабой неавтономности системы [96], а, следовательно, и прогноза ее качественного поведения. В пространстве меньшей размерности не существует однозначного оператора эволюции. В предыдущей главе было предложено учитывать эту неоднозначность в виде стохастической компоненты модели [102]. Кроме того, как уже отмечалось, построение стохастических моделей существенно расширяет класс исследуемых систем [103].

В 1-ом параграфе данной главы формулируется общая задача глобальной реконструкции случайной динамической системы "по Байесу". Во 2-ом параграфе предлагается эффективная с прикладной точки зрения общая стохастическая модель оператора эволюции. В 3-ем параграфе описывается аппроксимация детерминированной и стохастической части модельного оператора эволюции искусственной нейронной сетью. Формулируются априорные распределения параметров сетей. В 4-ой части предлагаемый подход обобщается на случай неавтономных стохастических систем.

3.1. Байесов подход к реконструкции случайной динамической системы

В работе [6] подход, предложенный к восстановлению фазовых координат по скалярным временным рядам [4,5,7], подробно изложенный в 1-ой главе, был теоретически обоснован также для нестационарных и стохастических систем. Поэтому, будем предполагать, что после восстановления фазовых переменных и построения отображения на секущей в нашем распоряжении имеется векторный временной ряд {и(^) = и„}^=1,и(0е5К'/, представляющий собой результаты последовательных измерений состояния некоторой случайной динамической системы (СДС) с дискретным временем 1п. Используя определение СДС данное в [106], будем предполагать, что данные состояния связаны посредством некоторого случайного оператора эволюции: где Г2 - некоторое измеримое множество (множество элементарных исходов), на котором заданы сигма-алгебра Е и вероятностная мера Р, в - эндоморфизм на вероятностном пространстве (Г2,£,Р).

Байесов подход к реконструкции такого случайного оператора будет состоять в определении вероятности Р(и | ср) (называемой иногда правдоподобием) наблюдать измеренный временной ряд при условии выбранного из некоторого класса ср. Будем считать, что каждому оператору из этого класса взаимнооднозначно сопоставлена точка из . Такое отображение будем называть параметризацией, а соответствующую точку — параметрами оператора, р — размерность пространства параметров. В зависимости от контекста под ср будем понимать либо сам оператор, либо его параметры.

По теореме Байеса, апостериорное распределение параметров ф с точностью до нормировки задается выражением: и

3.1)

Рposterior (Ф I U) ОС P(U | ф)Л,пог (ф) , posterior

3.2) где априорное распределение Рр„ог(ф) определяет априорные ограничения на параметры оператора. Построение и анализ (3.2), тем самым, решает поставленную задачу моделирования.

3.2. Детерминированная и стохастическая компоненты случайного оператора эволюции

Для удобства преобразуем (3.1) к виду: и„+1=г(ия)+п(®,и„), (3.3) где Г(и) = Е(ф(й),Щ)ц(<у, и) = ф(<у,и) - Г(II). Форма (3.3) позволяет явным образом разделить в модельном операторе эволюции детерминированную и случайную компоненты (соответственно, Реконструкция СДС с помощью модели (3.3) означает, по существу, разделение присутствующих в ВР процессов по временным масштабам: детерминированная компонента будет определяться, главным образом, наиболее "долго коррелированными" процессами, а случайная - процессами со сравнительно малым, временем корреляции. С учетом вышесказанного представим случайную компоненту в виде:

Л(ю, и) = £(11) • »X Й: И' -> 9ГЛ • & -» 91'м (3.4)

Отсчеты векторного случайного процесса С,п = (¡(о>„) размерности М будем считать независимыми во времени, или, другими словами, белым шумом, описываемым плотностью вероятности мгЦ^) = Е(5(£ - £(<у))). С учетом (3.4) форма (3.3) принимает вид: ип+1=Г(и„) + £(и„К,,. (3.5)

В (3.5) матричная функция § описывает распределение случайной компоненты в фазовом пространстве модели2.

В результате правдоподобие будет иметь вид:

1 Под Е понимается математическое ожидание.

2 Видно, что (3.5) представляет собой выражение, близкое к используемому в классическом методе наименьших квадратов (МНК) с той лишь разницей, что дисперсия ошибки предполагается зависимой от точки в фазовом пространстве. д и | Ф) - п Iи«) - П -г ) - ючо^ • (3 -6)

Далее будем полагать вектор £ имеющим нормально распределенные независимые компоненты: ос N(0,1),/ = 1,М . На примере мы покажем, что такое огрубление модели позволяет успешно решать задачу реконструкции и в случае, когда статистика восстанавливаемой системы заведомо не гауссова. Подставляя нормальное распределение в (3.6), получим

Важным следствием (3.7) является то, что с точки зрения правдоподобия (3.7) все модели (3.3), (3.4), имеющие одинаковые детерминированные компоненты и одинаковые ковариационные матрицы стохастической компоненты 0 = являются равновероятными. Тем самым, мы можем без ограничения общности ограничить размерность случайного процесса С, размерностью фазового пространства с1. Кроме того, поскольку О - симметричная матрица, она может быть описана с1(с1+1)/2 независимыми функциями фазовых переменных.

Таким образом, правдоподобие (3.7) задает плотность вероятности на классе функций 1Г(и)и (5(4), задаваемом априори, что полностью решает поставленную задачу.

3.3. Модели детерминированной и стохастической компонент в виде искусственных нейронных сетей.

В Главе 1 при реконструкции детерминированных систем по временным рядам для параметризации оператора эволюции мы успешно использовали искусственные нейронные сети с соответствующими априорными распределениями параметров сети. В данной главе мы демонстрируем возможности подхода, базируясь на такой же аппроксимации:

Р(и I Г, (?) ос П-гщ— ехр|~ \ (ип+1 - {(и„))г„)(и„+1 - {(и„))| (3.7) и) - А^(и), 0(1Т) = А^(</+1)/2(и) (3.8) где с1ш - количество входов ИНН, Ыош - количество выходов, и т — число нейронов в скрытом слое. В соответствии с соображениями, изложенными в Главе 1, мы задавали априорные распределения параметров сети в следующем виде:

РрпоМ,™, у) ос ехр ~ Г а 2 а 2 \\ ик1 , V У , 'I v м т с1 г,*- с!

-Е ■ а-2 2<т2уу

3.9) где сг„ = 1/ т, сг„ = 1, а-у = 1 - дисперсии соответствующих параметров.

Таким образом, выражения (3.7), (3.8) и (3.9), будучи подставленными в (3.2), определяют апостериорную плотность вероятности параметров нейронной сети.

3.4. Обобщение на случай слабонеавтономных динамических систем

В данном разделе мы обобщим предлагаемый подход на случай слабонеавтономных случайных динамических систем. Прикладное значение такого обобщения состоит в возможности прогноза качественного поведения СДС в случае, когда ее оператор эволюции медленно зависит от времени. При этом пусть известно, что характерный временной масштаб этой зависимости существенно превышает длину наблюдаемого ряда. Это означает, что функции Г(и)и (5(и), описывающие стохастическую модель, должны явно зависеть от «медленного» времени. В Главе 1 было показано, что в описанном случае такие зависимости могут быть аппроксимированы искусственными нейронными сетями (ИНН), в которых параметры нейронов выходного слоя линейно зависят от времени:

Г» М """

АШ£си,0= > (3-10) 1 АШ2(и,0 , <3(и,0 = АШ^+1)/2(и,0 Как и в предыдущем разделе, априорные распределения параметров сети предполагаются гауссовыми, аналогично (3.9) дисперсия сг2 =сг2а = \/т. С учетом явной зависимости от времени правдоподобие (3.7) преобразуется к виду

Р(и I £,(5) « П г * -'(и«>0)7 ¿"'(^лки^ -г(ия,о)1 т!\в(Уи,1п)\ I 2 \

3.11)

Подставив (3.10) и (3.11) в (3.2), получим апостериорную плотность вероятности параметров сетей, определяющую ансамбль моделей системы, в которых медленное время / является единственным управляющим параметром. Как и в работах [10-14,44,93,103,105], такой ансамбль может использоваться для вероятностного прогноза изменения поведения системы, что соответствует экстраполяции по времени за пределы интервала наблюдений. Модельные примеры построения такого прогноза будут представлены в следующей главе.

Глава 4

Построение стохастических моделей: приложения и примеры. Введение

В данной главе на модельных примерах демонстрируются возможности описанного в предыдущей главе подхода как для создания моделей, адекватно воспроизводящих наблюдаемые стационарные режимы эволюции автономной системы, так и для прогноза смены качественного поведения слабонеавтономных стохастических систем. Показывается, что некоторые фундаментальные ограничения, возникающие в случае детерминированных систем, могут быть преодолены для стохастических систем. А именно, демонстрируется успешный прогноз усложнения поведения системы по сравнению с наблюдаемым, что принципиально невозможно для детерминированных систем. Кроме того, строится прогноз поведения высокоразмерной детерминированной системы с помощью низкоразмерной стохастической модели. I

В 1-ом разделе показывается эффективность подхода реконструкции системы с неоднородным, негауссовым и не белым динамическим шумом. В 2-ом разделе предлагается способ репрезентации (классификации) режимов поведения стохастических систем на основе их инвариантных мер. В 3-ем разделе строится прогноз изменения качественного поведения на примере системы с неоднородным и негауссовым динамическим шумом. В 4-ом разделе демонстрируется возможность прогноза смены "простого" поведения стохастической системы более «сложным», что принципиально невозможно в "детерминированном" случае. В 5-ом разделе приводятся примеры прогноза поведения детерминированных высокоразмерных систем с помощью построения низкоразмерных стохастических моделей.

В приводимых примерах мы ограничимся анализом наиболее вероятных моделей, то есть тех, которые соответствуют максимуму апостери

57 орного Байесова распределения. В такой постановке задача построения модели будет состоять в поиске максимума апостериорной плотности вероятности по параметрам сетей, аппроксимирующим детерминированную и стохастическую компоненты.

В Заключении формулируются задачи, решение которых позволит определить границы применимости нового подхода, и обсуждаются некоторые возможные приложения.

4.1. Реконструкция СДС с неоднородным, негауссовым и не белым динамическим шумом.

Для примера рассмотрим, во-первых, стохастическую динамическую систему в виде логистического отображения, возмущенного белым гауссовым шумом: 5 х„+1=1 -Лх2п+а-Сп, 1) (4.1) и, во-вторых, ту же систему, в которой отсчеты регистрируются "через раз": х„+2 = 1 - А (1 -Лх2п+а-Сп)2+а-Сп+1 (4.2)

Система (4.2) интересна тем, что ее случайная компонента неоднородна и существенно не гауссова (бимодальна). Результаты рекострукции системы (4.1) приведены на Рис.4.1. В качестве исходных данных использовался ВР длиной 1000 отсчетов, сгенерированный системой (4.2) при Л = 1.85. Из рисунка видно, что, несмотря на то, что стохастическая компонента системы является заведомо негауссовой, ее распределение в фазовом пространстве восстановлено с помощью модели (3.5), (3.2), (3.7), (3.9) корректно.

Рис.4.1. Слева: Реконструкция автономной стохастической системы (4.2) с помощью модели в виде ИНН. Синие точки - состояния системы, красные - модели. Уровень шума о = 0.01. Справа: Сравнение случайных компонент системы и модели: стандартное отклонение распределения ¿»(11) • £, полученное аналитически для системы (4.2) (розовые точки), и вычисленное по модели в виде ИНН (синие точки). Зеленые и красные точки -то же, но для системы (4.1).

4.2. Мерограммы

Традиционным способом качественной репрезентации зависимости режима поведения детерминированной динамической системы от управляющего параметра является бифуркационная диаграмма, визуализирующая асимптотические (предельные) режимы поведения, отвечающие различным значениям параметров (для примера см. рис.4.2, левая панель). В случае стохастической системы предельный режим поведения (стохастический аттрактор) характеризуется инвариантной мерой рх(х,/£) [106], являющейся плотностью вероятности в фазовом пространстве в предельном режиме, зависящей от управляющего параметра ц. В данной работе для репрезентации качественного поведения стохастической системы мы используем инвариантную меру, показанную градациями серого на плоскости одной из фазовых координат и управляющего параметра (рис.4.2, правая панель). Далее будем называть такой способ репрезентации мерограм-мой.

Рис.4.2. Мерограмма как аналог бифуркационной диаграммы для стохастических систем на примере логистического отображенияхп -1 - Лхгпх + сг • С„ч, С « N(0,1). Слева: бифуркационная диаграмма детерминированной системы (сг = 0). Справа: мерограмма стохастического отображения (сг = 0.04), градациями серого показана зависимость рлхл).

4.3. Прогноз в случае неоднородного и негауссова шума

В приведенных в этом разделе примерах в качестве исходных данных использовался нестационарный ВР длиной 1000 отсчетов, сгенерированный неавтономной СДС в виде стохастического отображения (4.2), в котором управляющий параметр Я линейно менялся в интервале [1.8, 1.4]. Как уже ранее отмечалось, эта СДС является примером стохастической системы с негауссовым и не белым шумом, неравномерно распределенным по аттрактору (см. раздел 4.1). По исходному ВР строилась неавтономная модель (3.5), (3.1), (3.10), (3.11) и параметры модели экстраполировались в "будущее" на времена эквивалентные изменению параметра Л в интервале [1.4, 0.6]. На Рис.4.3. изображены мерограммы исходной системы (слева) и модели (справа) при разных уровнях шума. Из рисунка хорошо видно, что модель адекватно описывает поведение неавтономной СДС во всем диапазоне изменения управляющего параметра для шума а = 0.01 и сг = 0.02. При большем уровне шума а = 0.04 горизонт прогноза приближается к границе ВР, однако и в этом случае модель верно предсказывает качественное поведение исходной СДС (в том числе - его изменение) на времена порядка протяженности исходного ВР. от = 0.02 о- = 0.02 о- = 0.04 о- = 0.04

Рис.4.3. Слева: мерограммы системы (4.2), соответствует поведению системы при медленном изменении параметра Я от 1.8 до 0.6. Время меняется справа налево. Справа: мерограммы модели, построенной по ряду. Над каждым из рисунков указан уровень шума. а = 0.01 сг = 0.01

4.4. Прогноз "из простого в сложное"

Как уже отмечалось выше, для ДДС существует принципиальное ограничение на направление прогноза (см. введение): невозможен прогноз "из простого в сложное". В этом разделе демонстрируется, что для СДС прогноз "из простого в сложное" возможен и описанный выше алгоритм позволяет успешно осуществлять качественный прогноз поведения СДС при смене простого типа поведения на более сложный. Возможность такого прогноза качественно объясняется тем, что в присутствии шума состояние системы в каждый момент времени случайным образом возмущается.

61

Тем самым, в отличие от детерминированного случая, мы имеем информацию не только о предельном множестве, но и о его окрестности, определяемой величиной шума

В качестве исходных данных использовался нестационарный ВР длиной 1000 отсчетов, сгенерированный неавтономной СДС в виде стохастического логистического отображения (4.1), в котором управляющий параметр Я линейно менялся в интервале [0.5, 0.74]. По исходному ВР строилась неавтономная модель (3.11) и параметры модели экстраполировались в "будущее" на времена, эквивалентные изменению параметра Я в интервале [0.74, 1.4]. На Рис.4.4. изображены мерограммы исходной системы (слева) и модели (справа) демонстрирующие результат прогноза поведения неавтономной СДС. Хорошо видно, что модель позволяет правильно предсказать ближайшую по времени смену типа поведения системы, в том числе - с хорошей точностью предсказать момент бифуркации. В дальнейшем модель перестает адекватно описывать поведение системы и не воспроизводит переход системы к еще более сложным режимам.

Рис.4.4. Слева: мерограмма системы (4.1), соответствует настоящему поведению системы при медленном изменении параметра Я от 0.5 до 1.4. Время течет слева направо. Справа: мерограмма модели, построенной по временному ряду, сгенерированному системой (4.1) (см. подробнее в тексте). Уровень шума сг = 0.04.

4.5. Стохастические модели детерминированных систем

Еще одним важным приложением разработанного подхода является, как обсуждалась в разделе 2.4, возможность моделирования «слишком» (с

62 точки зрения реконструкции «по Такенсу» - см. выше Введение) высокоразмерных детерминированных систем, с помощью низкоразмерных стохастических моделей. Такая реконструкция дает возможность в некоторых случаях справиться с проблемой оверэмбеддинга [96], делающим невозможным восстановления слабой неавтономности в пространстве слишком высокой размерности.

4.5.1. Одномерная стохастическая модель отображения Эно

В качестве первой иллюстрации возможности низкоразмерной стохастической реконструкции высокоразмерных детерминированных систем приведем наглядный пример восстановления отображения Эно [54] одномерной стохастической моделью. Отображение Эно представляет собой двумерное точечное отображение вида: хп+1 =1 Ах2п ~ РУп

УпП = Хп

На Рис.4.5 красными точками приведен типичный вид аттрактора в этой системе. Его корреляционная размерность составляет примерно 1. Однако, как видно из рисунка, он не вкладывается в одномерное пространство, поскольку в большей части области положительных абсцисс присутствует неоднозначность.

В соответствии с идеей, выдвинутой в конце 2-ой главы, аппроксимация данного отображения с помощью одномерной стохастической системы эквивалентно интерпретации этой неоднозначности как случайной компоненты. Зелеными точками на рисунке 4.5 показаны отсчеты, сгенерированные наиболее вероятной моделью в виде СДС. Как видно из рисунка, основной эффект состоит в том, что такая модель описывает точно исходные данные там, зависимость является однозначной, а неоднозначность проявляется в том, что в соответствующей области стохастическая компонента является существенной.

1.5 1

0.5

1 0

-0.5

-1

-1.5

-1.5 -1 -0.5 0 0.5 1 1.5 &

Рис.4.5. Красные точки - аттрактор в отображении Эно при ¡5 = -0.2,Л = 1.4. Зеленые точки - наиболее вероятная одномерная стохастическая модель.

Пусть теперь параметр Л в системе (4.3) медленно меняется от отсчета к отсчету. При этом система может демонстрировать изменение качественного поведения. На верхней панели рис.4.6. приведен ряд, сгенерированной этой системой при указанных параметрах. При достаточно медленном изменении управляющего параметра такое представление близко к соответствующей бифуркационной диаграмме.

Как видно из рисунка, бифуркационный сценарий, реализующийся при изменении управляющего параметра исходного отображения, состоит из обратного каскада удвоений периода. Качественно близкое поведение демонстрирует и построенная одномерная стохастическая модель (см. нижнюю панель рис. 4.6), причем момент рождения двукратного предельного цикла (к~10000) предсказан количественно точно. Для построения модели использовался ряд, лежащий в интервале ¿=[2000,4000] (синие точки на рис.4.6.).

Рис.4.6. Верхняя панель. Временной ряд слабонеавтономного отображения Эно при ¡3 = -0.2. По вертикальной оси отложена переменная х системы (4.3), в которой параметр Л линейно меняется в интервале [1.5:0.4] с течением медленного времени. По горизонтальной оси отложен номер отсчета отображения. Синими точками выделена часть ряда, использованная для построения прогноза. Нижняя панель. Мерограмма наиболее вероятной слабонеавтономной одномерной стохастической модели.

Таким образом, с помощью одномерной стохастической модели предсказана бифуркация, удаленная на время, превышающая время наблюдения (длину ряда, использованного для построения модели). В то же время более близкие бифуркации (окно 4-х кратного цикла при &-1000, начало обратного каскада удвоений при к от 7000 до 9000) диагностируются моделью только в виде медленной зависимости инвариантной меры от медленного времени. Причина слабой чувствительности модели к таким бифуркациям состоит в том, что детали данных изменений сопоставимы по масштабу с величиной стохастической части модели, которая, тем самым, и определяет «разрешение» модели в идентификации «детерминированных» режимов поведения.

4.5.2. Стохастическая модель двух связанных систем Ресслера

Для иллюстрации эффективности подхода в более высокоразмерном случае мы использовали 6-ти мерную систему ОДУ, представляющую собой две связанные системы Ресслера. Связь выбиралась возбуждающей и не симметричной. Уравнения системы приведены ниже. 2 я&с, / ей = -ух - + 0.03л:2 с1ух / Ж = хх + 0.2у{ с1гх IЖ = 0.2-сг[ + ххгх (4 4) йх2 /Л = у2 - г2 + 0.02х, йу2 / Ш = х2 + 0.2^2 с1гг / Л = 0.2 - сг2 + х2г2

Управляющим являлся параметр с. На рис 4.8. приведена оценка корреляционной размерности аттрактора системы (4.4) при с=6. Как видно из рисунка, корреляционная размерность составляет в этом случае около 3.5. Оценка минимальной размерности вложения, произведенная методом фальшивых соседей, дает для этого ряда с1Ё = 7. Тем самым, мы заведомо находимся в ситуации сильного оверимбеддинга, и построение адекватной детерминированной модели невозможно (см. рис. 4.7).

На рис 4.9 приведен результат восстановления одномерного точечного отображения. Красные точки соответствуют исходному ряду, зеленые произведены одномерной стохастической моделью, соответствующей максимуму байесового распределения.

1Э -1-1-1-1-г

В 580 гвви 138В 2000 2508 3888

В 500 1.вВа 1500 2888 2588 3800

Рис.4.7. Попытка построения прогноза с помощью детерминированного отображения. Красными точками показано восстановленное отображение по временному ряду системы (4.4). Параметр с меняется от 6 до 3. По первым 1000 отсчетам строилась детерминированная модель размерности 6, что соответствовало оценке методом фальшивых соседей. Трем рисункам соответствуют попытки прогноза с помощью трех равновероятных моделей вблизи максимума апостериорного распределения (зеленые точки). Видно, что даже в пределах первых 1000 отсчетов, по которым строилась модель, демонстрируется качественно различное поведение.

На рис.4.10 приводится результат прогноза качественного поведения системы (4.4) с помощью одномерного стохастического отображения. Длина использованного ряда составляет 1000 отсчетов отображения. Контрольный параметр меняется в пределах от с=6 при к=0 до с=5 при ^=1000, где к - номер отсчета отображения. По ряду строится модель в виде неавтономного одномерного стохастического отображения, соответствующая максимуму байесова распределения, которая экстраполируется по медленному времени до &=3000. Зелеными точками показана реализация, сгенерированная полученной моделью. На нижней панели рисунка приводится мерограмма модели в тех же пределах изменения медленного времени.

4.5

-4-3-2-101234

Рис.4.8. Красными линиями приведены логарифмические производные корреляционного интеграла по логарифму масштаба. Корреляционная размерность аттрактора системы (4.4) при с-6 составляет около 3.5.

Из рисунка 4.10 видно, что на масштабах, превышающих длину исходного ряда, удается не только правильно предсказать тренды статистических характеристик динамики системы (изменение инвариантной меры), но и факт (и момент) бифуркации рождении низкоразмерного аттрактора в исходной системе, качественно и количественного сходного с двукратным стохастическим предельным циклом в модельном отображении.

Заключение

В заключение приведем основные результаты работы, в целом совпадающие с положениями, выносимыми на защиту.

1. Разработан метод глобальной реконструкции слабонеавтономных детерминированных динамических систем по зашумленным ВР и прогноза их качественного поведения, основанный на байесовом подходе к решению обратных задач. Метод включает в себя a. модификацию классического Байесова подхода, делающую возможным его практическое использования для хаотической динамики, b. интегрирование апостериорных распределений по латентным переменным методом Лапласа для уменьшения размерности апостериорного распределения для его последующего исследования, c. универсальную модель неавтономного оператора эволюции в виде искусственной нейронной сети, исследование апостериорных распределений МСМС методами, позволяющее извлекать из наблюдаемого процесса максимально полную информацию об исследуемой системе.

2. С помощью разработанного метода реконструкции ДС по нестационарным рядам успешно произведен прогноз качественного поведения детерминированной системы. В качестве примеров наблюдаемых процессов использовались слабонестационарные ВР, порожденные как дискретными отображениями, так и потоковыми системами. По участкам ВР, соответствующим хаотической динамике систем, правильно предсказаны вероятности реализации различных динамических режимов и бифуркационных переходов, а также типы возможных бифуркаций. Применительно к задаче прогноза показана эффективность использования модифицированного Байесова подхода в ситуации, когда исследуемые данные содержат существенный измерительный шум.

3. Сформулированы фундаментальные ограничения реконструкции детерминированных систем по временным рядам, связанные с оверимбеддингом. Предложен метод диагностики оверимбеддинга. Предложен путь преодоления описанных ограничений с помощью построения стохастических моделей в пространстве меньшей размерности.

4. Разработан Байесов подход к построению слабонеавтномных стохастических моделей по временным рядам. На модельных примерах продемонстрирована его эффективность как при реконструкции динамических систем стохастической природы, так и при моделировании выскокоразмерных детерминированных систем. Показана грубость подхода по отношению к базовым предположениям о свойствах динамического шума.

5. На модельных примерах успешно произведен прогноз качественного поведения по временным рядам, порожденным как высокоразмерными детерминированными, так и случайными динамическими системами.

6. Предложен метод оценки минимальной размерности вложения, основанный на принципе минимальной длины описания, пригодный как анализа зашумленных временных рядов, порожденных детерминированными динамическими системами , так и для рядов стохастической природы.

Список работ автора по теме диссертации

1. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Восстановление динамических моделей атмосферных фотохимических систем по временной реализации одной динамической переменной, Третья нижегородская сессия молодых ученых. Тезисы докладов, Н.Новгород 1998, с. 99.

2. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Создание прогностических моделей атмосферных фотохимических систем по данным наблюдения, Вторая Всеросийская научная конференция студентов-радио физиков. Тезисы докладов, С.-Петербург 1998.

3. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей нелинейных неавтономных динамических систем, Четвертая нижегородская сессия молодых ученых. Тезисы докладов. Н.Новгород, 1999, с. 154-155.

4. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Адаптивный алгоритм долгосрочного предсказания поведения системы, демонстрирующей хаотическую динамику, Четвертая нижегородская сессия молодых ученых. Тезисы докладов, Н.Новгород, 1999, с. 153154.

5. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Долгосрочный прогноз эволюции малых газовых составляющих атмосферы по наблюдаемым временным зависимостям, Сборник трудов Международной конференции "Физика атмосферного аэрозоля", Москва, 12-17 апреля 1999г. - М.: Диалог-МГУ, 1999,. - стр.480-485.

6. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognostic models of non-linear dynamic systems Печ. XXII General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291, 1999.

7. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Adaptive algorithm for long-term prognosis of observed chaotic dynamics,

General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291,

1999.

8. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз бифуркаций слабонеавтономных динамических систем на основе наблюдаемых временных рядов, Институт Прикладной Физики РАН, Нижний Новгород, Препринт № 508, 1999.

9. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз бифуркаций динамической системы по наблюдаемому хаотическому временному ряду, Тезисы докладов VI всероссийской конференции молодых ученых «Малые примеси атмосферы. Атмосферное электричество» (Нижний Новгород, 11-13 мая 2000г.), Н. Новгород.: Изд. ИПФ РАН, 2000, с.49.

10.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз бифуркаций динамической системы по наблюдаемому хаотическому временному ряду, Труды VI всероссийской конференции молодых ученых «Малые примеси атмосферы. Атмосферное электричество» (Нижний Новгород, 11-13 мая 2000г.), Н. Новгород.: Изд. ИПФ РАН,

2000, с.151-169.

11.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, О глобальной реконструкции слабо неавтономных динамических систем по наблюдаемой динамике с целью прогноза бифуркаций, Сборник тезисов докладов 5-ой Нижегородской научной сессии молодых ученых, Н.Новгород, 2000, с. 121.

12.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Об оценке точности прогноза бифуркаций неавтономной динамической системы, Там же, с. 122.

13.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамической системы по хаотическому временному ряду, Изв. ВУЗов - Радиофизика, т.44, №5-6, с.376-399, 2001.

14. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by the observed chaotic time series, Abstracts of the International conference the 100th Anniversary of A.A. Andronov «Progress in Nonlinear Science», 2001, p.233.

15.E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей высокоразмерных слабонеавтономных динамических систем по наблюдаемой динамике, Сборник тезисов 6-ой Нижегородской научной сессии молодых ученых, 2001, c.l 1.

16.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамических систем по хаотическим временным рядам, 6th International Conference CHAOS'01 (Saratov, 2-7 October 2001), Book of Abstracts, Saratov, 2001, p.l 11.

17.E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей динамических систем по нестационарной зашумленной хаотической реализации, Там же, р. 112.

18.Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Investigation of Nonlinear Dynamical Properties by the Observed Complex Behaviour as a Basis for Construction of the Dynamical Models of Atmospheric Photochemical Systems, Faradey Discussions, v. 120, p. 105-123, 2002.

19.Я.И. Мольков, A.M. Фейгин, Прогноз качественного поведения динамической системы по нестационарному хаотическому временному ряду, Сборник «Нелинейные волны' 2002». - Нижний Новгород: ИПФ РАН, 2003, с.34-52.

20.Е.М. Лоскутов, Я.И. Мольков, A.M. Фейгин, Построение параметризованных моделей динамических систем по зашумленным временным рядам, Тезисы докладов VII всероссийской конференции молодых ученых «Малые примеси, атмосферное электричество и динамические процессы в атмосфере» (Нижний Новгород, 13-15 мая 2003г.), Н. Новгород.: Изд. ИПФ РАН, 2003, с.38.

21.Е.М. Лоскутов, Я.И. Мольков, A.M. Фейгин, Построение параметризованных моделей динамических систем по зашумленным временным рядам, Труды VII Всероссийской конференции молодых ученых «Малые примеси, атмосферное электричество и динамические процессы в атмосфере» (Нижний Новгород, 13-15 мая 2003г.), Н. Новгород.: Изд. ИПФ РАН, 2003, с. 163-167.

22.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Статистический подход к реконструкции динамических систем по временным рядам, Там же, с.80.

23.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Статистический подход к реконструкции динамических систем, Сборник «Нелинейные волны' 2004». - Нижний Новгород: ИПФ РАН, 2005, с.411-425.

24.Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Modification of Bayesian approach as applied to reconstruction of dynamic system from time-series, Proceedings of International Symposium "Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 2-9 August, 2005, v.l,p.75-76.

25.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Modified Bayesian approach for the reconstruction of dynamical systems from time series, Physical Review E, 2006, vol.73, 036211.

26.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by noisy chaotic time series, Geophysical Research Abstracts, Vol. 8, 06966, 2006.

27.E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Глобальная реконструкция динамических систем по слабонестационарным зашумленным хаотическим временным рядам, Препринт ИПФ РАН № 708, 2006.

28.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, МСМС метод в байесовой реконструкции динамических систем по зашумленным хаотическим временным рядам, Препринт ИПФ РАН № 716, 2006.

29.Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Markov chain Monte Carlo method in Bayesian reconstruction of dynamical systems from noisy chaotic time series, Physical Review E, 2008, vol.77, 066214.

30.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, R.I. Timushev, Markov Chain Monte Carlo algorithm for Bayesian reconstruction of a dynamical system by noisy chaotic time series and its application to prognosis of bifurcations, Geophysical Research Abstracts, Vol. 9, 03022, 2007, EGU General Assembly, Vienna, 15-20 April 2007.

31.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction of high dimensional dynamic systems from time series by stochastic models, Geophysical Research Abstracts, Vol. 10, 00789, 2008.

32.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Parameterized modeling of stochastic systems by time series and prognosis of their qualitative behavior, Geophysical Research Abstracts, Vol. 10, 01541, 2008.

33.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Stochastic models from time series, Proceedings of International Symposium "Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 2026 July, 2008, NWP-3, p.36-37.

34.E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction and prognosis of qualitative behavior of high-dimensional dynamic systems by low-dimensional stochastic models, Proceedings of International Symposium "Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 20-26 July, 2008, NWP-3, p.62.

35.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Реконструкция случайных динамических систем по временным рядам и прогноз их качественного поведения, Тезисы докладов XIV научной школы «Нелинейные волны - 2008». - Нижний Новгород: ИПФ РАН, 2008, с.115.

36.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Байесов подход к построению моделей в виде случайных динамических систем по наблюдаемым временным рядам, Препринт ИПФ РАН № 769, 2008.

37.Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Е. Фиде-лин, Принцип минимальной длины описания при глобальной реконструкции динамических систем по зашумленным временным рядам, Препринт ИПФ РАН № ###, 2008.

1. Abarbanel H.D.1. Analysis of Observed Chaotic Data. New York: SpringerVerlag, 1997.

2. Безручко Б.П., Смирнов Д.А. Математическое моделирование и хаотические временные ряды. Саратов: ГосУНЦ "Колледж", 2005.

3. Анищенко B.C., Вадивасова Т.Е., Астахов В.В. Нелинейная динамика хаотических и стохастичеких систем. Саратов :Изд. Саратовского университета, 1999.

4. Takens F. Detecting strange attractor in turbulence. In: D.A. Rand and L.-S. Young (Eds.), Dynamical Systems and Turbulence, Warwick, 1980, Lecture Notes in Mathematics. Springer, Berlin 1981. 898. P.366.

5. Packard N.H., Crutchfield J.P., Farmer J.D., and Shaw R.S. Geometry from a time series. Phys. Rev. Lett. 1980. 45. P.712.

6. Stark J., Broomhead D.S., Davies M.E., Huke J. Takens Embedding theorems for forced and stochastic systems. Nonlinear Analysis, Theory, Methods & Applications 1997. 30. P.5303.

7. Farmer J.D. and Sidorowich J.J. Predicting Chaotic Time Series. Phys. Rev. Lett. 1987. 59. P.845.

8. Powell M.J.D. Approximation Theory and Methods. Cambridge:Cambridge University, 1981.

9. Abarbanel H.D.I., Brown R., Sidorowich J.J., and Tsimring L.Sh. The analysis of observed chaotic data in physical systems. Rev. Mod. Phys. 1993. 65. P. 1331.

10. Лоскутов E.M., Мольков Я.И., Мухин Д.Н., Фейгин A.M. Прогнозбифуркаций слабонеавтономных динамических систем на основе92наблюдаемых временных рядов. Препринт № 508. Н.Новгород:ИПФ РАН. 1999. Нижний Новгород, 1999. 53 стр.

11. Лоскутов Е.М., Мольков Я.И., Мухин Д.Н., Фейгин A.M. Прогноз качественного поведения динамической системы по хаотическому временному ряду, Изв. ВУЗов Радиофизика. 2001. 44(5-6). С.376.

12. Лоскутов E.M., Мольков Я.И., Мухин Д.Н., Фейгин A.M. Глобальная реконструкция динамических систем по слабонестационарным зашумленным хаотическим временным рядам. Нижний Новгород, 2006. 27 стр. (Препринт ИПФ РАН №708).

13. Мольков Я.И., Фейгин A.M. Прогноз качественного поведения динамических систем по зашумленным временным рядам Сб. лекций: Нелинейные волны'2002. / Под ред. А.В.Гапонова-Грехова, В.И.Некоркина Н.Новгород:ИПФ РАН, 2003. С.34.

14. Tokunaga R., Kajiwara S., and Matsumoto Т. Reconstruction bifurcation diagrams only from time-waveforms, Physica D. 1994. 79. P.348.

15. Bagarinao E., Nomura Т., Pakdaman K., and Sato S. Generalized one-parameter bifurcation diagram reconstruction using time series. Physica D. 1998. 124. P.258.

16. Bagarinao E., Pakdaman K., Nomura Т., and Sato S. Time series based bifurcation diagram reconstruction. Physica D. 1999. 130. P.211.

17. Bagarinao E., Pakdaman K., Nomura Т., and Sato S. Reconstructing bifurcation diagrams from noisy time series using nonlinear autoregressive models. Phys. Rev. E. 1999. 60(1). P.1073.

18. Дмитриев A.C., Панас А.И. Динамический хаос: новые носители информации для систем связи. М.:Физматлит, 2002.

19. Anishchenko V.S., Pavlov А.Р. Global reconstruction in application to multichannel communication, Phys. Rev. E. 1998. 57(2). P. 2455.

20. Анищенко B.C., Павлов A.H., Янсон Н.Б. Реконструкция динамических систем в приложении к решению задачи защиты информации. ЖТФ 1998. т.68(12). С.1.

21. Brown R. Orthogonal polynomials as prediction functions in arbitrary phase space dimensions, Phys. Rev. E. 1993. 47. P.3962.

22. Parlitz U. Identification of true and spurious Lyapunov exponents from time series. Int. J. Bif. Chaos 1992. 2. P.155.

23. Judd K, Mees A.I. On selecting models for nonlinear prediction. Physica D. 1995. 82. P.426.

24. Макаренко Н.Г. Фракталы, аттракторы, нейронные сети и все такое. Труды IV Всероссийской научн.-техн. конф. "Нейроинформатика-2002". Часть 2. М., 2002. Р. 121.

25. Casdagli М. Nonlinear prediction of chaotic time series. Physica D. 1989. 35. P.335.

26. Грибков Д.А., Грибкова B.B., Кравцов Ю.А. и др. Восстановление структуры динамической системы по временным рядам. Радиотехника и электроника 1994. т.39(2). С.269.

27. Bezruchko В., Smirnov D. Constructing nonautonomous differential equations from a time series. Phys. Rev. E. 2001. 63. P.016207.

28. Smirnov D., Bezruchko B. and Seleznev Ye. Choice of dynamical variables for global reconstruction of model equations from time series. Phys. Rev. E. 2002. 65. P.026205.

29. Безручко Б.П., Диканев T.B., Смирнов Д.А. Глобальная реконструкция модельных уравнений по реализации переходного процесса. Изв. ВУЗов. Прикладная нелинейная динамика. 2001. 9(3). Р.З.

30. Павлов А.Н., Янсон Н.Б., Анищенко B.C. Реконструкция динамических систем. Радиотехника и электроника 1999. 44(9). С.1075.

31. Gouesbet G. Reconstruction of the vector fields of continuous dinamical systems from scalar time series. Phys. Rev. A. 1991. 43. P.5321.

32. Jaeger L. and Kantz H. Unbiased reconstruction of the dynamics underlying a noisy chaotic time series. Chaos 1996. 6. P.440.

33. Van Huffel S., Vandewalle J. The total least squares problem. Philadelphia: SIAM, 1991.

34. Grassberger P., Schreiber Т., Schaffrath C. Nonlinear time sequence analysis. Int. J. Bifiir. Chaos 1991. 1. P.521.

35. Kostelich E.J. Problems in estimating dynamics from data. Physica D 1992. 58. P.138.

36. Kostelich E J. and Schreiber T. Noise reduction in chaotic time-series data: A survey of common methods. Phys. Rev. E 1993. 48. P.1752.

37. Pisarenko V. F. and Sornette D. Statistical methods of parameter estimation for deterministically chaotic time series. Phys. Rev. E 2004. 69. P.036122.

38. Horbelt W., Timmer J. and Voss H. U. Parameter estimation in nonlinear delayed feedback systems from noisy data. Phys. Lett. A. 2002. 299. P.513.

39. McSharry P.E. and Smith L.A. Better Nonlinear Models from Noisy Data: Attractors with Maximum Likelihood. Phys. Rev. Lett. 1999. 83. P.4285.

40. Meyer R. and Christensen N. Bayesian reconstruction of chaotic dynamical systems. Phys. Rev. E 2000. 62. P.3535.

41. Judd K. Chaotic-time-series reconstruction by the Bayesian paradigm: Right results by wrong methods. Phys. Rev. E 2003. 67. P.026212.

42. Лоскутов E.M., Мольков Я.И., Мухин Д.Н., Фейгин A.M. Статистический подход к реконструкции динамических систем Сб. лекций: Нелинейные волны'2004. / Под ред. А.В.Гапонова-Грехова, В.И.Некоркина Н.Новгород:ИПФ РАН, 2005. С.411.

43. Mukhin D. N., Feigin A. M., Loskutov E. M., and Molkov Ya. I. Modified Bayesian approach for the reconstruction of dynamical systems from time series. Phys. Rev. E 2006. 73. P.036211.

44. Gilks W. R., Richardson S. , and Spiegelhalter D. J. Markov Chain Monte Carlo in Practice. London:Chapman and Hall, 1996.

45. Meyer R. and Christensen N. Fast Bayesian reconstruction of chaotic dynamical systems via extended Kalman filtering. Phys. Rev. E 2001. 65. P.016206.

46. Fraser A.M. and Swinney H.L. Independent coordinates for strange attractors from mutual information. Phys. Rev. A. 1986. 33(2). P.l 134.

47. Schuster H.G. Deterministic Chaos. Weinheim:Physic-Verlag, 1984.

48. Bock H.G. Recent advances in parameter identification techniques for O.D.E. Numerical Treatment of Inverse Problems in Differential and Integral Equestions, P.Deuflhard, E.Hairer (Eds.), Birkhauser, Basel, 1983. P. 95.

49. Sitz A., Schwarz U., Kurths J., and Voss H. U. Estimation of parameters and unobserved components for nonlinear systems from noisy time series. Phys. Rev. E 2002. 66. P.016210.

50. Hastings W.K. Monte Carlo sampling methods using markov chains and their applications. Biometrica 1970. 67. P.97.

51. Chib S. and Greenberg E. Understanding the Metropolis-Hasting algorithm. The American Statistian 1995. 49. P.327.

52. Yang, P., Brasseur G.P. , Gille J.C., et al. Dimensionalities of ozone attractors and their global distribution. Physica D 1994. 76. P.331.

53. M. Henon (1976). "A two-dimensional mapping with a strange attractor". Communications in Mathematical Physics 50: 69-77.

54. Neelin, J.D. and Latif M. El Nino Dynamics. Physics Today 1998. 51. P.32.

55. Wang B., Barcilon A. , and Fang Z. Stochastic Dynamics of El Nino-Southern Oscillation. Journal of the Atmospheric Science 1999. 56. P.5.

56. Abarbanel H.D.I., Huerta R., Rabinovich M.I. Synchronized action of synaptically coupled chaotic model neurons. Neural Comput. 1996. 8(8). P.1567.

57. Frank G.W., Lookman T., Nerenberg M.A.H. Chaotic time series analysis of epileptic seizures. Physica D 1990. 46. P.427.

58. Srivastava H.N., Bhattacharya S.N., and Sinha Ray K.C. Strange attractor characteristics of earthquakes in Shillong plateau and adjoining regions. Geophys. Res. Lett. 1996. 23. P.3519.

59. Kennel M.B. Statistical test for dynamical nonstationarity in observed time-series data. Phys. Rev. E 1997. 56. P.316.

60. Gao J.B. Recurrence time statistics for chaotic systems and their applications. Phys. Rev. Lett. 1999. 83. P.3178.

61. Rieke C., Sternickel K., Andrzejak R.G., Elger C.E., David P., and Lehnertz K. Measuring nonstationarity by analyzing the loss of recurrence in dynamical system. Phys. Rev. Lett. 2002. 88. P.244102.

62. Schreiber T. Detecting and analyzing nonstationarity in a time series using nonlinear cross prediction. Phys. Rev. Lett. 1997. 78. P.843.

63. Witt A., Kurths J., and Pikovsky A. Testing stationarity in time series. Phys. Rev. E. 1998. 58. P.1800.

64. Hornik K., Stinchcombe M. and White H. Multilayer feedforward networks are universal approximators. Neural Networks. 1989. 2. P.359.

65. Тихонов А.Н. Об устойчивости обратных задач. Докл. АН СССР. 1943. \tom{39(5). С.195.

66. Тихонов А.Н. О регуляризации некорректно поставленных задач. Докл. АН СССР. 1963.153(1). С.49.

67. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.:Наука, 1974.

68. Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов математической статистики для решения некорректных задач. Усп. физ. наук. 1970. т. 102(3). С.345.

69. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Создание прогностических моделей атмосферных фотохимических систем по данным наблюдения, Вторая Всеросийская научная конференция студентов-радиофизиков. Тезисы докладов, С.-Петербург 1998.

70. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей нелинейных неавтономных динамических систем, Четвертая нижегородская сессия молодых ученых. Тезисы докладов. Н.Новгород, 1999, с. 154-155.

71. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Адаптивный алгоритм долгосрочного предсказания поведения системы, демонстрирующей хаотическую динамику, Четвертая нижегородская сессия молодых ученых. Тезисы докладов, Н.Новгород, 1999, с. 153-154.

72. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Прогноз качественного поведения динамических систем по хаотическим временным рядам, 6th International Conference CHAOS'Ol (Saratov, 2-7 October 2001), Book of Abstracts, Saratov, 2001, p. 111.

73. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Построение прогностических моделей высокоразмерных слабонеавтономных динамических систем по наблюдаемой динамике, Сборник тезисов 6-ой Нижегородской научной сессии молодых ученых, 2001, c.l 1.

74. Е.М. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognostic models of non-linear dynamic systems Печ. XXII General Assembly of International Union of Geodesy and Geophysics, (Birmingham, July 19th- 30th, 1999), Book of Abstracts, p. B291, 1999.

75. Бутковский О .Я., Кравцов Ю.А., Логунов М.Ю. Анализ погрешностей восстановления параметров нелинейного отображения по зашумленным хаотическим временным рядам. Изв. ВУЗов Радиофизика. 2002. 45(1). С.55.

76. Тихонов В.И. Статистическая радиотехника. М.:Радио и связь, 1982.

77. Hegger R., Kantz Н., and Schreiber Т. Practical implementation of nonlinear time series methods: The TISEAN package. Chaos. 1999. 9. P.413.

78. Manuca R. and Savit R. Stationarity and nonstationarity in time series analysis. Physica D 1996. 99. P.134.

79. Н.Б. Янсон, Павлов А.Н., Капитаниак Т., B.C. Анищенко B.C. Глобальная реконструкция по нестационарным данным. Письма в ЖТФ 1999, т.25. С.74.

80. The handbook of brain theory and neural networks. Ed. By Arbib M.A. The MIT Press, 1995.

81. Е.М. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Об оценке точности прогноза бифуркаций неавтономной динамической системы, Сборник тезисов докладов 5-ой Нижегородской научной сессии молодых ученых, Н.Новгород, 2000, с. 122.

82. Kennel М.В., Brown R. and Abarbanel H. D. I. Determining embedding dimension for phase-space reconstruction using a geometrical construction. Phys. Rev. A. 1992. 45(6). P.3403.

83. Анищенко B.C. Сложные колебания в простых системах. М.:Наука, 1990.

84. Press W.H., Teukolsky S.A., Vetterling W.T., and Flannery B.P. Numerical Recipes in C. Cambridge:Cambridge University Press, 1992.

85. Лоскутов E.M., Мольков Я.И., Мухин Д.Н., Фейгин A.M. МСМС метод в байесовой реконструкции динамических систем по зашумленным хаотическим временным рядам. Нижний Новгород, 2006. 15 стр. (Препринт НПФ РАН №716).

86. Rossler О.Е. An Equation for Continuous Chaos. Phys. Lett. 1976. 57A. P.397.

87. Лаврентьев M.A., Шабат В.Б. Методы теории функций комплексного переменного. М.:Наука, 1973.

88. Hegger R., Kantz Н., Matassini L., and Schreiber Т. Coping with Nonstationarity by overembedding. Phys. Rev. Lett. 2000. 84. P.4092.

89. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.:Наука, 1970.

90. Zhao Yi and Michael Small "Minimum Description Length Criterion for Modeling of Chaotic Attractors With Multilayer Perceptron Networks", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS, vol. 53, pp 722-732, 2006.

91. Ю.И. Неймарк, П.С. Ланда. Стохастические и хаотические колебания. Наука, М., 1987.

92. Michael Ghil, Mickael D. Chekroun, Eric Simonnet. Climate dynamics and fluid mechanics: Natural variability and related uncertainties. Physica D: Nonlinear Phenomena, Volume 237, Issues 14-17, 15 August 2008, Pages 21112126.

93. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Reconstruction of high dimensional dynamic systems from time series by stochastic models, Geophysical Research Abstracts, Vol. 10, 00789, 2008.

94. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Байесов подход к построению моделей в виде случайных динамических систем по наблюдаемым временным рядам, Препринт ИПФ РАН № ###, 2008.

95. A.M.Feigin, D.N.Mukhin, Ya.I.Molkov, E.M.Loskutov, R.I.Timushev. Prognosis of System Qualitative Behavior by Noisy Chaotic Time-Series. Phys. Rev. Lett. 2008 (submitted).

96. R. M. Neal, Tech. Rep. CRG-TR-93-1, Department of Computer Science, University of Toronto (1993).

97. E.M. Loskutov, Ya.I.Molkov, D.N.Mukhin, A.M.Feigin, MCMC Method in Bayesian Reconstruction of Dynamical Systems From Noisy Chaotic Time Series, Phys. Rev. E,Vol 77, 2007.

98. L. Arnold. Random Dynamical Systems. Springer Verlag, Corrected 2nd printing 2003

99. Tierney L. Markov Chains for Exploring Posterior Distributions. Annals of Statistics 1994. 22. P.1701.

100. E.M. Лоскутов, Я.И. Мольков, Д.Н. Мухин, A.M. Фейгин, Е. Фиделин, Принцип минимальной длины описания при глобальной реконструкции динамических систем по зашумленным временным рядам, Препринт ИПФ РАН № ###, 2008.

101. Lorenz, Е. N. (1963). "Deterministic nonperiodic flow". J. Atmos. Sci. 20: 130-141

102. Mackey, M. С. and L. Glass. 1977. Oscillations and chaos in physiological control systems. Science 197: 287-289.

103. Mane, R. On the dimension of the compact invariant set of certain nonlinear maps. Dynamics Systems and Turbulence, Warwick 1980. Editors D. Rand, and L. S. Young, pp.230-242. Springer-Verlag.

104. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Prognosis of bifurcations of a dynamical system by noisy chaotic time series, Geophysical Research Abstracts, Vol. 8, 06966, 2006.

105. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Parameterized modeling of stochastic systems by time series and prognosis of their qualitative behavior, Geophysical Research Abstracts, Vol. 10, 01541, 2008.

106. E.M. Loskutov, Ya.I. Molkov, D.M. Mukhin, A.M. Feigin, Stochastic models from time series, Proceedings of International Symposium "Topical Problems of Nonlinear Wave Physics", Nizhny Novgorod, Russia, 20-26 July, 2008, NWP-3, p.36-37.

107. R.M. May (1976). "Simple mathematical models with very complicated dynamics". Nature 261: 459.1. С ¿э.чз ¿(ofti^