Идентификация линейных моделей стационарных и слабо неустойчивых временных рядов

Гель, Юлия Рэмовна

Идентификация линейных моделей стационарных и слабо неустойчивых временных рядов тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

Гель, Юлия Рэмовна АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Санкт-Петербург МЕСТО ЗАЩИТЫ

1999 ГОД ЗАЩИТЫ

01.01.09 КОД ВАК РФ

Диссертация по математике на тему «Идентификация линейных моделей стационарных и слабо неустойчивых временных рядов»

Автореферат диссертации на тему "Идентификация линейных моделей стационарных и слабо неустойчивых временных рядов"

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

РГ6 од

На правах рукописи

Гель Юлия Рэмовна

ИДЕНТИФИКАЦИЯ ЛИНЕЙНЫХ МОДЕЛЕЙ СТАЦИОНАРНЫХ И СЛАБО НЕУСТОЙЧИВЫХ ВРЕМЕННЫХ РЯДОВ

(01.01.09 - математическая кибернетика)

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Санкт-Петербург 1999

Рабата выполнена на кафедре теоретической кибернетики математико-механического факультета Санкт-Петербургского государственного университета.

Научный руководитель:

доктор физико-математических наук, профессор Фомин Владимир Николаевич

Официальные оппоненты: доктор физико-математических паук,

профессор Барабанов Андрей Евгеньевич

кандидат физико-математических паук, доцент Шепелявая Наталия Борисовна

Ведущая организация:

Институт проблем управления Российской Академии наук {г. ¡Москва)

Защита состоится «/? уШМШ!-!^:..2000 года в часов£?.Смннут на заседании диссертащншого совета 063.57.49 по защите диссертации на соискание ученой степени кандидата паук в Санкт-Петербургском государственном университете по адресу: 198 904, Санкт-Петербург, Старый Петергоф, Библиотечная пл., д. 2, математжо-механяческнй факультет Санкт-Петербургскою государственпого университета.

С диссертацией можно ознакомиться по адресу: г.Сапкт-Петербург, Университетская набережная, д.7/9, Научная библиотека СпбГУ.

Автореферат разослан 1</У»...2000 г.

Ученый секретарь диссертационного совета кандидат физико-математических наук,

доцент А.И. Шепелявый

МШ.6'05

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Эффективность применения современных методов управления и оптимизации в автоматизированных системах в значительной степени зависит от адекватности используемых математических моделей реальным объектам и процессам. Поэтому проблема идентификации, изучающая методы построения математических моделей функционирующих систем по априорной и экспериментальной информации, является одной из основных в теории и практике управления сложными объектами различной физической природы. Проблема идентификации возникает не только в технике, но и в экономке, биологии, медицине, в научных исследованиях - везде, где необходимо получать модели изучаемых явлений в конкретных условиях функционирования последних. С середины XX века идентификация становится бурно развивающимся направлением современной теории управления. Значительный вклад в теорию идентификации был внесен такими учеными, как М. Аоки, А.Е. Барабанов, Дж. Бокс, Д. Граупе, И.А. Ибрагимов, О.Ю. Кульчицкий, В.Я. Катковник, И. Ландау, Л. Льюнг, A.A. Немура, К.-Й. Острем, Б.Т. Поляк, Дж. Саридис, Т. Содерстром, В.Н. Фомин, Р.З. Хасьминский, В.Е. Хейсин, Я.З. Цыпкип, C.B. Шильман, П. Эй-кофф.

Задача идентификации устойчивых и неустойчивых стационарных моделей временных рядов, а также моделей с изменяющимися (дрейфующими) во времени параметрами представляется одной из основных в теории адаптивной фильтрации, так как восстановление помехо-сигнальной ситуации является важнейшим этапом построения многих адаптивных систем. Большое внимание здесь уделено проблеме идентификации так называемого регрессионного уравнения, или ARMA-урав-нения, являющегося математической моделью широкого класса временных рядов.

Существует большое число разнообразных алгоритмов идентификации регрессионных уравнений. Среди них следует особо отметить методы, не связанные с восстановлением спектральной плотности временного ряда, например, метод Юла-Уолкера, а также целый класс рекурсивных процедур оценивания: метод стохастической аппроксимации (МСА), метод наименьших квадратов (МНК), метод инструментальной переменной и их различные модификации. Большинство этих методов предна-

значены для идентификации устойчивого авторегрессионного уравнения, или АИ-уравнения, (частного случая АШЛА-модели). В то же время в приложениях особо актуален вопрос восстановления неизвестных параметров регрессионного уравнения, характеристический полином которого не обязательно является устойчивым.

Для устойчивого, а затем и для слабо неустойчивого регрессионного уравнения при дополнительных частотных ограничениях на его передаточную функцию предложена и обоснована модификация МНК, доставляющая несмещенные сильно состоятельные оценки неизвестных параметров АГША-модели (С.А. Агафонов, А.Е. Барабанов, В.Н. Фомин, Н.Б.Шепелявая). Настоящая работа продолжает исследования в этом направлении в плане расширения области применения предложенных ранее алгоритмов идентификации и обобщения их на случай неустойчивого регрессионного уравнения, не удовлетворяющего упомянутому частотному условию.

Цель настоящей работы заключается в разработке и теоретическом обосновании алгоритмов идентификации линейного авторегрессионного уравнения бесконечного порядка, позволяющего адекватно описывать широкий класс как ограниченных в 12, так и не удовлетворяющих этому условию временных рядов.

Методы исследования. Проведенные в диссертации исследования в области решения задач идентификации опираются на результаты современной теории рекуррентного оценивания временных рядов, линейной алгебры и математической статистики. При разработке программных средств использованы методы системного программирования.

Научная новизна. Получены следующие новые результаты:

1) Главным объектом исследования в диссертационной работе является мало изученное линейное авторегрессионное уравнение бесконечного порядка. С помощью метода Паде получены его конечномерные приближения линейными регрессионными моделями.

2) Предложен и обоснован новый метод идентификации, являющийся обобщением метода Юла-Уолкера на случай устойчивого авторегрессионного уравнения бесконечного порядка. Этот алгоритм используется в дальнейшем для идентификации устойчивого регрессионного уравнения, не удовлетворяющего упомянутому выше частотному условию.

3) Впервые показано, что с помощью рекуррентной процедуры МНК можно получить сильно состоятельные оценки коэффициентов неустой-

эивого регрессионного уравнения.

4) Получены асимптотические оценки матрицы ковариации погрешности фильтрации в задаче отслеживания дрейфующих параметров в яестационарном регрессионном уравнении. Модель дрейфа и спектральная плотность помехи наблюдения-предполагаются заданными.

Практическая ценность. Результаты диссертационной работы носят, в основном, теоретический характер, но могут найти применение при разработке программного обеспечения для идентификации моделей случайных временных рядов.

Публикации. Основные результаты диссертации были опубликованы в работах [1], [2], [3], а также докладывались на VI Санкт-Петербургском Симпозиуме по теории адаптивных систем (7-9 сентября 1999) [4], на 7 Международной студенческой олимпиаде по автоматическому управлению (май 1999) и на семинарах кафедры теоретической кибернетики математико-механического факультета Санкт-Петербургского государственного университета. Работа над диссертацией была поддержана грантами для молодых ученых и аспирантов правительства Санкт-Петербурга, а также грантом РФФИ №98-01-00581.

Структура и объем работы. Диссертация состоит из введения и четырех глав, изложенных на 98 страницах машинописного текста, включающего 2 рисунка и 1 таблицу, и списка литературы, состоящего из 48 наименований.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность темы; исходя из существующей на данный момент теории и различных методов идентификации, формулируются цель и задачи исследований, определяется научная новизна работы. Здесь же приводятся результаты, выносимые автором на защиту.

В первой главе рассматриваются модели полезного сигнала в стандартной форме и в форме "вход-выход", а также связь между ними.

Основным объектом исследования в диссертации является авторегрессионное уравнение бесконечного порядка, или бесконечномерное авторегрессионное уравнение:

а(У)уе = а\, Ь е Т, (1)

где V — операция сдвига на такт назад (Vyt = yt~ь Vvt = v¿-i), й(-)— функция комплексного аргумента, заданная степенным рядом, <j2—положительная постоянная, v = {«(, t € Т} — стандартный дискретный белый шум (Ми{ = 0, Mvtvt' = cr25tt>).

Если й(') — рациональная функция, т.е. может быть представлена в виде отношения полиномов

«Д 0)

то уравнение (2) может быть сведено к конечномерному регрессионному уравнению:

û(V)ift = cr2b(V)vt, te T, (3)

где a(-) и í>(-) полиномы: o(A) = 1+AaH-----hApap, &(•) — 1+АЬн-----f-A9bç.

Поэтому задача идентификации конечномерного регрессионного уравнения может быть заменена задачей идентификации бесконечномерного авторегрессионного уравнения. Такой подход был предложен в в книге С.Л.Марпла-мл. "Цифровой спектральный анализ и его приложения", однако, без теоретического обоснования.

В связи с этим, важным является вопрос о нахождении полиномов а(-), &(•) рациональной функции, заданной степенным рядом. Для этой цели удобно воспользоваться методом Паде, который состоит в следующем.

Введем рациональную функцию G^(-) формального порядка (р, q),

g^ (4)

где -полиномы формальных степеней р и q (т.е допускается, что

(? — 0, dq — 0 и 0) = 1). В соответствии с методом Паде, полиномы

с^(Л) = ± c<p>Afc, dW(A) = ¿ <#> = 1 (5)

A=0 Jt=0

находятся из условия:

¿«>(А)а(А)-сЮ(А)= £ àkXk. (6)

Определение 1 Рациональная функция определенная (4)- (6) на-

зывается аппроксимацией Паде формального порядка (р', (/).

Георема 1 Если степенной ряд а(-) является рациональной функцией формального порядка (р1, у'), то при р > р', д > д' справедливо равен-:тво:

т.е. аппроксимация Паде совпадает с аппроксимируемой ею функцией.

Итак, знание конечного числа коэффициентов степенного ряда о(-) позволит найти полиномы с^(-), и тем самым переписать уравнение (2) в виде:

у, + + ... + =

= а2 [м 4- С««,.! +... + С^Щ.р) . (8)

Во второй главе диссертации предлагается и теоретически обосновывается алгоритм идентификации устойчивого регрессионного уравнения, основанный на модификации метода Юла-Уолкера для бесконечномерного авторегрессионного уравнения.

Пусть а(-) аналитична в единичном круге Нетрудно убедиться в справедливости следующего утверждения.

Лемма 1 Коэффициенты г — 1,2,..., уравнения (2) являются решениями системы уравнений:

£- И) ■ а< = -ЯуЦ'], ^ = 1,2..........(9)

при этом

<72 =

Езда,, оо = 1. (Ю)

1=0

Разумеется, решать бесконечную систему линейных уравнений затруднительно, но ее можно "усечь". Обозначим через а[ \ ..., а^ решение системы из Т уравнений

£ Ry[t - f]oir) = -ЩЩ, f = 1,2.....Г, (И)

где Т - порядок усечения.

Для оценок, получаемых с помощью линейной системы (11), получен следующий результат о их покомпонентной сходимости к точным значениям.

Лемма 2 Справедливо предельное равенство:

lim — сР^ I = 0, (12)

Т-юо II' v '

где

дР^ = со1(а!,а2,... ,аг), дР^ = col(fii, &2,..., аг) (13)

Таким образом, с помощью конечного числа значений корреляционной функции можно сколь угодно точно восстановить нужное число коэффициентов степенного ряда а(-), и тем самым оценить коэффициенты регрессионного уравнения.

Предложенный алгоритм реализован на языке PASCAL, проведенный эксперимент подтвердил теоретические разработки. Отметим, что для этого потребовалась модифицировать метод Паде, что связано с вырожденностью линейной системы для определения полинома d^(-) = 1.

Третья глава содержит результаты о сильной сходимости МНК для неустойчивого бесконечномерного авторегрессионного уравнения, которому соответствует конечномерное регрессионное уравнение.

Напомним, что оценки называются состоятельными в среднеквадратичном, если имеется сходимость последовательностей случайных величин в среднеквадратичном смысле; состоятельными, если они сходятся по вероятности; и сильно состоятельными, если имеет место сходимость почти наверное (с вероятностью 1).

Уравнение (1) может быть переписано в следующем виде:

г/4 = <Ф4-1,г,)+<А, (14)

где

ф(_! = -со1 1, Уг-2, • ■ •) е l2(N), т» = со1(йь а2, ■ • •) е 1г(М),

(Ф[_1,т,) — скалярное произведение векторов <±»1-1 и г». Соотношение (14) имеет вид "линейной схемы наблюдения" полезного сигнала {(Фе-ь т)> 6 К} на фоне белой помехи.

Пусть { 6 N и г 6 Ь — произвольные число и вектор. Последовательность тЩ оценок коэффициентов г, определяется из условия минимума функционала

Мг) =

1 «=1

= 1(Т*ЯтГ + 2г*Гг + Х:У?) = 1 «=1

= ^((т.-г)*Яг(п-г)--2(т. -тГгт + Х>|2),

(16)

где

Дт = ¿Ф[£-1](Ф[*-1]Г = £Ф[*](ФМГ,

(=1 (=0

Гт = 5>[<-1]й, (Ф[<-1])* = (»-ьй-а,...). «=г г

ГХ = £ф[«-1]и(, т = со1(г(1>,г(2),...). <=1

(17)

Если разложение в ряд Тейлора рациональной функции (3) не вырождается в полином (т.е. уравнение (2) не является авторегрессионным уравнением конечного порядка), то оператор Яг в (17) будем рассматривать как линейный оператор, действующий в гильбертовом пространстве а Ф[£], 4 < Т — 1, — как элементы (векторы) этого пространства:

ф[г -1] = со1(&_1, ..., г/о, у-1, • ■ •, у-р,о, о,...).

Множество значений оператора Лт при этом совпадает с линейной оболочкой элементов Ф[< — 1], I < Т.

Минимум по т функционала (16) достигается на случайном векторе

г[У] =аг§шш Мт) = -Н^гт = т,- Щгт (18)

и это значение равно

ЫМт) = + =

1 £=1

= (19)

1 «=1

В формулах (18), (19) через обозначено псевдообращение оператора 11т : ЧЩ

Л} = Ртт^Ртг + (1и - Ргт),

где Ргт — ортопроектор на подпространство значений оператора Нт и Ргг-Й^Ргг — обращение оператора Рг^ЛуРгг в инвариантном подпространстве Ргг12(ГЧ) (предполагается, что Рг^ДтРгг > еРгт при некотором € > 0).

Определение 2 Вектор т[Т] представляет собой оценку метода наименьших квадратов вектора коэффициентов уравнения (14)-

Чтобы не иметь дела с псевдообращениями операторов ЛТ, вместо оценок (18) будем рассматривать оценки

те[Т} = -(Ят+€Я)-1гт, (20)

где е — фиксированное положительное число иЛ — положительно определенный оператор в гильбертовом пространстве 1г (естественным образом определенное скалярное произведением в Ь обозначим (•, •)). Оператор Л называется регуляризатором.

Определение 3 Оценки (20) будем называть е-регуляризированными оценками метода наименьших квадратов.

Как известно (см. Фомин В.Н. "Рекуррентное оценивание и адаптивная фильтрация"), оценки МНК удовлетворяют рекуррентным соотношениям

- *М М.ЬГ/1 (ои

ге[*+1] - ^М-1+ТФ[<П.Г€[1]ФИГ.Й*М, (21)

рг*. 11 _ Гм Г€МФМ(ФМ)-Г,М

и определяются этими соотношениями при начальных условиях

т«[1] = 0, ад^^+еД)-1. (22)

Исследование состоятельности регуляризированных оценок МНК начнем с установления следующего утверждения, справедливого для авторегрессионного уравнения (14) общего вида (не обязательно устойчивого либо неустойчивого).

Теорема 2 Для аеторегрессионного уравнения (14), в котором помеха v = {vt, t € Т} — белошумная с независимыми значениями, при любом S > 0 с вероятностью lue среднеквадратичном смысле справедливо предельное соотношение

lim (г, - f([t], (Rt + f.R)l~s(r, - fe[t]) = 0 (23)

t—УОО

(матрица Rt определена в (17)).

Завершает доказательство сильной состоятельности оценок МНК следующее утверждение.

Теорема 3 Для наименьшего собственного значения Аяг матрицы Rt (см. (17)) с вероятностью 1 справедливо неравенство

Um T~lXRt > 0. (24)

T-wo

В случае слабо неустойчивого регрессионного уравнения (корни характеристического полинома могут находиться на, но не внутри единичной окружности) удается показать, что рекуррентные оценки МНК сходятся "по функционалу". Этот результат сформулируем в виде леммы.

Из этого результата очевидным образом следует сильная состоятельность нерегуляризованных оценок МНК.

В четвертой главе диссертации изучается задача оценивания дрейфующих параметров в нестационарном регрессионном уравнении в предположении, что задана модель дрейфа и известна спектральная плотность помехи наблюдения. Полученные результаты являются обобщением работ С.А. Агафонова, С.Г. Семенова и В.Н. Фомина.

Рассматривается модель вида:

где v = {г>4) < = 1,2,...} — белый шум со свойствами Мг^ = 0, Ми4г>я = Ии{1)6и; коэффициенты полинома Ь(-) (¿(А) = 1+АЬх + .. . + АРЬР) предполагаются известными; а(У,т() — 1 + Аа\ + ... + Ара1р, т£ = со1(а*,..., агр). Параметр т( дрейфует во времени:

где F — детерминированная квадратная матрица размерности р х р. Возмущение и> = = 1,2,...} предполагается белошумным со свойствами Мм| = 0, — 11ь}{Ь)б1, и независимым с возмущением v. Введем обозначения

(26)

П+1 = Гп + ииш, * = 1,2,..

(27)

V* =

т{ = со1(т{У)

= С01(<1>4, Ьх, Ь2 • • • Ьр)

(28)

Перепишем систему (26),(27) с учетом (28):

VI = Фп + и,

(29)

(30)

Оценки дрейфующих параметров будем искать с помощью фильтра Калмана-Бьюси для одношагового прогноза:

4+1 = Рп + К^ - Ф(Г() (31)

р,+1 = + +1) (32)

^ = рр^Я^+^ + Ф^Ф?)-1.

г = од,... (зз)

с начальными условиями

то = г, Р0 = Яг. (34)

Здесь Р^ есть квадратная матрица условной ковариации погрешности оценивания

р* = М{(Т» - п)(п - т4)'|у*-\ Ф'"1}, (35)

удовлетворяющая уравнению Риккати:

Рм = РР(Р* - РР4Ф* (Я» + Ф,Р4Фе')_1 Ф<РгР* + Яг. (36)

Определение 4 Будем говорить, что уравнение Риккати (36) непрерывно в малом по отношению с свободному члену <2¡5°, если для любого начального данного Ро > 0 величина

Ш\Р<\ = />(Р0°°) (37)

стремится к нулю при тг(<3^) 0

Для "однородного" уравнения Риккати:

я(+1 = - (я1 + фда:)-1 ф,я4р* (38)

доказана следующая теорема:

Теорема 4 Предположим, что выполнены следующие условия: 1. АеЬЁ ф О^еЦР - А1Р) ф 0 при |Л| > 1;

2. sup |i?t| < oo u Rt > 0 при каждом t> 0

3. Для людого р-вектора афО выполнено:

lim ||F+af + g|#;(F+)'af J = oo, (39)

где F+ есть псевдообращение F:

MV!)

Тогда для последовательности Hjj0, определяемой уравнением (38) при любом Н0 > 0, выполнено

lim Я( = 0 (40)

При этом нестационарное уравнение Ляпунова

Gl 1 = (F - к A) G? (F - K&f, (41)

Kt = FH& (Rt + ЪН&у1, - (42)

при любом начальном условии Gjj > 0 порождает также сходящуюся последовательность матриц {G°} и

lim G? = 0. (43)

«-♦00 1 v '

Рассмотрим стационарное уравнение Риккати:

Pt+1 = FPtF* - FP&'t (Rt + Ф4Р4ФГ) $tPtF' + Q (44)

Получена асимптотическая оценка для матрицы ковариации погрешности оценивания, удовлетворяющей (44).

Теорема 5 Предположим, что выполнены следующие условия:

1. det F Ф 0, det(F - AIp) Ф 0 при |A| > 1/

2. R> 0/

3. пара (F, Ф) детектируемая.

• *

Тогда уравнение (44) непрерывно в малом относительно свободного члена Q. В частности, при Q = 0

lim Pt = 0. t—>00

В заключении сформулированы основные результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

Проведенные в диссертационной работе исследования могут быть представлены в виде следующих результатов:

1) Исследовано линейное авторегрессионное уравнение бесконечного порядка. С помощью метода аппроксимации Паде, получены его конечномерные приближения линейными регрессионными уравнениями.

2) Разработан метод идентификации устойчивого минимально фазового регрессионного уравнения. Он основан на обобщении метода Юла-Уолкера для устойчивого авторегрессионного уравнения бесконечного порядка. Полученные результаты подтверждены численным моделированием на ЭВМ.

3) Доказана сильная состоятельность оценок коэффициентов неустойчивого регрессионного уравнения, доставляемых рекуррентной процедурой МНК.

4) Исследована задача оценивания дрейфующих параметров в нестационарном регрессионном уравнении в предположении, что известны модель дрейфа и спектральная плотность помехи наблюдения. Получена асимптотическая оценка дисперсии погрешности оценок, доставляемых фильтром Калмана-Бьюси.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

[1] Гель Ю.Р., Фомин В.Н. Восстановление регрессионного уравнения по реализации стационарного временного ряда Санкт-Петербург, 1997. Деп. в ВИНИТИ от 10 июля 1997, N23S8-B98,18 с.

[2] Гель Ю.Р., Фомин В.Н. Идентификация линейной модели стационарного процесса по его реализации. Вестник Санкт-Петербургского университета, 2(8): 21-31, 1998.

[3] Гель Ю.Р., Фомин В.Н. Восстановление регрессионной модели стационарного временного ряда. Вестник Санкт-Петербургского университета, 4(22): 11-15,1998.

[4]Fomin, V.N., Gel, Y.R. Identification of a linear regression equation. In 6ht Saint Petersnvrg Symposium on Adaptive Systems Theory. Proceedings. Vol 1.. pp. 69-72. Saint Petersburg , September 7-9, 1999.

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Гель, Юлия Рэмовна

Введение

1 Математические модели случайных временных рядов

1.1 Модель полезного сигнала и помехи в стандартной форме.

1.2 Модель наблюдаемого сигнала в форме вход-выход

1.3 Виды ARMA уравнений.

1.4 Аппроксимация Паде

2 Идентификация объектов, описываемых устойчивыми регрессионными уравнениями

2.1 Бесконечный вариант метода Юла-Уолкера. Сходимость усеченных оценок.

2.2 Численный пример.

3 Идентификация объектов, описываемых неустойчивыми авторегрессионными уравнениями

3.1 Метод эмпирического функционала.

3.2 Сходимость рекуррентных оценок метода наименьших квадратов.

3.3 Сходимость функционалов для слабо неустойчивого регрессионного уравнения.

3.4 Численный пример.

4 Оценивание дрейфующих параметров полезного сигнала, наблюдаемого на фоне белой помехи

4.1 Постановка задачи.

4.2 Отслеживание дрейфа авторегрессионных параметров в АЯМА-модели.

Введение диссертация по математике, на тему "Идентификация линейных моделей стационарных и слабо неустойчивых временных рядов"

Во многих прикладных задачах и теоретических исследованиях возникает вопрос: как на основе наблюдений временного ряда выявить основные его характеристики, что позволило бы в конечном итоге сформировать максимально достоверное представление об исходном образе, с которым он связан. Так, в частности, знание закономерностей, присущих временному ряду позволило бы решить такие задачи, как оптимальный прогноз (оценивание будущих значений временного ряда по предыдущим наблюдениям), задачу сглаживания или собственно фильтрации (требуется уточнить значения полезного сигнала, наблюдаемого на фоне помехи) и целый класс других задач, связанных с преобразованием временного ряда ([5],[14],[26], [32], [33], [35], [55], [56], [72]).

Процесс оптимальной фильтрации обычно предполагает должную формализацию статистических свойств наблюдаемого временного ряда, или, иными словами, предполагается, что известна некоторая математическая модель временного ряда. Часто в качестве такой модели принимаются линейные разностные или дифференциальные соотношения, формирующие из стандартного белого шума полезный сигнал и действующие на него помехи. Такие модели носят название формирующих фильтров. Если модель зависит от конечного числа параметров, то она называется конечномерной, в противном случае

- бесконечномерной. Наличие математических моделей временных рядов позволяет вычислять спектральные характеристики полезного сигнала и действующих на него помех. Так, например, в теории Винера-Колмогорова оптимальный в среднеквадратичном физически реализуемый фильтр может быть синтезирован для стационарного процесса лишь в предположении. что задана спектральная плотность частично наблюдаемого временного ряда, которая при этом не обязана быть рациональной ([20], [36], [46], [48], [49], [60], [65], [66], [90]). В теории рекуррентной фильтрации Калмана-Бьюси временной ряд не обязательно является стационарным, но предполагается, что он порожден конечномерным формирущим фильтром ([23], [36], [41], [46], [60], [61], [65], [66]). Таким образом, знание математической модели временного ряда является необходимым условием для решения многих задач оптимальной фильтрации. Отметим, что в приложениях обычно используются конечномерные математические модели. Одной из наиболее распространенных конечномерных моделей временных рядов является регрессионное уравнение, или АИМА-модель; а также ее частные случаи: авторегрессионное уравнение, или АН-модель, и уравнение скользящего среднего, или МА-модель ([4], [9], [25], [33]).

В приложениях параметры математической модели временного ряда, как правило, полностью или частично неизвестны. Доступной является лишь некоторая реализация временного ряда. Возникает вопрос о восстановлении этих неизвестных параметров с помощью данной реализации, т.е. ставится задача идентификации математической модели временного ряда.

Процедура идентификации математической модели, совмещенная с оптимальной обработкой наблюдаемого временного ряда, называется адаптивной фильтрацией, если с течением времени адаптивный фильтр приобретает оптимальные свойства. Такой фильтр называется предельно оптимальным.

В прикладных задачах особую важность приобретают достаточно быстро сходящиеся алгоритмы, имеющие по возможности наиболее простую структуру. Этой тематике посвящено огромное число работ. Обзор полученных результатов можно найти в ([2], [17], [18], [19], [21], [32], [37], [39], [43], [62], [70], [74], [77], [79], [88]).

Цель настоящей работы заключается в разработке и теоретическом обосновании алгоритмов идентификации линейного авторегрессионного уравнения бесконечного порядка, позволяющего адекватно описывать широкий класс как ограниченных в ¡2, так и не удовлетворяющих этому условию временных рядов.

Среди различных методов идентификации стационарных временных рядов особое место занимают алгоритмы, не связанные с восстановлением спектральной плотности временного ряда, ибо эта задача часто эквивалентна по сложности первоначальной задаче идентификации. Среди таких методов следует назвать метод Юла-Уолкера, а также целый класс рекурсивных процедур оценивания: метод стохастической аппроксимации (МСА), метод наименьших квадратов (МНК), метод инструментальной переменной и их различные модификации. Однако большинство этих методов посвящено идентификации устойчивой авторегрессионной модели ([1], [2], [4], [7], [16], [30], [34], [37], [38], [46], [50], [76], [77], [79], [80], [82], [85]). Идентификация смешанной АЯМА-модели является особенно актуальной в различных прикладных исследованиях, но и одновременно очень сложной задачей для теоретического анализа временных рядов. Этой проблеме посвящены многочисленные работы (см. обзор в [33], [32], [62], [70], [94], [93]), однако, проблема далеко не исчерпана, о чем свидетельствует большое число постоянно появляющихся публикаций.

В случае смешанной ARMA модели оценки МНК оказываются смещенными (см. [45]), для идентификации авторегрессионных параметров модели предложены различные варианты метода инструментальной переменной, основанного на конечной коррелированности правой части регрессионного уравнения ([32], [92]).

В [46], [49], [76], [77], [79], [80] для устойчивого регрессионного уравнения при дополнительных частотных ограничениях на передаточную функцию фильтра предложена и обоснована модификация МНК, доставляющая несмещенные сильно состоятельные оценки неизвестных параметров ARMA-модели. Для прикладных задач насущным является вопрос об идентификации ARMA-модели, не удовлетворяющей упомянутому частотному условию, что позволило бы значительно расширить класс идентифицируемых регрессионных процессов.

Задача идентификации неустойчивых моделей временных рядов интересна не только с теоретической, но и с практической точки зрения, где она приобретает особую важность. Для описания слабо нестационарных временных рядов в [9], [25] широко используется авторегрессионное уравнение, в котором характеристический полином имеет корни на единичной окружности; для идентификации такого уравнения предложена рекуррентная процедура МНК. Однако (теоретического) доказательства состоятельности доставляемой этой процедурой оценок не дано (что, видимо, связано с неограниченностью неустойчивого временного ряда). Впервые сходимость по вероятности оценок МНК для авторегрессионной модели была получена в [81], где сигнал на входе предполагался с независимыми и одинаково распределенными значениями. В более поздних работах [87], [89], [91] была доказана сходимость оценок МНК в среднеквадратичном. Однако для использования алгоритмов идентификации в адаптивном управлении наиболее важным является наличие сильной состоятельности оценок ([29], [40], [44]). Обоснование сходимости с вероятностью 1 оценок МНК для неустойчивого авторегрессионного уравнения было получено в [64] и [68] (однако приведенное там доказательство не является корректным, см. [90] и [8] соответственно) , в [8] (корни характеристического полинома могут находиться внутри единичного круга, но не на его границе). В [51], [54] получен результат о сильной состоятельности оценок МНК для слабо неустойчивого авторегрессионного уравнения, в существенной мере опирающийся на доказательство о связи между поведением информационной матрицы и асимптотическими свойствами МНК, приведенное в [73] и [8], которые являются обобщением и дальнейшим развитием работ [4], [28], [50], [63], [69], [79], [80]. В [53] модифицированный МНК распространен на случай слабо неустойчивого регрессионного уравнения (в предположении вышеупомянутого частотного условия). Представляется интересным обобщить полученные результаты на случай неустойчивой ARMA модели.

Задача идентификации значительно усложняется, если параметры математической модели временного ряда изменяются во времени (т.е. дрейфуют во времени). Для решения задачи отслеживания дрейфующих параметров необходимо задать некоторую математическую модель дрейфа. Часто в качестве такой модели принимается уравнение, заданное в стандартной форме и инвариантное во времени. При отсутствии стохастической составляющей дрейфа, дрейф назывется параметрическим, при ее наличии - непараметрическим ([32], [48]].

При параметрическом дрейфе задача получения (асимптотически) точных оценок параметров может быть сведена к задаче идентификации регрессионного уравнения. Если матрица модели параметрического дрейфа устойчивая, то с течением времени наблюдаемый сигнал становится неотличимым от стационарного процесса и приходим к задаче идентификации устойчивого регрессионного уравнения. Если матрица параметрического дрейфа является неустойчивой, то наблюдаемый сигнал приобретает детерминированную составляющую, неограниченно возрастающую во времени и определяющую тип дрейфа. Так, если соответствующая матрица модели дрейфа слабо неустойчива, то наблюдаемый сигнал дрейфует во времени по степенному или колебательно степенному закону.

Если стохастическая составляющая дрейфа присутстствует, то получить асимптотически точные оценки параметров математической модели дрейфа не представляется возможным. Однако в этом случае можно попытаться получать оптимальные оценки, доставляющие минимальную предельную ковари-ацию погрешности оценивания. Для этой цели может быть использована рекуррентная процедура фильтра Калмана-Бьюси ([47], [83], [84]). При этом асимптотические свойства получаемых оценок тесно связаны с непрерывностью в малом решений соответствующего уравнения Риккати ([3], [47], [52]). Понятие непрерывности в малом весьма важно для приложений: в задачах идентификации и оценивания оно гарантирует асимптотическую малость погрешности оценивания, если скорость дрейфа параметра не очень велика. В частности, если дрейф параметров отсутствует, то непрерывность в малом уравнения Риккати означает состоятельность оценок соответствующего фильтра Калмана-Бьюси независимо от выбора начальных условий. Это открывает возможность обоснованного использования фильтра Калмана-Бьюси в задачах идентификации линейного объекта и адаптивного управления, хотя при этом фильтр Калмана-Бьюси может и не обладать свойством оптимальности. Результаты по этой теме были подробно изложены в [3]. Задача о дрейфе параметров (в более общей постановке) изучалась в [22], [23], [24], [57], [58], [59], [71], [83], [84],

Перечислим кратко основные результаты диссертации по главам.

Основным объектом исследования в диссертации является авторегрессионное уравнение бесконечного порядка, или бесконечномерное авторегрессионное уравнение: а(у)Уг = а\, * е Т, (1) где V — операция сдвига на такт назад = Уь-ъ = Vt-l)■l ст2—положительная постоянная, у — {у^ £ £ Т} — стандартный дискретный белый шум (Мг^ = 0, Мг^ = а25и>)■ Если а(-) является рациональной функцией, т.е.

8<А> = щуто уравнение (2) может быть сведено к конечномерному регрессионному уравнению: а{Ч)уг = а2Ъ{Ч)уи I е Т, (3) где а(-) и Ь(-) полиномы: а(А) = 1 + Аах + • • • + Арар, &(•) = 1 + хЬг + • • • + Х%.

Таким образом, задача идентификации конечномерного регрессионного уравнения заменяется задачей идентификации бесконечномерного авторегрессионного уравнения. Такой подход был впервые предложен в [33], однако, без теоретического обоснования.

В связи с этим, важным вопросом является представление рациональной функции а(А) в виде отношения двух полиномов. Для этой цели удобно воспользоваться методом Паде, аппроксимации функции, заданной степенным рядом, рациональными функциями (см.[10]).

Введем рациональную функцию формального порядка (р,д),

4) где с^-полиномы формальных степеней р и д , т.е допускается, что ср = = 0 и с^(0) = 1. В соответствии с методом Паде ([10]), полиномы с<*\\) = Е с^А*, = Е 4?)А*,49) = 1 (5) к=0 к=0 находятся из условия:

А)а(А)-СЮ(А)= Е акХк. (6) к=р+д+1

Определение 1 Рациональная функция определенная

4)-(6) называется аппроксимацией Паде формального порядка (р\ ф).

Теорема 1 Если степенной ряд а(-) является рациональной функцией формального порядка (р', ф), то при р > р', д > ф справедливо равенство:

5(А) = С<-»(Л) = (7) т.е. аппроксимация Паде совпадает с аппроксимируемой ею функцией.

Итак, знание конечного числа коэффициентов степенного ряда а(-) позволит найти полиномы с^(-), с^(-) и тем самым переписать уравнение (2) в виде: уь + + • • • + = 2 а

С№ + с^Ч- 1 + . . + с^Ч-р

Пусть а(-) аналитична в единичном круге Нетрудно убедиться в справедливости следующего утверждения.

Лемма 1 Коэффициенты сц, г — 1, 2,., уравнения (2) являются решениями системы уравнений:

00 = 1,2,., (9) при этом а2 =

ERy№t, а0 = 1. (10) t=о

Разумеется, решать бесконечную систему линейных уравнений затруднительно, но ее молено "усечь". Обозначим через а\ ,ö2 > • • •) ат решение системы из i уравнении

Е Яу[* - Мт) = -Ry[t'l t' = l, 2,., ■г, (11) i=l где Т - порядок усечения.

Лемма 2 Справедливо предельное равенство: lim а(т) - а(т) = 0, (12)

Г-)-со где а= col(äi, ¿2,., äy), а1'7'' = col(äi, а.2,., ат) (13)

Уравнение (1) может быть переписано в следующем виде:

Ф£1, т*) — скалярное произведение векторов и т*. Соотношение (14) имеет вид "линейной схемы наблюдения "полезного сигнала {(Ф^х, г), £ Е N1 на фоне белой помехи.

Пусть ! 6 N и т Е Ь — произвольные число и вектор. Последовательность тЩ оценок коэффициентов т* определяется из условия минимума функционала

Уь = (Ф*-1,т*) + а\

14) где -со1 (ш-1, Уг-2, ■ ■ •) е т* = со1(аьа2, • • •) £ ЬОТ,

15)

Мт) =^Е(у4 + (Ф[*-1]Гт) 2 Т где

Ят = ])*= ЕФМ(ФМ)*, т

Г~Г = т = со1(т(1),т(2),.). (17) т = со

Если разложение в ряд Тейлора рациональной функции (3) не вырождается в полином (т.е. уравнение (2) не является авторегрессионным уравнением конечного порядка), то оператор Лт в (17) будем рассматривать как линейный оператор, действующий в гильбертовом пространстве Ь^), а Ф[£], £ < Т — 1, — как элементы (векторы) этого пространства:

- 1] = со1(^1, у 1—2-1 - - •, 2/о> У-ъ • • •, У-р 0, 0,.).

Множество значений оператора Я? при этом совпадает с линейной оболочкой элементов Ф[Ь — 1], Ь < Т.

Минимум по т функционала (16) достигается на случайном векторе

В формулах (18), (19) через К^ обозначено псевдообращение оператора Ит ■ -» Ь^): т[Т} =а^тт /г(г) = -К^гт = т* - К^гт (18) и это значение равно Ргг^^гт + (/ь - РгТ), т где Pit — ортопроектор на подпространство значений оператора Rt и PryJRy1Pry — обращение оператора Рг^^тРгг в инвариантном подпространстве Pry^N) (предполагается, что Рг^ЛтРгг > еРгу при некотором е > 0).

Определение 2 Вектор т[Т] представляет собой оценку метода наименьших квадратов вектора коэффициентов уравнения (14)

Чтобы не иметь дела с псевдообращениями операторов Rti вместо оценок (18) будем рассматривать оценки

Te[T} = -(RT + eRyírT: (20) где б — фиксированное положительное число и R — положительно определенный оператор в гильбертовом пространстве I2 (естественным образом определенное скалярное произведением в I2 обозначим (•,•)). Оператор R называется регуляри-затором.

Определение 3 Оценки (20) будем называть е-регуляризи-рованными оценками метода наименьших квадратов.

Как известно (см.[46]), оценки МНК удовлетворяют рекуррентным соотношениям [j. i 11 ~ Г/1 y*+i + (фМYUt] г мжы (суи Г [t +11 = гг,ГеМФМ(ФМ)теМ и определяются этими соотношениями при начальных условиях тс[1] = 0, Ге[1] = № + бД)-1. (22)

Теорема 2 Для авторегрессионного уравнения (14), в котором помеха v — {vt Е Т} — белошумная с независимыми значениями, при любом 5 > О с вероятностью lue среднеквадратичном смысле справедливо предельное соотношение матрица ^ определена в (1.32)).

Завершает доказательство сильной состоятельности оценок МНК следующее утверждение.

Теорема 3 Для наименьшего собственного значения Адт матрицы Лт (см. (17)) с вероятностью 1 справедливо неравенство

Лемма 3 Пусть ц оценки МНК, тогда lim (г, - f£[i], (Rt + eRf-\n ~ Щ) = 0 (23)

Т-> оо lim Т-1Адт > 0.

24)

Из этого результата очевидным образом следует сильная состоятельность нерегуляризованных оценок МНК.

Рассматривается модель вида: где V = I — 1,2,.} — белый шум со свойствами Мг>^ = О, М= Rv(t)8ts', коэффицианты полинома &(•) (Ъ(А) = 1 + А&1 + . + АрЬр) предполагаются известными; а(У, ъ) = 1 + Ха\ + . + Арагр, п = со1(а5,. ., а£). Параметр т^ дрейфует во времени: где Р — детерминированная квадратная матрица размерности р х р. Возмущение и> = {и^, £ = 1,2,.} предполагается белошумным со свойствами Мг^ = 0, Ми^-ш* = и независимым с возмущением V.

Введем обозначения

26)

1 = Рп + г = 1, 2,.

• 1

27)

V = со1(^1,. . . ,уг-р) тг = со1(т£, V1) Ф* = со1(Ф иЬъЬ2---Ьр)

28)

Перепишем систему (26),(27) с учетом (28):

Уь = Ф1п + щ п = Рп-1 + щ

29)

30)

Введение

F 0 \ ( wt yt

Оценки дрейфующих параметров будем искать с помощью фильтра Калмана-Бьюси для одношагового прогноза: тш = ^ + Кг(У1 - Ф^) (31)

Рм = РР^* -К^Р^* + ^(1+1) (32)

Кг = FPtФ¡(Rv(t+l) + ФtPtФ*t)-\

0,1,. (33) с начальными условиями го = , Ро = Яг- (34)

Здесь Р1 есть квадратная матрица условной ковариации погрешности оценивания

Р, = м{(п - п)(п - пГ|у*~\ Ф^1}. (35) удовлетворяющая уравнению Риккати:

1 = Рр^* - Ррьф; (я, + ф4р4ф;)-1 ад^* + я* (зв)

Определение 4 Будем говорить, что уравнение Риккати (2.14) непрерывно в малом по отношению с свободному члену о°; если для любого начального данного Ро > 0 величина lim |Pt| = р(Р0°°) (37) стремится к нулю при 7r(Qo°) —> 0

Для "однородного" уравнения Риккати:

Ht+1 = FHtF* - FHt&t (Rt + ФЛФl)~l &tHtF* (38) доказана следующая теорема:

Теорема 4 Предположим, что выполнены следующее условия:

1. det F ф 0, det(F - \1Р) ф 0 при |Л| > 1;

2. sup \Rt\ < оо и Rt > 0 при каждом t > О

3. Для людого р-вектора а ф 0 выполнено:

Тогда для последовательности Н^0, определяемой уравнением (38) при любом Но > 0, выполнено оо

39) где F+ есть псевдообращение F: t—>00

При этом нестационарное уравнение Ляпунова lim Ht = О

40)

G°t+1 = {F- КА) g? {F - KAY ,

41) lim G? = 0.

43) t^oo

Рассмотрим стационарное уравнение Риккати:

Л+1 = тР* - Рт; (Д* + ФгРЛ^у1 фгПР* + я (44)

Получена асимптотическая оценка для матрицы ковариа-ции погрешности оценивания, удовлетворяющей (44).

Теорема 5 Предположим, что выполнены следующие условия:

1. с1е1 Р ф 0, ¿еЬ(Р - А 1р) ф 0 при |Л| > 1;

2. Я > О/

3. пара (F, Ф) детектируемая.

Тогда уравнение (44) непрерывно в малом относительно свободного члена С}. В частности, при = 0

Сформулируем кратко новизну основных полученных результатов:

1) Главным объектом исследования в диссертационной работе является ранее не рассматриваемое линейное авторегрессионное уравнение бесконечного порядка. С помощью метода Паде получены его конечномерные приближения линейными регрессионными моделями.

2)Предложен и обоснован новый метод идентификации, являющийся обобщением метода Юла-Уолкера на случай устойчивого авторегрессионного уравнения бесконечного порядка. Этот алгоритм распространен в дальнейшем для идентификации устойчивого регрессионного уравнения, не удовлетворяющего упомянутому выше частотному условию.

3)Впервые показано, что рекуррентная процедура МНК доставляет сильно состоятельные оценки коэффициентов неустойчивого регрессионного уравнения.

4) Получены асимптотические оценки предельной матрицы ковариации погрешности фильтрации в задаче отслеживания дрейфующих параметров в нестационарном регрессионном уравнении. Модель дрейфа и спектральная плотность помехи наблюдения предполагаются заданными.

Заключение диссертации по теме "Дискретная математика и математическая кибернетика"

Заключение

Проведенные в диссертационной работе исследования могут быть представлены в виде следующих результатов:

1) Исследовано линейное авторегрессионное уравнение бесконечного порядка. С помощью метода Паде, аппроксимации функции, заданной степенным рядом, рациональными функциями, получены его конечномерные приближения линейными регрессионными моделями.

2) Разработан метод идентификации устойчивого регрессионного уравнения, не удовлетворяющего упомянутому выше частотному условию. Он основан на обобщении метода Юла-Уолкера для устойчивого авторегрессионного уравнения бесконечного порядка. Полученные результаты подтверждены численным моделированием на ЭВМ.

3)Доказана сильная состоятельность оценок коэффициентов неустойчивого регрессионного уравнения, доставляемых рекуррентной процедурой МНК. Этот результат в существенной мере опирается на исследования, представленные в [1], [46], [53].

4) Исследована задача оценивания дрейфующих параметров в нестационарном регрессионном уравнении в предположении, что задана модель дрейфа и известна спектральная плотность помехи наблюдения. Оценена предельная матрица ковариации погрешности фильтрации Калмана-Бьюси.

Список источников диссертации и автореферата по математике, кандидата физико-математических наук, Гель, Юлия Рэмовна, Санкт-Петербург

1. Агафонов С.А., Барабанов А.Е., Фомин В.Н. Адаптивная фильтрация случайных процессов. В кн.: Вопросы кибернетики. Актуальные задачи адаптивного управления. М., Научн. совет по комплексн. проблеме "Кибернетика" АН СССР, 1982. С. 4-30.

2. Агафонов С.А., Красулина Т.П., Фомин В.Н. Метод стохастической аппроксимации в задаче идентификации линейного динамического объекта. Вестник Ленинградского университета, 1(1): 5-10, 1981.

3. Агафонов С.А, Семенов С.Г, Фомин В.Н. Непрерывность решений нестационарного уравнения Риккати в малом. Ленинград, 1983. Деп. в ВИНИТИ от 26 августа 1983, N4695-83, 12 с.

4. Агафонов С.А, Фомин В.Н. Грубость метода наименьших квадратов по отношению к нестационарности помехи наблюдения. Вестник Ленинградского университета, 1(1): 5-11,

5. Аоки М. Оптимизация стохастических систем. Наука, Москва, 1971.

6. Барабанов А.Е. Оптимальное управление линейным объектом со стационарными помехами и квадратичном критерием качества. Ленинград, 1979. Деп. в ВИНИТИ от 07 октября 1979, N3478-79, 22 с.

7. Барабанов А.Е. Метод наименьших квадратов в задаче адаптивного оптимального управленния Ленинград, 1980. Деп. в ВИНИТИ от 07 июля 1980, N2482-80, 23 с.

8. Барабанов А.Е. О сильной состоятельности метода наименьших квадратов. Автоматика и телемеханика, 10: 119-127, 1983.

9. Бокс Дж., Дженкис Г. Анализ временных рядов: Прогноз и управление. Мир, Москва, 1974.

10. Бейкер Дж., Грейвс-Моррис П. Аппроксимация Паде. Мир, Москва, 1986.

11. Гель Ю.Р., Фомин В.Н. Восстановление регрессионного уравнения по реализации стационарного временного ряда Санкт-Петербург, 1997. Деп. в ВИНИТИ от 10 июля 1997, Ы2358-В98, 18 с.

12. Гель Ю.Р., Фомин В.Н. Идентификация линейной модели стационарного процесса по его реализации. Вестник Санкт-Петербургского университета, 2(8): 21-31, 1998.

13. Гель Ю.Р., Фомин В.Н. Восстановление регрессионной модели стационарного временного ряда. Вестник Санкт-Петербургского университета, 4(22): 11-15, 1998.

14. Деревицкий Д.П., Фрадков А.Л. Прикладная теория дискретных адаптивных систем управления. Москва, 1981

15. Дуб Дж.А. Вероятностные процессы. ИЛ, Москва, 1956.

16. Жданов А.И., Кацуба O.A. Особенности применения метода наименьших квадратов для оценивания линейных разностных операторов в задачах идентификации объектов управления. Автоматика и телемеханика, 8: 86-92, 1979.

17. Ибрагимов И.А., Хасьминский Р.Э. Асимптотическая теория оценивания Наука, Москва, 1979

18. Идентификация динамических систем Под ред. Немуры. Мингис, Вильнюс, 1974.

19. Каминскас В. Идентификация динамических систем по дискретным наблюдениям. Мингис, Вильнюс, 1982.

20. Катковник В.Я. Линейные оценки и стохастические задачи оптимизации. Наука, Москва, 1976.

21. Кульчицкий О.Ю., Катковник В.Я. Идентификация линейных дискретных динамических систем со случайным возмущением при неполном наблюдении вектора состояний. Кибернетика и вычислительная техника. Дискретные системы, 28: 41-47, 1975.

22. Катковник В.Я., Хейсин В.Е. Итеративные алгоритмы оптимизации для отслеживания дрейфа экстремума. Автоматика и вычислительная техника, 6: 34-40, 1976.

23. Катковник В.Я., Хейсин В.Е. Динамическая стохастическая аппроксимация полиномиальных дрейфов. Автоматика и телемеханика, 5: 89-98, 1979.

24. Кашьяп Р. Л, Pao А.Р. Построение динамических стохастических моделей по экспериментальным данным. Наука, Москва, 1983.

25. Кваркернаак X., Сивак Р. Линейные оптимальные системы управления. Мир, Москва, 1977

26. Колмогоров А.Н. Основные понятия теории вероятностей. Наука, Москва, 1974.

27. Кульчицкий О.Ю. Адаптивное управление линейными динамическими объектами с помощью модифицированного МНК. Автоматика и телемеханика, 1: 89-105, 1987.

28. Кунцевич В.М., Лычак М.М. Адаптивное управление линейными неустойчивыми и нелинейно-фазовыми объектами. Автоматика и телемеханика, 2: 108-117, 1985.

29. Линник Ю.В. Метод наименьших квадратов и основы математической обработки наблюдений. Физмат-гиз, Москва, 1958.

30. Лоэв М. Теория вероятностей Москва, 1962.

31. Льюнг Л. Идентификация систем. Теория для пользователя. Наука, Москва, 1991.

32. Марпл-мл. C.JL. Цифровой спектральный анализ и его приложения. Мир, Москва, 1990.

33. Невельсон М.С., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. Мир, Москва, 1973.

34. Острем К., Виттемарк Б. Системы управления с ЭВМ. Мир, Москва, 1987.

35. Петров O.A., Фомин В.Н. Теория фильтрации случайных процессов. Изд-во Ленингр. ун-та, Ленинград, 1991.

36. Позняк A.C. Сходимость алгоритмов стохастической аппроксимации при идентификации параметров динамических объектов. Автоматика и телемеханика, 8: 186— 190, 1979.

37. Поляк Б.Т., Цыпкин Я.З. Адаптивные алгоритмы оценивания (сходимость, оптимальность, стабильность). Автоматика и телемеханика, 3:71-84, 1979.

38. Райбман Н.С. Идентификация объектов управления (обзор) Автоматика и телемеханика, 6:80-93, 1979.

39. Райбман Н.С, Чадеев В.М. О концепции адаптивных систем с идентификацией Автоматика и телемеханика, 10:128-138, 1983.

40. Саридис Дж. Самоорганизущиеся стохастические системы. Наука, Москва, 1980.

41. Семенов С.Г, Фомин В.Н. О линейности оптимального управления линейным дискретным объектом со стаци-нарными помехами Вестник ЛДГУ, 19:59-66, 1982.

42. Современные методы идентификации систем Под ред. Эйкоффа П. Мир, Москва, 1983.

43. Срагович В.Г. Адаптивное управление. Наука, Москва, 1981.

44. Суровегин A.M., Фомин В.Н. Регуляризованный метод наименьших квадратов в задаче идентификации линейного динамического объекта Ленинград, 1986. Депонировано в ВИНИТИ от 02 апреля 1986, N2966-B86, 18 с.

45. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. Наука, Москва, 1984.

46. Фомин В.Н. Адаптивная оптимизация линейных стохастических систем управления В кн.: Вопросы кибернетики. Адаптивные системы управления. М., Научн. совет по комплексн. проблеме "Кибернетика"АН СССР, 1985, С. 48-59.

47. Фомин В.Н. Методы управления линейными дискретными объектами. Изд-во Ленингр. ун-та, Ленинград, 1985.

48. Фомин, В.Н. Операторные методы теории линейной фильтрации случайных процессов. Изд-во Санкт-Петербургского ун-та, Санкт-Петербург, 1996.

49. Фомин В.Н., Фрадков А.Л., Якубович В.А. Адаптивное управление динамическими объектами. Наука, Москва, 1981.

50. Фомин В.Н., Шепелявая Н.Б. Расширенный метод наименьших квадратов в задаче идентификации слабонеустойчивого динамического объекта. Л., 1988. Деп. в ВИНИТИ от 13 октября 1988, N7386-B88, 19 с.

51. Фомин В.Н., Шепелявая Н.Б. Состоятельность оценок метода наименьших квадратов для авторегрессионных моделей. Л., 1987. Деп. в ВИНИТИ от 24 апреля 1987, N4035-В87 , 12 с.

52. Фомин В.Н. Регрессионные модели для описания нестационарных временных рядов. Сборник научных статей Международной конференции 'Компьютерный Анализ Данных и Моделирование', Том 2. С. 269-274. Минск, Сентябрь 4-8, 1995.

53. Фомин В.Н. Идентификация слабо неустойчивых регрессионных уравнений. Л., 1995. Деп. в ВИНИТИ от 22 июня 1995, N1808-B95, 20 с.

54. Цыпкин Я.З. Адаптация и обучение в автоматических системах. Наука, Москва, 1968.

55. Цыпкин Я.З. Адаптивные алгоритмы оптимизации при априорной неопределенности). Автоматика и телемеханика, 6:94-108, 1979.

56. Цыпкин Я.З. Идентификация нестационарных динамических систем. Автоматика АН УССР, 2:3-9, 1986.

57. Шильман C.B., Малинов В.А. Адаптивное отслеживание тренда параметров сложных систем Изв. АН СССР. Техническая кибернетика, N1:71-83, 1980.

58. Шильман C.B. Адаптивное отслеживание тренда параметров сложных систем Изв. АН СССР. Техническая кибернетика, N1:208-215, 1987.

59. Anderson, B.D.O., and Moore, P.J. Optimal Filtering. Englewood Cliffs, Inc., New York, 1979.o .

60. Astrom, K.J. Theory and application of adaptive control. A survey. Automatica, 19(5):471-486, 1983.o

61. Astrom, K.J. System identification: A survey. Automatica, 7:123-162, 1971.o

62. Astrom, K.J., Mayne D., Clark J. A new algorithm for recursive estimation of parameters in controlled ARMA processes. Automatica, 6:751-761, 1984.

63. Fogel E., Graupe D. Convergence of LS identification algorithms applied to unstable processes. Int. J. Systems Sei, 8:611, 1977.

64. Fomin, V.N. Optimal Filtering. Vol. 2: Spatio-Temporal Fields. Kluwer Academic Pablishers, Dordrecht, 1999.

65. Fomin, V.N. Optimal Filtering. Vol. 1: Filtering of Stochastic Processes. Kluwer Academic Pablishers, Dordrecht, 1998.

66. Fomin, V.N., Gel, Y.R. Identification of a linear regression equation. In 6ht Saint Petersnurg Symposium on Adaptive Systems Theory. Proceedings. Vol 1. pp. 69-72. Saint Petersburg , September 7-9, 1999.

67. Graupe D. On convergence of least-squares identifiers of autoregressive models having stable and unstable roots. IEEE Trans. Automat. Control, AC-25(5):761-771, 1980.

68. Graupe D., Fogel E. A unified sequantial identification structure based on convergence concideration. Automatica, 12:53-59, 1976.

69. Graupe D., Jain V., Salahi J. A comparative analysis of various least-squares identification algorithms. Automatica, 16:663-681, 1980.

70. Kitagawa G., Gersch W. A smoothness priors time-varying AR coefficient modelling of nonstationary covariance time series. IEEE Trans. Automat. Control, AC-30(5):48-56,1985.

71. Landau J. Adaptive control. The model reference approach. Dekker, New-York, 1979.

72. Lai T., Wei C. Asymptotic properties of projections with applications to stochastic regression problems. Journal of Multivariable Analysis, 12:346-370, 1982.

73. Lai T. Asymptotically efficient adaptive control in stochastic regression models. Adv. Applied Math, 2:23-45,1986.

74. Levinson N. The Wiener root mean square error criterion in filter design and prediction. J. Math. Physics, 25(4):261-278, 1947.

75. Ljung L. On positive real transfer functions and the convergence of some recursive schemes. IEEE Trans. Automat. Control, AC-22(4):539-551, 1977.

76. Ljung L. Convergence analysis of parametric identification methods. IEEE Trans. Automat. Control, AC-23(5):770-783, 1978.

77. Ljung L., Soderstrom T. Theory and practice of recursive identification. The MIT press, London, 1983.

78. Ljung L. Analysis of recursive stochastic algorithms. IEEE Trans. Automat. Control, AC-22(4):551-575, 1977.

79. Ljung L. Consistency of the least-squares identification method. IEEE Trans. Automat. Control, AC-21(6):779-781, 1976.

80. Mann H., Wald A. On statistical treatment of linear stochastic difference equations. Econometrica, vol.11, 1943.

81. Moore T. On strong consistency of least-squares identification algorithms. Automático,, 14(5) :505-509, 1978.

82. Moser A., Graupe D. Identification of nonstationary models with application to myoelectric signals for controlling electrical stimulation of paraplegics. IEEE Trans. Acoustics, Speech and Signal processing, AC-37(5):779-781, 1976.

83. Moser A., Graupe D. Applicability of Kalman filtering theory to identification of time series with non-stationary covariance structure. Int. J. Systems Sci, 20(1), 1989.

84. Polyak, B. T., Tsypkin, Ya. Z. Optimal methods of estimating autoregression coefficients in the case of incomplete information. Eng. Cybernetics, 21(1): 100-109, 1983

85. Polyak, B.T., and Tsypkin, Ya.Z. Optimal recurrent algorithms for identification of nonstationary plants. Computers Elect. Engng., 18(5):365-371, 1992.

86. Rao M. 1961, Ann.math. Statist., 20:195.

87. Saridis G., Lobbia R. Parameter identification and control of linaer discretetime systems. IEEE Trans. Automat. Control, AC-17(l):52-60, 1972.

88. Saridis G., Stein G. IEEE Trans. Automat. Control, AC-13:515, 1968.

89. Sternby J. Comments on 'Convergence of least squares identification algorithms applied to unstable stochastic processes. Int. J. Systems Sci, 9(7):837-838, 1978.

90. Stigum B. J.multivariable analysis, 5:351, 1974.

91. Stoica P, Friedlander B., Soderstrom T. Instrumental variable methods for ARM A models. Control and Dynamic Systems-Advances in Theory and Applications, vol.XXIV.

92. Zhang Y., Feng C.-B. Identification of closed-loop systems via least-squares method. Int. J. on Adaptive Control and Signal Processing, 12:29-39, 1998.

93. Yashimoto G., Koreisha S. A comparison among identification procedures for Autoregressive Moving Average Models. International Statistical Review, 59(l):37-57, 1991.