Алгоритмы с функциональной обратной связью идентификации оптимальных дискретных фильтров

Дулов, Евгений Вадимович

Алгоритмы с функциональной обратной связью идентификации оптимальных дискретных фильтров тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

Дулов, Евгений Вадимович АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Ульяновск МЕСТО ЗАЩИТЫ

1997 ГОД ЗАЩИТЫ

01.01.09 КОД ВАК РФ

Диссертация по математике на тему «Алгоритмы с функциональной обратной связью идентификации оптимальных дискретных фильтров»

Автореферат диссертации на тему "Алгоритмы с функциональной обратной связью идентификации оптимальных дискретных фильтров"

РГ6 од

2 3 ; -

На правах рукописи

ДУЛОВ Евгений Вадимович

АЛГОРИТМЫ С ФУНКЦИОНАЛЬНОЙ ОБРАТНОЙ СВЯЗЬЮ ИДЕНТИФИКАЦИИ ОПТИМАЛЬНЫХ ДИСКРЕТНЫХ ФИЛЬТРОВ

01.01.09 — Математическая кибернетика

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Ульяновск - 1997

Работа выполнена в Ульяновском государственном университете.

Научный руководитель: доктор технических наук,

профессор Семушин И.В.

Официальные оппоненты: доктор физико-математических наук,

профессор Жданов А.И., доктор физико-математических наук, профессор Бутов A.A.

Ведущая организация: Московский государственный университет

им. М.Б. Ломоносова.

Защита состоится "Ж" АомА 1997 г. в часов на заседании

диссертационного совета К053.37.0,0» по защит»' диссертаций на соискание ученой степени кандидата физико-математических наук в Ульяновском государственном университете (432700. г. Ульяновск, ул. Л.Толстого, 42):'

С диссертацией можно ознакомиться в библиотеке Ульяновского государственного университета.

Автореферат разослан "1997 г.

Ученый секретарь диссертационного совета • Ковалев Е.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Возникнув в БО-е годы, задача идентификации и адаптации моделей динамических систем остается актуальной, что подтверждается большим числом современных публикаций. Значительный интерес для рассмотрения представляют модели динамических систем, допускающие представление в виде стохастических линейных дифференциальных или стохастических линейных разностных уравнений. При этом важный класс образуют задачи идентификации квазистационарных моделей, возникающие при исследовании новых технических систем, например в области навигации движущихся объектов или при оценке характеристик производственных и технологических процессов.

Для решения таких и подобных им задач разработано множество методов и алгоритмов, систематизированных в трудах известных ученых: Дж. Саридиса, Л. Льюнга, Я.З. Цыпкина, В.Ю. Рутковского и других. В работах Б. Уидроу, С. Стнрнза, И.В. Семушина и некоторых других предложено разделять способы использования регистрируемой информации в целях адаптации или адаптивной идентификации на две группы.

В первой группе способов информация о характеристиках входных сигналов используется для введения в вычислительный алгоритм пли в. аналитические выражения для оптимальных значений параметров системы обработки сигналов. При этом априорные предположения о доминирующих параметрах и характеристиках источника сигналов непосредственно влияют на качество работы системы, но успешность таких действий практически не гарантируется из-за отсутствия контроля за критерием (функционалом) качества системы. Методы решения такого типа иногда называют пассивными.

Во второй группе методов качество работы системы с параметрической идентификацией контролируется непосредственно, так как идентификация оптимальных характеристик системы производится по некоторому функционалу качества во время реальной работы. Основное преимущество таких систем заключается в образовании обратной связи по критерию качества. В данной работе будем называть их системами идентификации с функциональной обратной связью. Построение таких систем затруднено, так как из-за неполноты и зашумленности измерений исходный функционал качества принципиально не может быть реализован как функционал, зависящий от неизвестной ошибки фильтрации. Преодоление этих затруднений открыто в работах Р. Хемптона и II.В. Семушина, предложивших практически одновременно формирование вспомогательных функционалов качества, достигающих экстремума при тех же харак-

теристиках, что п исходный функционал качества, но при этом доступных для реализации. Однако практическое использование данного подхода требует эффективных численных алгоритмов минимизации вспомогательного функционала. На построение и исследование таких алгоритмов и направлена данная работа.

Тема настоящей диссертации вошла в научную программу "Университеты России" по проекту НДС-34 "Идентификация и адаптивные процессы в системах управления".

Цель работы — обоснование, разработка и исследование свойств сходимости численных алгоритмов идентификации оптимальных дискретных фильтров в соответствии с принципом функциональной обратной связи в теории и практике адаптивного оценивания и стохастического управления.

Достижение данной цели обеспечивается в работе решением следующих задач:

1) формирование наблюдаемого функционала качества для квазистационарной линейной динамической системы с эашумленнымн измерениями;

-2) обоснование численных алгоритмов минимизации функционала качества;

3) исследование возможности использования методов идентификации с функциональной обратной связью при различной степени априорной неопределенности модели;

4) исследование вопросов сходимости адаптивного фильтра к оптимальному дискретному фильтру.

Решение первой задачи осуществлено в рамках метода вспомогательного функционала й&чества с учетом критерия оптимальности функционала качества Я.З. Цыпкина на классе распределений.

Вторая задача характеризуется трудностью решения для функционала общего вида. Для минимизации сформированного функционала в работе используются методы, применявшиеся при решении аналогичных задач, а именно: одношаговый и многошаговый стохастические градиентные методы и стохастический вариант метода Ньютона. Исследуются возможности данных методов в рамках алгоритмов идентификации с функциональной обратной связью для систем фильтрации.

Постановка третьей задачи обусловлена тем, что большинство работ содержит результаты, ограниченные случаем нензвестноп ковариации шу-

лов, в то время как наибольший интерес вызывает решение задачи идентификации неизвестных параметров модели в обшей постановке.

Четвертая рассматриваемая задача ставит целью определение характера и скорости сходимости фильтра, в частности сходимости адаптивного фильтра к оптимальному дискретному фильтру.

Методы исследования. Для получения теоретических результатов использован аппарат теории вероятностей и математической статистики, теории стохастической идентификации и адаптации, теория матриц и вычислительная линейная алгебра, методы численной оптимизации. Для получения численных результатов использован аппарат теории математической статистики и численного моделирования.

Научная новизна. В диссертационной работе получены следующие новые результаты:

• построен алгоритм адаптивной фильтрации, позволяющий идентифицировать параметры моделей стохастических линейных динамических систем в соответствии с принципом функциональной обратной связи;

• предложены реализуемые алгебраически эквивалентные рекуррентные выражения для оценки неизвестных параметров модели, не требующие известности ковариационных матриц шумов модели при условии невырожденности матрицы наблюдений;

• доказана теорема о сходимости адаптивного фильтра к оптимальному установившемуся фильтру;

• полученные результаты обобщены на случаи матрицы наблюдений неполного ранга;

• получена асимптотическая оценка скорости сходимости алгоритма;

• построены алгоритмы адаптивной фильтрации на основе стохастического варианта метода Ньютона и стохастического многошагового градиентного метода;

• доказана алгебраическая эквивалентность алгоритмов идентификации, отвечающих различным методам:

одношаговому методу стохастических градиентов,

многошаговому методу стохастических градиентов,

стохастическому варианту метода Ньютона;

• построен алгоритм адаптивной фильтрации для систем с неизвестными переходной матрицей состояния модели и ковариационными матрицами шумов.

Теоретическая и практическая значимость. Научная и практическая значимость работы определяются новизной научного подхода к построению адаптивных фильтров для квазистационарных линейных динамических систем. Используемый для этой цели принцип функциональной обратной связи позволяет строить и применять новые алгоритмы для решения задач идентификации параметров квазистационарных линейных динамических систем в темпе реального времени. Результаты диссертации могут быть использованы в таких областях как теория идентификации и адаптации, для решения практических задач идентификации оптимальных дискретных фильтров для квазистацнонарных линейных динамических систем, включая стохастические системы управления.

На защиту выносятся следующие положения.

1) Применение принципа функциональной обратной связи для систем оценивания и стохастического управления в задачах идентификации оптимальных установившихся фильтров.

2) Рекуррентные алгоритмы адаптивной фильтрации, применимые для систем с неизвестными коварпациямп шумов, а также при неизвестной переходной матрице состояния.

3) Численные алгоритмы, реализующие метод стохастических градиентов в процессе минимизации вспомогательного функционала качества.

4) Сходимость численных алгоритмов минимизации функционала качества к характеристикам оптимального фильтра.

5) Асимптотическая оценка скорости сходимости численных алгоритмов идентификации.

6) Результаты математического моделирования и вычислительных экспериментов, подтверждающие работоспособность предлагаемых алгоритмов в широком диапазоне априорной неопределенности характеристик исходной модели.

Апробация работы. Результаты работы доложены на 2-й Международной конференции "Распознавание образов и анализ изображений: новые информационные технологии" РОАИ-2-95, г. Ульяновск, 1995 г.;

на Международной конференции "Информационные технологии в моделировании и управлении", г. С.-Петербург, 1996 г.; на IX Международной конференции "По проблемам теоретической кибернетики", г. Ульяновск, 1996 г.; на семинаре кафедры "Нелинейные динамические системы и проблемы управления" факультета ВМпК МГУ (г. Москва); на семинарах кафедры "Математическая кибернетика и информатика" механико-математического факультета УлГУ.

Публикации. Основные результаты диссертации опубликованы в 11 работах, список которых приведен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, двух приложений и списка литературы. Она изложена на 109 страницах, содержит 22 рисунка и 8 таблиц. Список цитируемой литературы состоит из 96 наименований.

Личный вклад. Решение всех поставленных задач, численное моделирование на ЭВМ, анализ результатов и выводы из них выполнены автором самостоятельно.

СОДЕРЖАНИЕ ДИССЕРТАЦИОННОЙ РАБОТЫ

Во введении определены цели диссертационной работы, решаемые задачи, их актуальность и направление исследований.

В первой главе содержится обзор литературы и основные результаты работ других авторов, использованные при написании диссертации, в частности:

• определение основных понятий и методов решения задач идентификации и адаптивной фильтрации, их достоинств и недостатков;

• принципы построения оптимальных идентификаторов и критериев качества идентификации. При этом, в отличие от рассмотренных в обзоре работ, автор решает задачу построения реализуемых алгоритмов идентификации с минимальными ограничениями;

• критерии качества работы идентификатора;

• критерии сходимости и устойчивости идентификаторов, известные из литературы.

Во второй главе приводятся постановка задачи и теоретические результаты, полученные автором при решении поставленных в диссертации задач.

Будем рассматривать модель линейной динамической системы

Х.-+1 = Ф • X; + СУ ■ + И,- , (1)

Zi = H-Xi + Vi, (2)

где (1) - уравнение состояния модели, х£ Л"; (2) - уравнение наблюдений, Zi е Rm\ u>i , гч - независимые друг от друга нормально распределенные векторы дискретного белого шума с нулевыми математическими ожиданиями и матрицами коварнацпи Q и R соответственно; ыг- - детерминированный вектор.

Матрицы Ф , G и ковариационные матрицы шумов Q и R полагаем постоянными, но неизвестными. В этих предположениях для модели (1), (2) требуется построить идентификатор, дающий оценки вектора состояния модели £•; и переходной матрицы модели Ф. При этом вместо получения непосредственных оценок матриц G, Q, R, что характерно для пассивных методов идентификации, будем строить идентификатор в виде адаптивного фильтра с функциональной обратной связью, вычисляющего оценки х.; п Ф в процессе минимизации некоторого вспомогательного функционала, эквивалентного исходному ненаблюдаемому функционалу ошибки фильтрации.

В качестве адаптивной модели системы (1), (2) возьмем фильтр Кал-мана

iji- Ф ■ х{ + щ , (3)

Xi = yi-1 +B-(zi-H ■ yi-1) , (4)

совпадающий по структуре с оптимальным фильтром Калмана, но отличающийся тем, что параметры ФиВ подлежат настройке на оптимальные значения. В этих уравнениях векторы yi_i и хг представляют собой экс-траполяционную и отфильтрованную оценки вектора состояния модели х; соответственно.

Отметим, что в данных условиях вид оптимального функционала качества для адаптивного фильтра определяется функцией плотности распределения помех и для гауссова распределения он должен быть квадратичным. Обозначим невязку и, — zi — а ненаблюдаемую ошибку фильтрации ег- — Х{ — Если переходная матрица модели Ф известна, то-есть Ф = Ф, возьмем вспомогательный функционал качества в виде:

JV(U) = E[VJui] = trE\VivJ] ,

а исходный функцнонал качества

Je - E[ejе,-] = trE[eiCf}.

Обозначим Si = E[vivJ\, Sf = £[e,-ef]. Тогда

Si = НФ • • (ЯФ)Т + Const

и вспомогательный функционал Jv связан с функционалом Jt соотношением

Jv(ti) = tr{Si} = tr{H$ ■ St_j ■ (ЯФ)Г} + const . (5)

Если для матрицы Я верно соотношение НТН = а ■ I ,а > 0, выражение (о) с учетом квадратичности критерия качества означает, что минимумы J„ и Je в установившемся режиме фильтрации совпадают. Таким образом, в этом режиме задача минимизации исходного ненаблюдаемого функционала сводится к минимизации вспомогательного наблюдаемого функционала Jv по параметру-матрице В.

Рассмотрим задачу разработки и исследования алгоритмов минимизации построенного функционала в контексте адаптивной фильтрации при неизвестных ковариациях шумов. При этом задача разбивается на два случая. В первом из них матрица наблюдений Я полагается квадратной п невырожденной, а во втором — неполного столбцового ранга.

Для решения задачи минимизации воспользуемся одношаговым методом стохастических градиентов

В{ = Bi.i - Г,- • vMBi-1) , (6)

где — матрица градиента функционала J„ по матрице В, вы-

численная в точке В = 1 и обозначаемая далее для удобства \jJv; Гг— матрица шага. Выбор этого метода минимизации обусловлен тем, что необходимое условие минимума ./„ может быть получено аналитически и линейно по оцениваемому параметру В;. Будем выбирать матрицу шага метода стохастических градиентов Г по методу наискорейшего спуска:

2(НФ)т[Е[и1иТ1] + ЯФГ V J* ■ = 0 .

Решая это уравнение, являющееся необходимым и достаточным условием экстремума, относительно матричного параметра Г, получпм алгоритм адаптации фильтра, представленный алгебраически эквивалентными рекуррентными формулами.

Утверждение 1. Оценки параметра В для одношагового метода стохастических градиентов (6) даются алгебраически эквивалентными выражениями:

Bi = H~\I - RSfJi] , (7)

Bi = (ЯФГ'Я^^Г-1!, fc = - НФ ■ m-2; (8)

Bi = + (ЯФ)-1. ElPivlJ • ,5'гЛ . (9)

Рассмотрим вопросы сходимости алгоритма (7)-(9). Под этим будем понимать выполнение равенства:

V; Д-1 = Bj — ВConst ■

Для этого в работе сформулирована и доказана следующая теорема.

Теорема 1. Пусть матрицы Н — квадратная невырожденная, Ф — известна, Kopt существует и алгоритм (6) с его численной реализацией (7)-(9) сходится к некоторому Вор1. Тогда Bopt совпадает с оптимальным коэффициентом Kopt фильтра Калмана, характеризующим оптимальный установившийся режим фильтрации.

Доказательство теоремы основано на преобразовании формулы (7) и уравнений фильтра Калмана в оптимальном установившемся виде к выражениям, совпадающим с точностью до обозначений.

В работе рассмотрен вопрос применения многошагового градиентного метода

ш I

Bi=Z AkBi_k - Е Га. v MBi-k) ■ (10)

k=1 t=l

При этом доказано, что справедлива

Теорема 2. Для квадратичного критерия качества и модели системы (1), (2) многошаговый метод стохастических градиентов вида (10) алгебраически эквивалентен одношаговому методу (6).

Доказательство основано на непосредственных вычислениях. Далее доказано, что для метода Ньютона

Bi = Бг_! - GJ1 ■ vMBt-i) , i = ОД, ■ • ■ , В{ = - TiGT1 ■ vMBi-i) ,» = 0,1, ■ • • ,

где матрица

Gi = (V2Js)(Si-i) является матрицей Гессе, справедлива

Теорема 3. Для квадратичного функционала качества и модели системы (1), (2) обобщенный метод Ньютона алгебраически эквивалентен одношаговому методу наискорейшего спуска.

Доказательство основано на непосредственных вычислениях.

Для оценки скорости сходимости фильтра проанализированы выражения для ковариационных матриц модели и связь матриц в соседние моменты времени. Обозначим

V = НФ1Г1 , D = HGQGTHT + R + VRVT = Const .

Тогда ковариационная матрица 5,- вычисляется по рекуррентной формуле

Si = D + VRSrMSi-i ~ а) 2 BY7 .

Выделяя в этой формуле член с 5,_i, приходим к представлению

St = D - VRS~_\nVT + О

с остаточным членом

Cf = - Д^ГЧ'-хСй-! - Ai-1y1RVT- (11)

Е (ST-i • A.--I)

■Sr-\]RVT ,

[р=1

где 5,-_1 = ^--г + Д,-!.

Оценка ||С«+1|| в предположении р(Д;) -С />(<5{) (это соответствует асимптотическому случаю) дает

!Ю+1||< ||1'||2||Л||2-Ц5Г1 II3-IIА||2.-.

Если .матрица Ф устойчива, то выполняется строгое неравенство

110+111 < 1|Л||2 - Н^Г1»3 - ЦДЦ2, (12)

что соответствует теоретической квадратичной скорости сходимости при выполнении значительного числа шагов алгоритма. Такая оценка характерна для методов второго порядка, например метода Ньютона, что является косвенным подтверждением теоремы 3.

Утверждение 2. Для произвольной ковариационной матрицы Л и евклидовой матричной нормы ||Л|| = ао)2 6ерно [|Л|| < ¿г(Л).

На основании формулы (11) и этого утверждения можно сформировать не требующее дополнительных вычислений правило начала/остановки работы адаптивного фильтра:

С&1.А- = И^гЛ'Мй) + М^Г1) • ад-А-) - 2 , (13)

Сч-1,А' < Ргран •

Распространим изложенный метод на общий случай, когда Я - пр; моугольпая матрица, гк(Н) < п. Для получения оценок В{ в этом ел; чае воспользуемся так называемым методом отложенной идентифпкацт Для этого:

1. Образуем расширенные векторы и матрицы:

^¿-п+1 Щ-п

•гг-п+2 т/. = 1 *1,П — 1 , = Щ-п+1

. -г. . . VI . . ш>-1 .

Я;.п =

Г Я Ф ЯФ2

ЯФ"

<?,.1П = [ф»-1|ф»-2|... |ф|/] ,

Нв О О

НФв Нв • • • О

; 1 I,П '

НФ^в НФп-2в ■■■ не

'Я ■ • 0' я • • 0"

^1,71 - : 1 — . ;

.0 • • я. .0 ■ ■ я.

В силу полной наблюдаемости системы для матрицы Н,п существуе псевдообратная матрица полного ранга = (Н?п ■ Я,)П) 1 • Щ%п.

2. Преобразуем модель (1), (2) к виду:

Х{ = Ф • Х{—п X —1,71 ;

= Щп ■ Ф-" • Ж,- + - Я,- „ • ф- • в{,„) х И^_1]В + к> •

3. Запишем уравнения адаптивного фильтра:

2П = Ф" • , (14

г,' = т + Д • (£•,„ - ЩпФ-" • у;). (15

Тогда оценки матрицы В,- могут быть получены га одного из следую щих эквивалентных рекуррентных выражении:

Вг — В,--„ + Я+ • ^ ■ (§•,-„) , А- = Щп ■ • л£„] • (5,--„)-1 ,

(16 (17

в которых

— Я,>ф • Х{—2п 5 — Щп ' п ,

а матрицы Si и Sf определяются по аналогии с £,• и S,r.

Первое из выражений является обобщением (8), а второе — (9). Формула, аналогичная (7), задается выражением

Д = (Яг>Ф"")+(I - Д,,г) ■ S~\ - (Я,-пФ-")+х

х (Fi<n - Hi^GiM^Sf-n • (18)

Необходимо заметить, что под обозначениями Д и Д в формулах (16)-(18) и (8) скрыты матрицы различной размерности. При этом в том случае, когда в качестве адаптивного фильтра берутся выражения (14)-(15), то в них используется матрица Д, получаемая по формулам (16)-(18). Если необходимо перейти к исходному адаптивному фильтру (3), (4), требуется выделить из матрицы Д блок, равный матрице Д,-. Ей отвечает самый правый столбец блочной матрицы Д, соответствующий самому последнему, г-ому измерению. Таким образом, из матрицы Д можно получить матрицу Д в любой момент времени.

Для этого случая также доказана теорема о сходимости:

Теорема 4. Пусть пара матриц (Я, Ф) наблюдаемая, Kopt существует, и алгоритм (6) с его численной реализацией (16)- (18) сходится к некоторому Bopt. Тогда Bopt совпадает с оптимальным коэффициентом Kopt фильтра Калмана, что означает сходимость адаптивного фильтра к оптимальному установившемуся фильтру.

Доказательство теоремы основано на формулах обобщенного фильтра Калмана.

На втором этапе, предполагающем наблюдаемость исходной модели (1)-(2), построим алгоритм минимизации функционала качества ./„ по двум параметрам - Ф и В. Для этого преобразуем модель (1), (2), используя метод отложенной идентификации, расмотренный ранее.

Обозначим е,- = Hinx, — • — ошибка экстраполяции, Л7,- = Zijt, — Яг> • £,•_„ — невязка измерений, где

Щп = [ФТЯТ| • • • |(Ф-1)ГЯТ|(Ф")ТЯГ] .

Для получения оценки переходной матрицы модели обозначим П,- = E[x{xJ]. Тогда оценочная матрица Ф содержится в оценочной матрице

я1>:

E[Zi<nxln] = Н1+щп ■ Ü<_„ , (19)

или, формально,

tfi+n,„ = E[ZiinxJ_n} ■ П+„ ■ (20)

Оценку матрицы коэффициентов усиления дает выражение

Вг = Н^Е[Е^М1п]31п , Si.iv = - Я1;„ф" • 24-2, . (21)

Выражение (20) означает, что для выполнения одного шага алгоритма по методу отложенной идентификации необходимо знать оценочную матрицу Ф", которая вычисляется алгоритмом в виде решения нелинейного матричного уравнения

' я ■мг

Я Ф ■ ф = м2

ЯФ"-1 Мп.

= И

(22)

где Я - известна по условию, а блочная матрица М является результатом обработки измерении. Так как модель (1), (2) полагается наблюдаемой, система (22) имеет единственное решение при известной матрице М. Таким образом, использование адаптивного фильтра для решения задачи фильтрации в условиях полной априорной неопределенности в рамках данного метода возможно только, если (22) разрешено относительно Ф.

В третьей главе рассматриваются вопросы численной реализации алгоритма, в частности сравниваются варианты оценки ковариационных матриц по результатам наблюдений на основе методов осреднения в скользящем окне, непосредственного вычисления по математическому определению и метода экспоненциального сглаживания. В результате численного моделирования получены оценки точности вычисления ковариационных матриц и даны рекомендации по использованию вариантов их оценивания в численном алгоритме идентификации оптимального дискретного фильтра.

Четвертая глава содержит аналитические выражения для численной реализации известного из литературы алгоритма идентификации, используемого для сравнения с алгоритмом автора, информацию о тестовых задачах и интерпретацию полученных результатов.

В заключении к диссертационной работе сформулированы полученные результаты и сделанные на их основании выводы. Указаны вопросы, которые могут являться предметом дальнейших исследований.

В приложении А приведены доказательства основных утверждений п теорем.

Приложение Б содержит результаты численного моделирования тестовых задач, подтверждающие полученные в работе теоретические результаты.

Основное содержание работы содержится в следующих публикациях:

1. Дулов Е.В. Исследование алгоритмов активной адаптации для ква-ютационарных моделей. // Тез. докл. в сб. Ш-ей Ежегодной Научно рактической конф., Ульяновск. -Ульяновск: Филиал МГУ в г. Ульянов-:е, 1995, С. 8-9.

2. Дулов Е.В. Использование функционала качества при построении ^аптивного фильтра для линейных динамических систем с неизвестными . »вариациями шумов. // -Ульяновск: Филиал МГУ в г. Ульяновске, 1995,

20, Деи. в. ВИНИТИ №3143-В95.

3. Дулов Е.В. Идентификация оптимального фильтра для линейных [стем с параметрической неопределенностью моделей состояния. // -зьяновск: Филиал МГУ в г. Ульяновске, 1995, -С. 10, Деп. в ВИНИТИ 3135-В95.

4. Дулов Е.В. Возможности метода Ньютона для минимизации стоха-'ических функционалов. // -Ульяновск: Филиал МГУ в г. Ульяновске, »95, -С. 11, Деп. в ВИНИТИ №3136-В9о.

5. Дулов Е.В. Численные методы в задаче оценивания ковариацион-jx и информационных матриц по эмпирическим данным. // -Ульяновск: ii\V, 1996, -С. 12, Деп. в ВИНИТИ №1128-09«. - .

6. Дулов Е.В. Использование вспомогательного функционала качества и построения алгоритма идентификации. // Тез. докл. в сб. " Распо-[авание образов и анализ изображений: новые информационные техно->гии" РОАИ-2 95, Часть 1, -Ульяновск: УлГТУ, 1995, С. 53-55.

7. Дулов Е.В., Кашлаков Ю.А. Об инструментальной среде моделиро-шия стохастических систем фильтрации и управления с адаптацией и зентпфпкацпей. // Тез. докл. в сб. "Информационные технологии в оделировании и управлении", - СПб: СПбГТУб 1996, С. 126-129.

8. Семушин И.В., Дулов Е.В., Калинин Л.В. Устойчивое обновление ieHOK по измерениям. // Тез. докл. в сб. "Распознавание образов и ана-13 изображений: новые информационные технологии" РОАИ-2-95, Часть

-Ульяновск: УлГТУ, 1995, С. !!!

9. Дулов Е.В. Построение адаптивного фильтра для линейных дина-ических систем с неизвестными параметрами. // В сб. Фундаменталь-ые проблемы математики и механики: Ученые записки Ульяновского >сударственного университета. Часть 1./ Под редакцией A.A. Бутова. $ыпуск 1. Ульяновск: УлГУ, 1996, С. 101-107.

10. Dulov E.V. The use of an auxiliary quality functional for a construction ' an identification algorithm. Pattern Recognition and Image Analysis, vol.

no. 1, January-March, 1996, pp. 39-40.

11. Semushin I.V., Dulov E.V. , L.V. Kalinin Stable estimate renev»-al according to measurements. Pattern Recognition and Image Analysis, vol. 6, no. 1, January-March, 1996, p. 86.

Подписано в печать с оригинал-макета 27.03.97. Формат 84x108/32. Усл. печ. л. 1,0. Тираж 90 экз. Заказ № 29/

Подразделение оперативной полиграфии УлГУ. 432700, г.Ульяновск, ул. Л.Толстого, 42, УлГУ.

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Дулов, Евгений Вадимович

Введение

1. Задачи и методы теории идентификации и адаптации систем

1.1. Постановка задач идентификации и адаптации систем.

1.2. Методы адаптации

1.2.1. Пассивные методы адаптации.

1.2.2. Активные методы адаптации

1.3. Связь проблем адаптации и контроля.

1.4. Определение принципов адаптации.

1.4.1. Байесовская модель.

1.4.2. Расширенная модель

1.4.3. Аналитическая модель.

1.4.4. Настраиваемая модель

1.4.5. Согласование характеристик.

1.5. Методы построения идентификатора.

1.6. Принципы построения адаптивных фильтров.

1.6.1. Построение оптимального идентификатора.

1.6.2. Выбор прогнозирующей модели.

1.6.3. Выбор критерия качества

1.6.4. Выбор критерия качества для нормального закона распределения помех

1.7. Построение оптимального реализуемого идентификатора.

1.7.1. Методы контроля функционирования идентификатора

1.8. Методы минимизации функционалов.

1.9. Сходимость и устойчивость алгоритмов фильтрации.

2. Построение адаптивного фильтра на основе вспомогательного функционала качества

2.1. Постановка задачи

2.2. Построение фильтра для невырожденной матрицы наблюдений и известной переходной матрицы модели.

2.2.1. Вспомогательный функционал и его минимизация.

2.2.2. Построение алгоритма адаптации фильтра на основе одношагового метода стохастических градиентов.

2.2.3. Построение алгоритма адаптации фильтра на основе многошаговых методов стохастических градиентов.

2.2.4. Построение алгоритма адаптации фильтра на основе метода Ньютона 36 2.2.4.1. Метод Ньютона без регулировки шага.

2.2.5. Предельные свойства сходящегося алгоритма.

2.2.6. Определение условий сходимости фильтра.

2.2.7. Оценка скорости сходимости алгоритма.

2.3. Формирование правила начала/остановки.

2.4. Построение фильтра для систем с матрицей наблюдений неполного столбцового ранга

2.5. Решение задачи оптимизации вспомогательного функционала качества по параметрам двух матриц.

2.5.1. Получение оценки переходной матрицы системы.

2.5.2. Построение адаптивного фильтра по оценкам переходной матрицы

2.6. Анализ сходимости адаптивного фильтра в установившемся состоянии

3. Численные методы

3.1. Построение оценок ковариационных матриц по данным измерений

3.1.1. Метод суммирования в скользящем окне.

3.1.2. Метод сквозного суммирования в предположении Е[1Уг] = 0.

3.1.3. Метод сквозного суммирования в предположении ф 0.

3.1.4. Метод последовательного суммирования с экспоненциальным сглаживанием для Е[щ] = 0, а 6 [0,1]

3.1.5. Метод последовательного суммирования с экспоненциальным сглаживанием для Е[и{] ф € [0,1].

3.1.6. Вопросы практического использования формулы одноранговой модификации

3.1.7. Анализ алгоритмов.

3.2. Вопросы сходимости численной реализации алгоритмов.

3.2.1. Вопросы численной устойчивости.

3.2.2. Скорость сходимости численных методов.

3.3. Обобщенная схема работы алгоритма.

4. Численное моделирование экспериментальных задач

4.1. Идентификация установившегося коэффициента усиления оптимального фильт ра для систем с неизвестными ковариациями шумов.

4.2. Моделирование задачи

4.3. Моделирование задачи 2.

Введение диссертация по математике, на тему "Алгоритмы с функциональной обратной связью идентификации оптимальных дискретных фильтров"

Актуальность работы. Возникнув в 50-е годы, задача идентификации и адаптации моделей динамических систем остается актуальной, что подтверждается большим числом современных публикаций. Значительный интерес для рассмотрения представляют модели динамических систем, допускающие представление в виде стохастических линейных дифференциальных или стохастических линейных разностных уравнений. При этом важный класс образуют задачи идентификации квазистационарных моделей, возникающие при исследовании новых технических систем, например в области навигации движущихся объектов или при оценке характеристик производственных и технологических процессов.

Для решения таких и подобных им задач разработано множество методов и алгоритмов, систематизированных в трудах известных ученых: Дж. Саридиса, Л. Льюнга, Я.З. Цыпкина, В.Ю. Рутковского и других. В работах Б. Уидроу, С. Стирнза, И.В. Сему-шина и некоторых других предложено разделять способы использования регистрируемой информации в целях адаптации или адаптивной идентификации на две группы.

В первой группе способов информация о характеристиках входных сигналов используется для введения в вычислительный алгоритм или в аналитические выражения для оптимальных значений параметров системы обработки сигналов. При этом априорные предположения о доминирующих параметрах и характеристиках источника сигналов непосредственно влияют на качество работы системы, но успешность таких действий практически не гарантируется из-за отсутствия контроля за критерием (функционалом) качества системы. Методы решения такого типа иногда называют пассивными.

Во второй группе методов качество работы системы с параметрической идентификацией контролируется непосредственно, так как идентификация оптимальных характеристик системы производится по некоторому функционалу качества во время реальной работы. Основное преимущество таких систем заключается в образовании обратной связи по критерию качества. В данной работе будем называть их системами идентификации с функциональной обратной связью. Построение таких систем затруднено, так как из-за неполноты и зашумленности измерений исходный функционал качества принципиально не может быть реализован как функционал, зависящий от неизвестной ошибки фильтрации. Преодоление этих затруднений открыто в работах Р. Хемптона и И.В. Семушина, предложивших практически одновременно формирование вспомогательных функционалов качества, достигающих экстремума при тех же характеристиках, что и исходный функционал качества, но при этом доступных для реализации. Однако практическое использование данного подхода требует эффективных численных алгоритмов минимизации вспомогательного функционала. На построение и исследование таких алгоритмов и направлена данная работа.

Достижение данной цели обеспечивается в работе решением следующих задач:

1) формирование наблюдаемого функционала качества для квазистационарной линейной динамической системы с зашумленными измерениями;

2) обоснование численных алгоритмов минимизации функционала качества;

4) исследование вопросов сходимости адаптивного фильтра к оптимальному дискретному фильтру с ограничениями:

• исследуемые модели квазистационарных линейных динамических систем полагаются наблюдаемыми;

• матрица наблюдений модели (см. разд. 2) полагается известной;

• численное моделирование производится для моделей систем малой размерности < 5.

Решение первой задачи осуществлено в рамках метода вспомогательного функционала качества с учетом критерия оптимальности функционала качества Я.З. Цыпкина на классе распределений.

Постановка третьей задачи обусловлена тем, что большинство работ содержит результаты, ограниченные случаем неизвестной ковариации шумов, в то время как наибольший интерес вызывает решение задачи идентификации неизвестных параметров модели в общей постановке.

На защиту выносятся следующие положения.

1) Для построенного наблюдаемого функционала качества и выбранного метода минимизации получен рекуррентный адаптивный фильтр для систем с неизвестными ковариациями шумов.

2) Применение принципа функциональной обратной связи для систем оценивания и стохастического управления в задачах идентификации оптимальных установившихся фильтров.

5) Асимптотическая оценка скорости сходимости численных алгоритмов идентификации.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, двух приложений и списка литературы. Она изложена на 113 страницах, содержит 22 рисунка и 8 таблиц. Список цитируемой литературы состоит из 93 наименований.

Заключение диссертации по теме "Дискретная математика и математическая кибернетика"

Заключение

Результаты выполненной работы сводятся к следующему:

• доказана теорема о сходимости адаптивного фильтра к оптимальному установившемуся фильтру;

• полученные результаты обобщены на случай матрицы наблюдений неполного ранга;

• получена асимптотическая оценка скорости сходимости ажгоритма;

• доказана алгебраическая эквивалентность алгоритмов идентификации, отвечающих различным методам: одношаговому методу стохастических градиентов, многошаговому методу стохастических градиентов, стохастическому варианту метода Ньютона;

На этом основании сделаны следующие выводы:

1) Доказана эффективность применения метода идентификации с функциональной обратной связью для решения задач адаптивной фильтрации при различной степени априорной неопределенности модели. Полученные результаты открывают возможность построения новых, эффективных алгоритмов решения ряда конкретных задач теории стохастической фильтрации и управления.

2) Показано, что градиентный метод наискорейшего спуска в задачах идентификации и адаптации для систем с ограниченной дисперсией шумов и функциональной обратной связью позволяет строить численно устойчивые сходящиеся алгоритмы адаптации, не требующие больших вычислительных затрат.

3) Рассмотрены вопросы численной реализации алгоритма, увеличения его точности и численной устойчивости.

4) Полученные в результате численного моделирования выводы о скорости сходимости алгоритма фильтрации и его численной устойчивости позволяют рекомендовать его к использованию при решении широкого класса задач адаптивной фильтрации и идентификации.

Кроме этого, за пределами рассмотрения остались вопросы, которые могут быть рекомендованы для дальнейшего развития работ в этой области:

• построение реализуемых численно устойчивых алгоритмов адаптивной фильтрации для систем с неизвестной переходной матрицей;

• исследование вопросов численной сходимости и устойчивости алгоритма адаптивной фильтрации для систем с малой устойчивостью;

• разработка интегрированной программной системы для решения задач фильтрации и адаптации в рамках современных многозадачных операционных систем.

Научная и практическая значимость работы определяются новизной научного подхода к построению адаптивных фильтров для квазистационарных линейных динамических систем. Используемый для этой цели принцип функциональной обратной связи позволяет строить и применять новые алгоритмы для решения задач идентификации параметров квазистационарных линейных динамических систем в темпе реального времени. Результаты диссертации могут быть использованы в таких областях как теория идентификации и адаптации, для решения практических задач идентификации оптимальных дискретных фильтров для квазистационарных линейных динамических систем, включая стохастические системы управления.

Список источников диссертации и автореферата по математике, кандидата физико-математических наук, Дулов, Евгений Вадимович, Ульяновск

1. Адаптивные системы идентификации / Под ред. В.И. Костюка. - Киев: Техника, 1975 - 288 с.

2. Адаптивное управление сложными технологическими процессами. / Ядыкин И.Б. и др. Зарубежная радиоэлектроника, 1980, №8, С. 3-25.

3. Альтшулер C.B. Методы оценки параметров процессов авторегрессии скользящего среднего. // Автоматика и Телемеханика, 1982, №8, С. 5-18.

4. Аналитические самонастраивающиеся системы автоматического управления / Под ред. В.В. Солодовникова. -М.Машиностроение, 1965. 320 с.

5. Бухалев В.А., Казаков И.Е. Адаптивная фильтрация сигналов при случайных интен-сивностях изменений структуры динамической системы. // Автоматика и Телемеханика, 1984, №2, С. 66-71.

6. Вопросы управления космическими аппаратами : По зарубежным материалам / Под ред. Б.Н. Петрова. -М.:Мир, 1975. 220 С.

7. Гаджиев Ч.М. Диагностирование динамических систем по обновляющей последовательности фильтра Калмана. // Автоматика и Телемеханика, №1, 1992 С. 180-183.

8. Гаджиев Ч.М. Проверка обобщенной дисперсии обновляющей последовательности фильтра Калмана в задачах динамического диагностирования. // Автоматика и Телемеханика, №8, 1994 С. 98-104.

9. Гаджиев Ч.М. Робастный метод обнаружения неполадок фильтра Калмана. // Автометрия, РАН, Сиб. отд. №6, 1995 С. 35-39.

10. Гантмахер Ф.Р. Теория матриц. -М.: Наука, 1988. 552 с.

11. Гличев A.B. Экономическая эффективность технических систем. -М.: Экономика, 1971. 210 с.

12. Горский A.A. Автоматическая оптимальная фильтрация. / Изв. АН СССР, OTII // Энергетика и автоматика, 1962, №5, С. 87-96.

13. Григорьев В.Л. Микропроцессор i486. Архитектура и программирование: В 4-х книгах. Кн. 2. Аппаратная архитектура; Кн. 3. Устройство с плавающей точкой; Кн. 4. Справочник по системе команд. -М.: ГРАНАЛ, 1993. 382 с.

14. Гроп Д. Методы идентификации систем: Пер. с англ. /Под ред. Е. И. Кринецкого. -М.:Мир 1979. -302 с.

15. Дулов E.B. Исследование алгоритмов активной адаптации для квазистационарных моделей. // Тез. докл. в сб. Ш-ей Ежегодной Научно -практической конф., Ульяновск. -Ульяновск: Филиал МРУ в г. Ульяновске, 1995, С. 8-9.

16. Дулов Е.В. Использование функционала качества при построении адаптивного фильтра для линейных динамических систем с неизвестными ковариациями шумов. // -Ульяновск: Филиал МГУ в г. Ульяновске, 1995, -С. 20, Деп. в ВИНИТИ №3143-В95.

17. Дулов Е.В. Идентификация оптимального фильтра для линейных систем с параметрической неопределенностью моделей состояния. // -Ульяновск: Филиал МГУ в г. Ульяновске, 1995, -С. 10, Деп. в ВИНИТИ №3135-В95.

18. Дулов Е.В. Возможности метода Ньютона для минимизации стохастических функционалов. // -Ульяновск: Филиал МГУ в г. Ульяновске, 1995, -С. 11, Деп. в ВИНИТИ №3136-В95.

19. Дулов Е.В. Численные методы в задаче оценивания ковариационных и информационных матриц по эмпирическим данным. // -Ульяновск: УлГУ, 1996, -С. 12, Деп. в ВИНИТИ №1128-В96.

20. Дулов Е.В., Кашлаков Ю.А. Об инструментальной среде моделирования стохастических систем фильтрации и управления с адаптацией и идентификацией. // Тез. докл. в сб. "Информационные технологии в моделировании и управлении", СПб: СПбГТУб 1996, С. 126-129.

21. Семушин И.В., Дулов Е.В., Калинин Л.В. Устойчивое обновление оценок по измерениям. // Тез. докл. в сб. "Распознавание образов и анализ изображений: новые информационные технологии" РОАИ-2-95. Ч. 2, -Ульяновск: УлГТУ, 1995, С. 38.

22. Колмогоров А.Н. Основные понятия теории вероятностей. -М.: Наука, 1974.

23. Костюк В.И. Беспоисковые градиентные самонастраивающиеся системы. -Киев: Техника, 1969. 276 с.

24. Кузовков Н.Т., Карабанов С.В., Салычев O.G. Непрерывные и дискретные системы управления и методы идентификации. -М.¡Машиностроение, 1978. 222 с.

25. Кузовков Н.Т., Салычев О.С. Инерциальная навигация и оптимальная фильтрация. -М.¡Машиностроение, 1982. 216 С.

26. Лайниотис Д. Разделение единый метод построения адаптивных систем. I; Оценивание. II. Управление. -ТИИЭР, 1976, т. 64, №8, С. 8-27; С. 74-93.

27. Ланкастер П. Теория матриц: Пер. с англ. -М.: Наука, 1982. 272 с.

28. Назин A.B. Асимптотические свойства квазиотпимальных алгоритмов стохастической аппроксимации при неизвестной плотности помех. // Автоматика и Телемеханика №10, 1995, С. 70-77.

29. Ортега Дж. Введение в параллельные и векторные методы решения линейных систем : Пер. с англ. -М.:Мир, 1991. 367 с.

30. Острем К.Ю. Введение в стохастическую теорию управления: Пер. с англ. /Под ред. Н.С. Райбмана. -М.:Мир, 1973. 322 с.

31. Пшеничный Б.Н., Данилин Ю.М. Численные методы в экстремальных задачах. -М.: Наука, 1975

32. Саридис Дж. Самоорганизующиеся стохастические системы управления: Пер. с англ. /Под ред. Я.З. Цыпкина -М.:Наука, 1980. 400 с.

33. Сейдж Э.П., Мелса Дж.Л. Идентификация систем управления: Пер с англ. /Под ред. Н.С. Райбмана, -М.:Мир, 1974. 246 с.

34. Семушин И.В. Активная адаптация оптимальных дискретных фильтров. // Изв. АН СССР Техническая Кибернетика, №5, 1975, С. 192-198

35. Семушин И.В. Адаптивное оценивание матрицы передачи оптимального фильтра Калмана для систем с неизвестными ковариациями шумов. // АН СССР Сиб. отд. Автометрия, №5, 1975, С. 46-53.

36. Семушин И.В. Идентификация линейных стохастических объектов по неполным за-шумленным измерениям вектора состояния. // Автоматика и Телемеханика, №8, 1985, С. 61-71.

37. Семушин И.В. Адаптивные схемы идентификации и контроля при обработке случайных сигналов. -Саратов: Изд-во Сарат. ун-та, 1985. 180 с.

38. Торн Ци-Йонг, Заборский. Практически не расходящийся фильтр. // Ракетная техника и космонавтика, 1970, т. 8, №6, С. 173-180.

39. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация. -М.: Наука, 1984. -288 с.

40. Фельдбаум A.A. Теория дуального управления. I—IV. // Автоматика и телемеханика, 1960, №9, С. 1240-1249; №10, С. 1453-1464; 1961, №1, С. 3-16; №3, С. 129-142.

41. Цыпкин Я.З. Адаптация и обучение в автоматических системах. -М.:Наука, 1968. -400 с.

42. Цыпкин Я.З. Основы теории обучающихся систем. -М.:Наука, 1970. 252 с.

43. Цыпкин Я.З. Синтез оптимальной настраиваемой модели в задачах идентификации. // Автоматика и телемеханика, 1981, №12, С. 62-67.

44. Цыпкин Я.З. Оптимальные алгоритмы оценивания параметров в задачах идентификации. // Автоматика и телемеханика, 1982, №12, С. 9-23.

45. Цыпкин Я.З. Оптимальная идентификация динамических объектов. Измерения, Контроль, Автоматизация: Науч.-техн. сб. обзоров /ЦНИИТЭИприборостроения. -М.: 1983, вып.3(47), №12, С. 47-60.

46. Цыпкин Я.З. Основы информационной теории идентифкации. -М.: Наука, 1984. -320 с.

47. Цыпкин Я.З. Информационная теория идентифкации. -М.: Наука:Физматлит, 1995. 336 с.

48. Челпанов И.Б. Оптимальная обработка сигналов в навигационных системах. -М.:Наука, 1967. 392 с.

49. Эйкхофф П. Основы идентификации систем управления: Пер. с англ. / Под ред. Н.С. Райбмана. -М.:Мир, 1975. 684 с.

50. Akaike Н. A new look at the statistical model identification. -IEEE Trans. Automat. Contr., 1974, vol. AC-19, No. 4, p. 716-723.

51. Alspach D.L. A parallel processing solution to the adaptive Kalrnan filtering problem with vector measurements. Compt.&Elect.Engng., 1973, vol. 1, p.83-94

52. Alspach D.L., Scharf L.L., Abiri A.A. A bayesian solution to the problem of state estimation in an unknown noise environment. Int. J. Control, 1974, vol. 19, No. 2, p. 265-287.

53. Anderson W.N. et. al. Consistent estimates of the parameters of a linear system. The Annals of Math. Stat., 1969, vol. 40, No. 6, p. 2064-2075.

54. Astrorh K.J., Eykhoff P. System identification a survey. -In: Proc. IFAC Symp. on Identification and Process Parameter Estimation (Prague), 1970, p. 1-38 (see - - Automatica, Journal IFAC, 1971, vol. 7, No. , p. 123-162.)

55. Astrom K.J. Maximum likelihood and prediction error methods. Automatica, Journal IFAC, 1980, vol. 16, No. 5, p. 551-574.

56. Carew В., Belanger P.R. Identification of optimal filter steady-state gain for systems with unknown noise covariances. -IEEE Trans. Automat. Contr., 1973, vol. AC-18, No. 6, p. 582-587.

57. Dulov E.V. The use of an auxiliary quality functional for a construction of an identification algorithm. Pattern Recognition and Image Analysis, vol. 6, no. 1, January-March, 1996, pp. 39-40.

58. Fitzgerald R.T. Divergence of Kalman filter. -IEEE Trans. Automat. Contr., 1971, vol. AC-16, No. 6, p. 736-747.

59. Fogel E. A fundamental approach to the covergence analysis of least squares algorithms. -IEEE Trans. Inform. Theory, 1971, vol. IT-18, No. 5, p. 607-615

60. Gladyshev E.G. On stochastic approximation, Theory Prob. Appl. vol. 10, pp. 275-278, 1965.

61. Graupe D., Krause D.J., Cline W.K. Identification of Kalman-Bucy filters from noisy measurements arrays. Int. J. System SCI, 1973, vol. 4, No. 5, p. 739-756.

62. Hampton R.L.T. On unknown state-dependent noise, modelling errors, and adaptive filtering. Comput. k Elect. Engng., 1975, vol. 2, p. 195-201.

63. Hampton R.L.T. Stochastic algorithms for self-adaptive filtering and prediction, NASA Semi-Annu. Rep. 03-002406, part A, Jan. 1971.

64. Hampton R.L.T., Schultz D.G. Stochastic algorithms for self-adaptive filtering and prediction. -Proc. of the Mexico international, conf. on systems, networks and computers, 1971, p. 463-467

65. Hampton R.L.T. Unsupervised lerning of the Kalman filter. Electr. Lett., 1971, vol. 9, No. 17, p. 383-384.68. 8. Ho Y.C., Lee. R.C.K. Identification of linear dynamic systems. -J. Inform. Control., vol 8, Feb. 1965, pp. 93-110

66. Hoist J. Adaptive prediction and recursive estimation, Dep. Automat. Contr., Lund Inst. Technol., Lund, Sweden, Rep. LUTFD2/(TFRT-1013)/l-206/(1977), Sept. 1977.

67. Jazwinski A.H. Adaptive filtering. Automatica, Journal IFAC, 1969, vol. 5, No. 4, p. 475-485.

68. Jazwinski A.H. Stochastic processes and filtering theory. -N.-Y.:Acad. Press, 1970, 376 P

69. Kashyap R.H. Maximum Likelyhood identification of stochastic linear systems. -IEEE Trans. Automat. Contr., 1970, vol. AC-15, No. 1, p. 25-34.

70. Kaufman H., Beaulier D. Adaptive parameter identification. -IEEE Trans. Automat. Contr., 1972, vol. AC-17, No. 5, p. 729-731.

71. Landau I.D. Adaptive control: the model reference approach. "Control and Systems Theory" series, vol. 8. -N.-Y.:Dekker, 1979, 406 p.

72. Landau I.D. Elimination of the real positivity condition in the design of parallel MRAS, -IEEE Trans. Automat. Contr., 1978, vol. AC-23, No. 12, p. 1015-1020.

73. Ljung L. Asymptotic behavior of the extended Kalman filter as a parameter estimator for linear systems. -IEEE Trans. Automat. Contr., 1977, vol. AC-22, No. 4, p. 551-575.

74. Ljung L. On positive real transfer functions and the convergence of some recursive schemes, -IEEE Trans. Automat. Contr., 1977, vol. AC-22, No. 8, p. 539-551.

75. Ljung L. Analysis of recursive stochastic algorithms, -IEEE Trans. Automat. Contr., 1977, vol. AC-22, No. 8, p. 551-575.

76. Ljung L. Convergence analysis of parametric identification methods. -IEEE Trans. Automat. Contr., 1978, vol. AC-23, No. 5, p. 770-783.

77. Ljung L. Convergence of an adaptive filter algorithm, Int. J. Contr. vol. 27, pp. 673-693, 1978.

78. Mehra R.K. Approaches to adaptive filtering. -IEEE Trans. Automat. Contr., 1972, vol. AC-17, No. 5, p. 693-698.

79. Mehra R.K. On the identification of variances and adaptive Kaiman filtering. -IEEE Trans. Automat. Contr., 1970, vol. AC-15, No. 2, p. 175-181.

80. Mendel J.M. Discrete techniques of paremeter estimation: The equation error formulation. -N.-Y.:Dekker, 1973, 322 p.

81. Myers K.A., Tapley B.D. Adaptive sequental estimation with unknown noise statistics. -IEEE Trans. Automat. Contr., 1976, vol. AC-21, No. 4, p. 520-523.

82. Norris D.O., Snyder L.E. Consistency of least-squares estimates used in linear system identification. SIAM J. Contr., 1975, vol. 13, No. 6, p. 1183-1194.

83. Panuska V. A stochastic approximation method for identification of linear systems using adaptive filtering. Proc. JACC, 1968, p. 1014-1021.

84. Perriot-Mathonna D. Contribution a l'etitude et a la mise en oeuvre d'algorithmes de filtrage de Kaiman adaptatif, Docteur-Ingeniexir dissertation, Univ. Paris-Sud, Centre d'Orsay, France, no. 385, May 1979.

85. Perriot-Mathonna D. On the use of Ljung's results for studying the convergence properties of Hamtpon's adaptive filter. -IEEE Trans. Automat. Contr., 1980, vol. AC-25, No. 6, p. 1165-1169.

86. Prouza L. Bemerkung zur liniaren preditoren mittels eines lernenden filters. In: Trans . of the 1st Prague Conf. on the Inform. Theory and Statistical Decision Functions. Praha: Academia, 1957, p. 330-334.

87. Sangsuk-Iam Suwanchai, Bullock Thomas E. Analysis of Discrete-Time Kaiman Filtering Under Incorrect Noise Covariances. -IEEE Trans. Automat. Contr., 1990, vol. AC-35, No. 12, p. 1304-1308.

88. Self 0. filters and predictors which adapt their values to unknown parameters of the input process. -In: Trans, of the 2d Prague Conf. on Inform. Theory. Praha: Academia, 1960, p. 418-423.

89. Semushin I.V., Dulov E.V. , L.V. Kalinin Stable estimate renewal according to measurements. Pattern Recognition and Image Analysis, vol. 6, no. 1, January-March, 1996, p.

90. Shellenbarger J.C. Estimation of covariance parameters for an adaptive Kalman filter. -Proc. Nat. Electr. Conf., 1966, vol. 22, p. 698-702.

91. Sriyananda H. A simple method for the control of divergence in Kalman-filter algorithms. Int. J. Control, 1972, vol. 17, No. 6, p. 1101-1106.

92. Strejc V. Least squares in identification theory. Cybernetica, 1977, vol. 13, No. 2, p. 83-105.

93. Takata H. Transformation of a nonlinear system into a argumented linear system. -IEEE Trans. Automat. Contr., 1979, vol. AC-24, No. 5, p. 736-741.