Обработка сигналов в электронных нейроподобных сетях с динамическим хаосом тема автореферата и диссертации по физике, 01.04.03 ВАК РФ

ГОСУДАРСТВЕННЫЙ КОМИТЕТ РОССИЙСКОЙ ФЕДЕРАЦИИ

ПО ВЫСШЕМУ ОБРАЗОВАНИЮ МОСКОВСКИЙ ОРДЕНА ТРУДОВОГО КРАСНОГО ЗНАМЕНИ „ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСЛГГУТ

РГБ ОД

р:рр:: '• На правах рукописи

Куюыов Дчнтряй Алексеевич

ОБРАБОТКА СИГНАЛОВ В ЭЛЕКТРОННЫХ НЕЙРОПОДОБНЫХ СЕТЯХ С ДИНАМИЧЕСКИМ ХАОСОМ.

01.04.03 - Радиофизика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

' С ' , ' -Г" '

• • •••• П '

Москва -1994

Работа выполнена на кафедре Твердотельной электроники и' радиофизики" Московского физико-технического института.

Научный руководитель доктор физико-математических

аук, ведущий лаучньй сотрудник V ■ А.С.Дмитриев. О 1 : *

Официальные оппоненты доктор физико-математических

наук, профессор ВЛ.Душш-Барховский.

кандидат физико-математических наук, доцент В.В.Рождественский. Ведущая организация Институт Прикладной Математики РАН.

' Защита состой ся " ^ 1994г. в // ч ^мин на заседании ^ .«ециализированного совета К-063.91.02, при московском физике техническом институте по адресу: Московская обл., г.Долгопрудный, Институтский пер.9. ' -

С диссертацией можно ознакомиться в библиотеке МФТИ.

/ . ' :■. V . ■ - '■ ■ •. ; -'О'

Автореферат разослан " / У- О б

Ученый секретарь специализированного совета

к.ф.-м.н. 1 г : ч ■ _- /С.М.Уоршуяов /

-з-

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИИ.

Исследование вопросов использования многоэлементных динамических систем типа электронных нейронодобных сетей в обработке информационных сигналов ведется вот уже на протяжении сорока лет. Первая волна интереса к такого рода системам относится к пятидесятым годам и связана с именами Мак-Каллока, Питтса, Розенблатта и других авторов. Ими были, предложен ряд модг-лей ' нейроподобных сетей позволивших моделировать процессы адаптации. Однако после работы Минскогр и Пейперта, показавшей ограниченность существовавших в то время моделей, первая волна интереса к нейросетевой тематике спала.

Новый подъем интереса к этой проблеме начинается с выхода работы Хопфилда в 1982 году. Привлекательной особенностью модели Хопфилда являлась ее близость к ряду моделей физических сред, в частности к моделям спиновых стекол. Сеть, предложенная Хопф'илдом, состоит из модельных нейронных элементов с сигмоидальной функцией отклика и нейронной структуры с симметричными связям". Модель описывается системой обыкновенных дифференциальных уравнений первого порядка и подчиняются минимнзационному принципу. Запоминаемые объекту, распознаваемые образы интерпретируются в данном случае как положения устойчивого равновесия системы. Таким образом нейроподобная сеть в явной форме задана как динамическая система, а распознаваемые образы или запоминаемые объекты ассоциируются с простейшими аттракторами -устшчивь. ш положениями равновесия системы. Область бассейна притяжения каждого из аттракторов определяет предел "распознавания" того или иного образа.

Однако характер процессов обработки информационных сигналов в естественных системах может радикально отличаться , от соответствующих процессов з системах типа Хопфилда. Имеются

прямые экспериментальные данные свидетельствующие о важной роли сложной, в том числе хаотической динамики в информационных процессах.

Таким образом для выхода на новый уровень понимания механизмов обработки информации необходимо создание и изучение математических моделей нейроподобиых систем более адекватно отражающих процессы в естественных системах, в частности обладающих сложной динамикой.

Диссертационная работа посвящена следующим вопросам: построение моделей электронных нейроподобиых сетей обладающих сложной динамикой и исследование их динамических свойств; разработка и исследование методов записи, хранения и распознавания информационных сигналов в таких системах; применение разработанных методов к задачам обработки текстовой информации.

Актуальность работы определяется тем, что привлечение результатов теории динамического хаоса позволяет рассчитывать па создание новых принципов обработки информационных сигналов. Привлечение идей из нелинейной динамики в сферу информационных 1 хпологпй основывается также на экспериментальных результатах, свидетельствующих о важной роли сложной динамики в информационных процессах.

Целями настоящсн_работы являются:

- построение моделей электронных нейроподобиых систем со сложной динамикой;

- разработка методов записи и извлечения информационных сигналов в таких системах с использованием в качестве носителей информации предельных траекторий тина положений равновесия, предельных циклов и хаотических аттракторов;

- создание соответствующих алгоритмов и реализация их в виде программных комплексов.

Основные задачи, решаемые в работе:

- построение и изучение, моделей электронных нейроподобных сетей обладающих сложной динамикой и обеспечивающих возможность записи информацией на положениях равновесия;

- построение структуры и исследование свойств электронных нейроподобных сетей, реализующих динамику кусочно-линейных одномерных и двумерных отображений;

разработка и анализ метода последовательной записи информации на аттракторах одномерных и двумерных отображений и его реализация и электронных пе'.роцодобных сетях;

- разработка и аншиз методов записи, хранения и восстановления текстов на предельных циклах одномерных и двумерных отображений;

- создание алгоритмов и программных комплексов, реализующих ассоциативную намять для текстовой информации с использованием предельных циклов одномерных и двумерных отображений.

Научная новизна:

- предложены и изучены модели электронных нейроподобных сетей, обладающие хаотической динамикой и позволяющие осуществлять запись информации на положениях равновесия;

- созданы модели электронных нейроподобных сетей реализующих динамику одномерных и двумерных отображений, и исследованы колебательные режимы в таких моделях,

- разработан и исследован метод последовательной записи информационных сигналов на предельных циклах одномерных и двумерных отображений; > ,

- предложены алгоритмы и созданы программные комплексы, реализующие быструю ассоциативную память для текстов.

Достоверность научных выводов иодтверждклъся согластанн~'ггыо результатов аналитических исследований и

матоматнческого моделирования, а также сравнением с известными из лит-зратуры данными.

На защиту выносятся следующие положения:

1. Предложены и исследовань. модели пос /юения электронных нейронных сетей с динамическим хаосом в которых информация записывается на положениях равновесия.

2. Предложены и изучены модели электронных нейронных сетей, реализующих динамику одномерных и двумерных отображений.

3. Разработаг метод последовательной записи информациоп"ых сигналов на предельные циклы одномерных и двумерных отображений.

. 4. Созданы программные комплексы "Ассоциативная память для текстов", "Среда для создания ассоциативных баз данных", реализующие ассоциативную память для текстовой информации, с использованием предельных циклов одномерных и двумерных отображений.

Научно-яр-чтическое значение. Предложенные и исследованные в диссертационной работе модели электронных нейроподобных сетей со сложной динамикой существенно расширяют представления о возможной роли хаоса в процессах обработки информации в и биологических системах. Разработанные модели могут найти применение I да разработке систем обработки информационных сигналов. Они могут стать основой для создания ряда информационных технологий. Например, уже изданы алгоритмы и программные комплексы, реализующие быструю ассоциативную намять. Ведется р бота по созданию на этой основе "электронных изданий" с ассоциативным доступом.

Апробация работы, публикации, внедрение н использование результатов: материалы диссертации юй работы были представлены ла II Всесоюзной конференции ' Лелю» * 'ые колебания механических систем" (Горький, 1990), 12 Международг-чй конференции

"Нелинейные колебания" (Краков, Польша, 1990), Международной конференции "Шумы е физических системах и флуктуации 1 /Г (Киото, Япония, 190.), II Международном семинаре "Клеточные нейронные сети и их приложения" (Мюнхен, ФРГ, 1992), Международном семинаре-совещании "Алгоритмы обработки информации в нейроподобных системах" (Нижний Новгород, 1993), Международной конференции "Математические методы распознавания • образов" (Москва, 1993), 4 . Международной школе "Дифференциальные уравнения, бифуркации и хаос" (Кацивели, Украина, |994), а также докладывались на научных семинарах в Институте радиотехники и электроники РАН, МГУ, Институте прикладной математики РАН, Институте атомной энергии, семинаре Российского общества по нейронным сетям, на семинаре в научно-вычислительном центре "Синапс", Институте физики земли РАН, Калифорнийском университете (Беркли, США), НИЦ компании Хьюлетт-Паккард (Бристоль, Великобритания).

Результаты исследования вошли в работу, представленную на конкурс компании Хьюлетт-Паккард по распознаванию образов в 1992 г., которой был присужден Главный приз этого конкурса.

По теме диссертационной работы опубликовано 11 печатных работ.

Структура и объем работы: диссертационная работа состоит из введения, четырех глав, заключения и списка цитированной литературы. Содержит ич страниц текста, рисунка,

таблицы. Список цитированной литературы содержит 66 наименований.

Краткое содержание диссертационной работы.

Во введении обоснована актуальность работы, сформулирована цель и задачи исследований, изложены положения выносимые на защиту и краткое содержание работы. • .

Первая глава посвящена обзору имеющихся в литературе данных по следующим вопросам:

- качественные представления о возможной роли и преимуществах применения сложных, в том числе хаотических колебаний для задач обработки информационных сигналов (запись, храпение и восстановление информации);

- определения, основные пои ;шя и результаты,' относящиеся к методу записи информационных объектов на предельные циклы одномерных отображении отрезка в себя;

- результаты исследований основных моделей нейроподобных сетей, которые могут быть использованы при изучении проблем применения сложной динамики и детерминированного хаоса к задачам обработки информационных сигналов.

Во второй главе диссертации предложена и исследуется модель нейроподобной сети, которая является обобщением модели нейроподобной сети Хэифилда'. Основными особенностями предложенной модели являются учет конечности скорости распространения сигналов по межэлементиым связям и отказ от требования симметрии матрицы связей. Модель описывается системой дифференциальных уравнений второго порядка

<¡2y, ¡di1 + «¡ -<fyi ¡dt - со* -y¡ = f,7¡jAyj), (1)

где y¡ - переменная описывающая внутреннее состояние i - ого элемента сети; a¡, cü¡ - коэффициент затухания и собственная частота колебаний i - ого элемента; Ту - связи между элементами сети; N - число элементов в сети.

'Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities. - Proc. Nat. Acad. Sci. USA, 1982, Vol.79, p.2554-2558.

Изучается динамика модели с малым числом элементов. Показана возможность реализации широкого спектра динамических режимов: автоколебательных в системах включающих два элемента; регулярных и хаотических колебаний в сети из трех элементов; регулярных, квазипериодических и хаотических колебаний в сети из четырех и более иейроподобных элементов.

Рассматривается задача записи информации на специально формируемой структуре положений равновесия системы. Установлено, что в нейронных сетях с записанной информацией может быть реализована сложная динамика.

На основе анализа динамических свойств систем с записанной информацией сделан вывод о возможности применения динамического хаоса для организации сканирования положений равновесия с записанной информацией и распознавания образов.

Хаотическое. сканирование памяти в модели с записанными образами реализуется следующим образом. Пусть задана электронная нейроподобная система с заданным набором и структурой положений равновесия соответствующих записанной информации. Динамический режим, реализующийся в ней определяется параметром а: при а<а' реализуются устойчивые хаотические колебания; при а>а^ (в общем случае а^ * с(2) положения равновесия, соответствующие записанной информации, становятся устойчивыми и фазовая траектория сходится к одному из них. Промодулируем параметр а периодическим сигналом с частотой существенно меньше основной частоты колебаний и амплитудой модулирующего сигнала такой, что часть периода модулирующего сигнала параметр а<а', а часть а>а^. Тогда в нейроподобной системе будет наблюдаться следующий режим: траектория хаотическим образом блуждает по фазовому пространству ( а<сП) врепя от времени, задерживаясь в окрестности одного из положений равновесия (а>а2). Поскольку изображающая точка при а

<а' движется хаотически по фазовому пространству, то и положения равновесия будут ' "просматриваться" в хаотическом порядке. Описанный динамический режим интерпретируется как хаотическое сканирование памяти.

Для реализаций распознавания образов в нейроподобной сети с запис. иной информацией обладающей сложной динамикой, наряду с медленной модуляцией параметра а (для организации хаотического сканирования памяти) вводится обратная связь, которая включатся и стабилизирует систему в окрестности данного положения равновесия только тогда, когда это положение равновесия соответствует внешнему входному сигналу (распознаваемому образу). В противном случае сканирование памяти продолжается и таким образом обеспечивается переход к другим положениям равновесия.

В третьей главе предложены и изучаются модели элек-рснных нсйроподобных сетей с информацией записанной на динамических аттракторах. Модели реализуют динамику одномерных и двумерных кусочно-линейных отображений^.

Рекуррентная нейронная сеть, реализующая динамику одномерных отображений,- представляет собой трехслойную сеть, содержащую входной суммирующий элемент, выходной суммирующий элемент, единственный внутренний слой и обратную связь с единичной задержкой. Связи между элементами внутреннего слоя отсутствуют.

Показывается, что формирование сети сводится к простым расчетным формулам для вычисления параметров системы при однократном предъявлении последовательности точек, описывающей отображение.

^Дмитриев VC. Запись и восстановление информации в одномерных динамических системах. - Радиотехника и электроника, 1991, т.36, №.1, с. 101-108. Андреев■ 10.В., Вельский Ю.Л., Дмитриев A.C. Запись м восстановление информации с' использованием устойчивых циклов двумерных и многомерных отображений.Радиотехника и электроника, 1994, т.39, Л6.1, с. 111-123.

Рассматриваются вопросы кодирования, записи и восстановления информации. Описывается метод последовательного кодирования, который позволяет осуществлять дозапись информационных блоков к уже записанной информации. Приводится сравнение методов последовательного и одновременного кодирования информации^ и даются оценки скорости кодирования при использовании этих методов.

Предлагается и исследуется модель нейроподобной сети, реализующая динамику одномерных кусочно-линейных отображений с изменяемыми наклонами информативных интервалов. В отличии от сети, реализующей динамику отображения с фиксированными наклонами информативных интервалов, эта модель содержит два внутренних слоя. Показано, что в такой сет-- возможна организация хаотического сканирования предельных циклов соответствующих записанной информацией и распознавания образов. .

Рассматривается вопрос об адаптивном обучении рекуррентных нейроподобных сетей, реализующих динамику одномерных отображений. Этот подход может использоваться либо совместно с прямым вычислением параметров сети при предъявлении последовательности точек, описывающей отображение, либо как самостоятельный метод.

Предложена и описана структура многослойной электронной нейроподобной сети, реализующей динамику двумерных отображений и приведен пример. •

В последнем разделе главы анализируются возможности аппаратной реализации предложенных моделей.

Четвертая глава диссертации посвящена применению метода последовательной записи информации, к записи и извлечению текстов.

^Лндрс л 1С.В. Обработка изображений методами нелинейной динамики в одгшомерных динамических системах. - Дксс. канд.физ.-мат.на"к. - Москва. 1993. - 169с.

Исследуются особенности записи текстовой информации на предельных циклах одномерных и двумерных отображений.

Рассматриваются статистические закономерности, возникающие при кодировании, записи текстовых последовательностей. В качестве примера взят английский текст книги А.А.Милна "Винни Пух". Общи,, объём записываемой информации 127 КБайт. Книга состоит из десяти глав, каждая глава рассматривается как отдельный информационный блок. Показано, в частности что кодирование текстовых информационных блоков, с расширением алфавита, приводит к сокращению длины записываемых последовательностей примерно в пять раз, объем требуемой памяти с учетом памяти, необходимой для хранения расширенного алфавита уменьшается примерно в три раза, по сравнению с объемом памяти, требуемым для хранения текста в исходном виде. Приведено сравнение скоростей записи текстовой информации при одновременном и последовательном вводе. Установлено, что скорость записи информации при последовательном вводе выше чем при одновременном вводе, что согласуется с теоретическими оценками приведенными в третьей главе.

Описываются разработанные программный комплекс "Associative Memory Workshop"- и демонстрационная программа "Associative Memory for Texts", реализующие ассоциативную память.

Программный комплекс "Associative Memory Workshop" позволяет:

- считывать с диска и редактировать текстовую информацию;

- записывать тексты, подготовленные с помощью встроенного редактора или считанные с жесткого диска, на предельные циклы отображений и создавать ассоциативную к~мять применительно к этим текстам;

- считывать с диска готовые отображения и дозанисывать в них новые ¡ексты; '"".■■■" '•'; -'"/ ." '

- осуществлять быстрый пг иск записанных текстовых информационных блоков по предъявляемому фрагменту (ассоциативная память), в том числе и. при наличии оиибок в предъявляемых фрагментах.

Программа "Associative Memory for Texts" позволяет:

- считывать с диска, редактировать и записывать на диск текстовую ' информацию;

- просматривать текстовые образы записанные на предельные циклы • одномерной динамической системы;

- осуществлять быстрый поиск записанных текстовых информационных блоков по предъявляемому фрагменту (ассоциативная память), в том числе и при наличии ошибок в предъявляемых фрагментах.

Основные полученные результаты:

1. Предложены и исследованы модели нелинейных динамических систем типа электронные нейроподобные сети со сложной динамикой с информацией, записанной на положениях равновесия.

2. Предложена структура и исследованы свойства электронных нейроподобных сетей реализующих динамику одномерных и двумерных отображений с информацией записанной на устойчивых и неустойчивых предельных циклах.

3. Разработаны и исследованы методы последовательной записи информации на аттракторах таких динамических систем.

4. Разработаны и исследованы методы записи, хранения и восстановления текстов на аттракторах одномерных и двумерных отображений.

5. Разработаны алгоритмы и созданы программные комплексы, реализующие ассоциативную память для текстов, с использованием предельных циклов динамических систем.

Автор выражает глубокую благодарность своему научному руководителю А.С.Дмитриеву за постоянную помощь в работе,

Ю. В. Андрееву, Ю. Л. Вельскому, С.О.Старкову, А.И.Панасу, В.В.Павлову за внимание и ценные критические замечания.

ПУБЛИКАЦИИ

1. ДМИТРИЕВ А.С., КУМИНОВ Д. А., ПАНАС А.И., СТАРКОВ С.О. Сложная динамика простейших нейроподобиых систем. - II Всесоюзная конференция "Нелинейные колебания механических систем", Тезисы . окладов, Горький, 1990, с.64-65.

2. DMITRIHV A.S., KUMINOV D.A., PANAS A.I., STARKOV S.O. Complex

dynemics of basic electron neural-like systems, - XII International conference on nonlinear oscillations, Cracow, Poland, Abstracts, 1990, p.209-210.

3. DMITRIEV A.S., JDANOVA L.V., KUMINOV D.A. The simplest neural-like

systems with chaos. - Internationa! Conference on Noise in Physical Systems and 1/f Fluctuations. Kyoto, Japan, November, 1991, p.501-504.

4. ANDREYEV YU.V., BELSKY YU.L, DMITRIEV A.S., KUMINOV D.A.

Inhomogeneouse cellular neural networks: possibiliy of functional device design. - II International Workshop on Cellular Neural Networks and Their Application, Munich, Germany, October, 1992, p.135-139.

5. ДМИТРИЕВ А.С., КУМИНОВ Д.А. Сложная динамика простейших электронных нейроподобиых систем. - Радиотехника и электроника, 1992, т.32, No.3, с.479-487.

6. АНДРЕЕВ Ю.В., ВЕЛЬСКИЙ Ю.Л., ДМИТРИЕВ А.С., КУМИНОВ Д.А. Динамические системы с хаосом как среда для хранения и обработки информации. - Международный Семинар "Алгоритмы обработки информации в нейроподобиых системах", Нижний Новгород, Тезисы докладов, 1993, с.12.

7. АНДРЕЕВ Ю.В., ВЕЛЬСКИЙ Ю.Л., ДМИТРИЕВ А.С., КУМИНОВ Д.А. Динамические системы с хаосом как среда для записи, хранения и обработки информации. - Международная конференция "Математические методы распознавания образов", Тезисы докладов, Москва, 1993, с.1.

8. ДМИТРИЕВ А.С., КУМИНОВ Д.А., ПАВЛОВ В.В., ПАНАС

А.И., Запись, хранение и обработка текстов на основе одномерных динамических систем. - Москва, 1993. - 28с. (Препринт / ИРЭ РАН No.3(585)).

9. ДМИТРИЕВ А.С., КУМИНОВ Д.А. Хаотическое сканирование

памяти и распознавание образов в нейроподобиых системах с

обучением. - Радиотехника и электроника, 1994, т.ЗЭ, No.2. с.Г>3^-641.

10. KÚMINOV D.A. Neural networks wich chaos for information processing. -DEBC-94, The 4th Internationa School "Differential Equations, Bifurcation!, and Chaos", Abstracts, Katsive'i, Crimea, Ukraine, May 3-14, 1994.^ p.55

11. KUMINOV D.A., tAVLOV V.V. Storing and processing tex: infonnati,.] in

one-dimensional dynamic systems. - ÜEBC-94, The 4th Internationa School "Differential Equations, Bifurcations and Chaos", Abstracts, Katsivc'i, Crimea. Ukraine, May 3-14, 1994, р.5ч

Ротаьршгг МФТИ

3< *>» 1/г<Н. Тираж 100 экз. л/Л Подписано в печать "кон<? 1994г.