Генерация и распространение импульсных последовательностей в моделях нейронных сетей с динамической организацией межэлементных взаимодействий

Симонов, Александр Юрьевич

Генерация и распространение импульсных последовательностей в моделях нейронных сетей с динамической организацией межэлементных взаимодействий тема автореферата и диссертации по физике, 01.04.03 ВАК РФ

Симонов, Александр Юрьевич АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Нижний Новгород МЕСТО ЗАЩИТЫ

2011 ГОД ЗАЩИТЫ

01.04.03 КОД ВАК РФ

Диссертация по физике на тему «Генерация и распространение импульсных последовательностей в моделях нейронных сетей с динамической организацией межэлементных взаимодействий»

Автореферат диссертации на тему "Генерация и распространение импульсных последовательностей в моделях нейронных сетей с динамической организацией межэлементных взаимодействий"

На правах рукописи

5881

Симонов Александр Юрьевич

Генерация и распространение импульсных последовательностей в моделях нейронных сетей с динамической организацией межэлементных взаимодействий

Специальность 01.04.03 — радиофизика

Автореферат диссертации на соискание учёной степени кандидата физико-математических наук

-Зноя 2011

Нижний Новгород — 2011

4858817

Работа выполнена на кафедре нейродинамики и нейробиологии Нижегородского государственного университета им. Н. И. Лобачевского

Научный руководитель: доктор физико-математических наук,

Казанцев Виктор Борисович

Официальные оппоненты: доктор физико-математических наук,

Храмов Александр Евгеньевич доктор физико-математических наук Белых Владимир Николаевич

Ведущая организация: Институт радиотехники и электроники

им. В.А. Котельникова РАН, Москва

Защита состоится "16" ноября 2011 г. в 15 часов 00 минут на заседании диссертационного совета Д 212.166.07 при Нижегородском государственном университете им. Н. И. Лобачевскогопо адресу г. Н. Новгород, пр-т Гагарина, д. 23, корп. 1, ауд. 420.

С диссертацией можно ознакомиться в фундаментальной библиотеке Нижегородского государственного университета им. Н. И. Лобачевского. Автореферат размещён на сайте http://www.unn.ru Нижегородского государственного университета им. Н. И. Лобачевского.

Автореферат разослан "15" октября 2011 года.

Ученый секретарь диссертационного совета Д 212.166.07 д.ф.-м.н.

* / В.В. Черепенников

Общая характеристика работы

Актуальность темы. Исследование динамических механизмов организации и функционирования нейронных сетей мозга находится в русле современных тенденций развития науки. Одним из наиболее перспективных является радиофизический подход, рассматривающий нейронную сеть в виде ансамбля импульсных генераторов, нелинейно взаимодействующих между собой. Отдельно взятые элементы, нейроны, представляют собой многомерные нелинейные системы с нетривиальной динамикой. Будучи объединёнными в сети с динамически организованными межэлементными связями и нелокальной пространственной топологией взаимодействий, нейронные системы оказываются сложным объектом исследований, требующим активного внедрения всего арсенала методов и подходов радиофизики.

С точки зрения радиофизики, отдельный нейрон представляет собой генератор сложных импульсных сигналов, динамика которого носит пороговый характер. При превышении некоторого порога нейрон генерирует импульс, который может распространяться по его отросткам на большие расстояния без изменения своей формы и далее передаваться другим клеткам. Такой импульсный сигнал проходит по сети, вызывая поочерёдную когерентную активацию других нейронов, формируя, таким образом, пространственно-временную последовательность импульсных возбуждений. Считается, что именно такие последовательности являются одним из концептов кодирования информации в мозге. Сигналы коллективной активности нейронных сетей характеризуются наличием как временных, так и пространственных корреляций, в том числе у клеток, расположенных достаточно далеко друг от друга. Одной из ярких особенностей нейронных сетей является способность изменения параметров и структуры межнейронных взаимодействий в зависимости от активности. При реализации тех или иных информационных функций связи между нервными клетками могут исчезать и появляться, а веса существующих связей меняться, влияя, в свою очередь, на процессы распространения импульсных сигналов по сети. Данное явление носит название "синаптической пластичности" и является нейрофизиологическим фундаментом феноменов обучения и памяти1.

Работы по исследованию различных эффектов коллективной динамики ансамблей активных нелинейных элементов на протяжении последних десятилетий интенсивно проводятся в ведущих научных центрах. Среди наиболее значимых следует отметить результаты, полученные зарубеж-

^hepherd, G.M.: Neurobiology, Oxford University Press, 1994; Николе Дж., Мартин Р., Валлас В., Фукс П.: От нейрона к мозгу, Москва, 2003; Рубин, A.B.: Биофизика; в 2-х т, М.: Университетский книжный дом 2000; Llinas, R.R.: I of the vortex: from neurons to self, The MIT Press, 2002

ными авторами (J. Rinzel, L.F. Abbott, G.D.I. Abarbanel, E.M. Izhikevich, Y. Kuramoto и др.) и отечественными учёными (М.И. Рабинович, В.Д. Шалфеев, В.В. Матросов, В.И. Некоркин, В.Г. Яхно, В.Б. Казанцев, Г.В. Осипов, A.C. Дмитриев, Б.П. Безручко, Д.Э. Постнов, А.Е. Храмов, A.A. Ко-роновский, Д.А Смирнов, В.Н. Белых, И.В. Белых, А.Ю. Лоскутов, P.M. Борисюк, Л.П. Шильников, и др.) в области нелинейной динамики. Наиболее известными и хорошо изученными феноменами коллективной динамики многоэлементных систем, играющими важную роль и в нейроси-стемах, являются синхронизация колебаний (регулярных и хаотическмиих) автогенераториых систем, формирование структур (паттернов) активности, регуляризация и хаотизация колебаний в ансамблях, распространение волн возбуждения, автоволновые структуры и др.

В области приложения радиофизических методов к нейродинамиче-ским задачам к настоящему моменту достаточно хорошо описаны процессы генерации импульсных сигналов в отдельных клетках, исследованы их бифуркационные механизмы, в том числе и в биофизически детализированных моделях нейронов. На уровне кооперативной динамики нейронных ансамблей изучены принципы распространения и передачи импульсов между клетками, исследованы явления синхронизации и кластерообразования. Тем не менее, практически неисследованными остаются многие важные аспекты сетевых взаимодействий в биологоправдоподобных моделях нейронных систем. В частности, повышенный интерес вызывают задачи, связанные с динамической организацией межэлементных взаимодействий. Вопросы, касающиеся обработки информации, принципов кодирования и декодирования в таких системах, механизмов формирования пространственно-временных структур импульсной активности, являются в настоящее время предметом интенсивных междисциплинарных исследований, о чём свидетельствует рост количества публикаций, в том числе и в ведущих физических изданиях (Physical Review, Physica D и др.)

2Бориснж Г.Н., Борисюк P.M., Казапович Я.Б., Иваницкий Г.Р.: Модели динамики нейронной активности при обработке информации мозгом - итоги десятилетия, Успехи физических наук 172(10),

1189-1214, 2002; Izhikevich, Е.М., Gaily, J.A., and Edelman, G.M.: Spike-timing dynamics of neuronal groups, Cerebral Cortex 14(8), 933-944, 2004; Ikegaya, Y., Aaron, G., Cossart, R., et al.: Synfire chains and cortical songs: temporal modules of cortical activity, Science 304(5670), 559-564, 2004

в сети нейронов является одним из классических примеров функциональной эффективности сетевых систем мозга. В основе многих моделей ассоциативной памяти лежит фазовое кодирование информации, при этом динамика распознавания описывается в терминах захвата фазы колебаний нейронных осцилляторов в различных режимах, что приводит к фазовой кластеризации элементов сети. Однако, поскольку существующие модели слишком абстрактны и не учитывают такие аспекты функционирования нейронных сетей, как динамическая организация межэлементных взаимодействий и зависимость сетевой топологии от входной информации (контекст-зависимая архитектура), построение новых моделей нейроосцилляторной и спайковои ассоциативной памяти до сих пор остаётся актуальной задачей.

Прикладной аспект данного направления исследований связан с перспективами создания новых систем обработки информации на основе механизмов и принципов, найденных в живых нейронных системах. Формируемые аналоговыми сигналами большого числа клеток (в отличие от бинарных представлений, типичных для формальных нейронных сетей и компьютерной логики), структуры импульсной активности нейрональных сетей обладают потенциально неограниченной информационной эффективностью за счёт наличия в идеале бесконечного числа степеней свободы. Также в основе многих вычислительных свойств, эффективности н помехоустойчивости обработки информации, высоких адаптационных показателей, которыми обладают нейронные сети, лежит динамическая организация межэлементных взаимодействий, обеспечиваемая различными механизмами синаптической пластичности. Поэтому задача построения математических моделей нейронных сетей с динамически организованными связями и исследования основных эффектов их коллективной динамики (формирование и эволюция паттернов активности, межклеточная передача и преобразование сигналов, построение модельных архитектур для описания наблюдаемых эффектов) с использованием современного аппарата нелинейной динамики является одной из ключевых в ряду актуальных и перспективных научных направлений.

Диссоциированная неПрональная культура - экспериментальный нейробиологическнн объект, представляющий собой живые нервные клетки, взятые из мозга лабораторных животных (крыс или мышей), формирующие между собой сложную архитектуру межклеточных взаимодействий, и живущие до нескольких месяцев в искусственных условиях.

нейрональных культурах, так и в их математическом описании. Такие популяционные разряды или бёрсты носят лавинообразный характер и перемежаются с низкой асинхронной сетевой импульсной активностью, при этом все элементы сети разряжаются высокочастотными импульсными последовательностями, синхронизированными между собой на относительно узком временном интервале. Механизмы генерации спонтанных сигналов в культуре с точки зрения сетевых эффектов, условия их существования на данный момент достоверно не установлены. Вопросы генерации популяционных разрядов в культурах интенсивно изучаются в настоящее время в зарубежных научных центрах (S. Potter, MIT, USA; R. Quiroga, University of Leicester, UK; S. Marom, Telaviv University, Israel, и др.). В России такие исследования начались сравнительно недавно (К.В. Анохин, М.С. Бурцев, НИЦ Курчатовский Институт; И.В. Мухина, В.Б. Казанцев, ННГУ им. Н. И. Лобачевского).

Немаловажным аспектом динамики нейросетевых систем является наличие задержек распространения сигнала между нейронами. В таких сетях электрические сигналы распространяются, вызывая появление пространственно-временных импульсных последовательностей различной конфигурации, воспроизводящихся с миллисекундной точностью. Данный феномен получил название " полихронизация"А. Динамически самоорганизующиеся полихронные группы, и воспроизводящиеся сложные импульсные паттерны, как считается, могут представлять способ пространственно-временного кодирования и связывания информации в мозге. Изучение процессов формирования полихронных групп, получение заданных конфигураций генерируемых ими импульсных последовательностей за счёт эффектов кластерообразования, синхронизации и полихронизации являются ключевыми задачами данной области науки.

Динамическая организация нейросетевых взаимодействий может включать в себя несколько различных аспектов функционирования межэлементных связей, а именно:

• Изменяемые в зависимости от предшествующей импульсной активности веса связей (синаптическая пластичность). Данный способ динамической организации исследуется в первой главе настоящей работы.

• Динамическое подавление импульса за счёт нелинейной пространственной суммации входных сигналов в определённой фазе импульсной активности (модель с данным видом взаимодействия предложена во второй главе).

• Нестационарная сетевая топология (исследуется в третей главе).

Так в основе формирования полихронных групп и устойчивых путей распространения импульсных пространственно-временных сигналов может лежать

4Izhikevich, Е.М.: Polychronization: Computation with spikes, Neural Computation 18(2), 245-282, 2006

явление долговременной сннаптнческой пластичности. В то время как кратковременная сннаптическая пластичность отвечает за формирование популяционных разрядов в режиме самоорганнзованной критичности5.

Таким образом, к ряду наиболее актуальных задач радиофизики в фундаментальном исследовании нейронных систем следует отнести реализацию нейросетевых динамических моделей обработки информации и преобразования импульсных сигналов, функционирующих на основе различных механизмов пластичной организации межэлементных взаимодействий, а также изучение динамических механизмов синхронизации импульсных сигналов, приводящей к генерации лавинообразных популяционных биоэлектрических разрядов (беретов).

Целью данной работы является развитие теоретических основ обработки и преобразования сигналов за счёт механизмов синхронизации и полихронизации в моделях нейронных сетей мозга с динамически организованными связями.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Разработка математической модели диссоциированной культуры живых нервных клеток, выращенной на многоэлектродной матрице с возможностью многоканальной внеклеточной регистрации нейросетевых импульсных сигналов. Верификация модели по экспериментальным данным.

2. Разработка теоретических основ принципов и механизмов лавинообразной генерации квазисинхронных популяционных разрядов в модели диссоциированной нейрональной культуры. Исследование условий критической динамики в вероятностном описании последовательной активации.

3. Разработка и исследование нейрооецнлляторной сетевой модели контекст-зависимой ассоциативной памяти с динамическим выбором путей распространения фазовых кластеров импульсной активности за счёт механизмов нелинейного межэлементного взаимодействия.

4. Разработка и исследование модели осцилляторной ассоциативной памяти с нестационарной организацией сетевой архитектуры, ориентированной на конкретную информационную ёмкость.

Основные положения, выносимые на защиту:

5Beggs, J.M., and Plenz, D.: Neuronal avalanches in ncocortical circuits, Journal of Neurosciencc 23(35), 11167, 2003

щих нейронных осцилляторов с внеклеточной регистрацией потенциала, основанной на линейном затухании сигнала в проводящей среде.

2. Генерация квазисинхронных популяционных биоэлектрических разрядов осуществляется лавинообразно за счёт послойного распространения пространственно-временных импульсных последовательностей от нейронных осцилляторов, находящихся в автогенераторном режиме, и описывается вероятностной моделью послойной активации.

3. Введение в осцилляторную модель ассоциативной памяти дополнительного слоя генераторов позволяет разделить синфазную и противофазную компоненты колебаний в зависимости от входного изображения (контекста). Зависимость от контекста может быть реализована за счёт динамической фильтрации синхронизированных фазовых кластеров.

4. Увеличение информационной ёмкости осцилляторной модели ассоциативной памяти достигается за счёт введения в сеть дополнительных генераторов, формирующих новые связи при записи в сеть новых образов.

Научная новизна работы заключается в получении новых фундаментальных результатов, расширяющих современные представления о процессах генерации сигналов в сетевых системах с динамически организованными связями:

• Предложена математическая модель диссоциированной нейрональной культуры, описывающая генерацию импульсных последовательностей с возможностью регистрации внеклеточного потенциала. Модельные реализации количественно аппроксимируют экспериментальные данные. Получены оценки радиуса внеклеточной регистрации точечным электродом на основании соотношения сигнал/шум в экспериментальных данных.

• Впервые получены условия лавинообразной генерации популяционных разрядов в модели диссоциированной нейрональной культуры с пластичными межэлементными связями. Разработана новая вероятностная модель послойного распространения импульсных последовательностей, подчиняющихся статистике самоорганизованной критичности.

• Разработана и исследована новая модель ассоциативной памяти и распознавания бинарных паттернов с контекст-зависимой динамической архитектурой синаптических связей. Изучены механизмы динамической селекции синфазных и противофазных кластеров импульсной активности.

• Разработана новая трёхслойная архитектура модели ассоциативной памяти с вовлечением новых элементов в процессы распознавания информации при добавлении новых информационных паттернов.

Теоретическая и практическая значимость диссертационной работы.

Теоретическое значение диссертации состоит в построении и исследовании новых математических моделей осцилляторных нейронных сетей для задач обработки информации, исследовании режимов синхронизации и механизмов динамической организации связей в таких сетях, построении новой модели диссоциированной нейрональной культуры в внеклеточным отведением потенциала, разработке и развитии теоретических основ лавинообразной генерации популяционных разрядов в сетях с динамической организацией межэлементных взаимодействий.

Практическое значение диссертации заключается в том, что предложенные модели ассоциативной памяти могут применяться в технологиях нейроиммитирующих информационных систем (нейрокомпьютинг, нейро-управление, нейроаниматы и др.), предложенная модель диссоциированной культуры способна количественно аппроксимировать экспериментальные данные, что позволяет использовать её в нейрофизиологических исследованиях для интерпретации экспериментальных результатов и корректировки протоколов, а также в доклинических исследованиях оценки функционального состояния нервной ткани и для лекарственного тестирования. Все результаты работы могут быть использованы в образовательном процессе для студентов и аспирантов физических и биологических специальностей в форме специальных курсов лекций и лабораторных практикумов.

Достоверность изложенных в работе результатов обеспечивается сопоставлением с результатами работ отечественных и зарубежных исследователей в данной области, а также научной экспертизой на конференциях и при публикации материалов в научной печати.

Апробация работы. Основные результаты работы докладывались на российских и международных конференциях, включая: Topical problems of Biophotonics (2007, Нижний Новгород), The 3rd International IEEE Scientific Conference on Physics and Control (2007, Potsdam), International Symposium on Synchronization in Complex Networks (2007, Belgium), XIV Всероссийскую научную школу "Нелинейные волны" (2008, Нижний Новгород), 13-ю, 14-ю и 15-ю Нижегородскую сессию молодых ученых (2008, 2009, 2010), XII, XIII и XIV Научную Конференцию по Радиофизике (2008, 2009, 2010, Нижний Новгород), Нейроинформатика (2010, 2011 МИФИ), Всероссийский с международным участием конгресс студентов и аспирантов-биологов "Симбиоз-Россия"(2010, Нижний Новгород), Международную конференцию "Frontiers in Neuroengineering" (2010, Switzerland), IX Международную школу "Хаотические автоколебания и образование структур" (2010, Саратов).

Результаты работы опубликованы в журналах Биофизика (2010), Вестник ННГУ (2010), Письма в ЖЭТФ (2011). По теме диссертации опуб-

ликовано 25 научных работ (3 статьи в журналах, входящих в перечень ВАК, 4 статьи в научных сборниках и 18 работ в сборниках трудов конференций и тезисов).

Исследования, результаты которых вошли в данную диссертационную работу, выполнялись при поддержке грантов РФФИ №05-02-17441-а,

08-02-00724-а, 09-02-92611-КО_а, 09-02-97083-р_поволжье_а, 09-04-01432-а,

09-04-12254-офи_м, 09-04-12304-офи_м, 09-04-97090-р_поволжье_а; Проектов ФЦП "Научные и научно-педагогические кадры инновационной России" (контракты №14.740.11.0075, 16.512.11.2136, 02.740.11.0839); МКБ Президиума РАН, Программой МКБ фонда некоммерческих программ Д. Зимина "Династия" (контракт ДОДП-Б-33/10).

Личный вклад. Основные результаты диссертационной работы получены лично автором. Все тексты совместных публикаций в рецензируемых журналах были подготовлены автором самостоятельно. Автор принимал непосредственное участие в постановке задачи и обсуждении результатов. Разработка и реализация алгоритмов моделирования и написание программ осуществлялось непосредственно автором.

Объем и структура работы. Диссертация состоит из введения, трёх глав и заключения. Полный объем диссертации 120 страниц текста с 28 рисунками. Список литературы содержит 161 наименование.

Содержание работы

Во введении обосновывается актуальность исследований, проводимых в рамках данной диссертационной работы, приводится обзор научной литературы по изучаемой проблеме, формулируется цель, ставятся задачи работы, сформулированы научная новизна и практическая значимость представляемой работы.

В первой главе исследованы механизмы генерации сетевых разрядов в модели сети синаптически связанных нейронов с учётом задержек распространения импульсов и кратковременной пластичности, анализируются условия возникновения высокочастотных разрядов на пороге критической динамики. В модели использовалась модификация системы уравнений Ходжкина-Хаксли, описывающая динамику единичного биофизически детализированного импульсного нейронного осциллятора.

Ст—Р = -д^т3к{Ут - ЕМа) - дкп\Ут - Ек) - дык{Ут - Еиак)-

— 9ехс{Ут ЕеХс) Ят1г{Ут ■Е'гпл) Ыт 4"

(Ш=(дос (И

где Ст - удельная мембранная ёмкость, Vm - мембранный потенциал, измеряемый в миливольтах, t - время. Собственная динамика мембранного потенциала нейрона определяется тремя токами: натриевым, калиевым, и омическим током утечки, с соответствующими проводимостями дieaj.

и реверсивными потенциалами Ек, Е^.

Мгновенные значения активных ионных токов зависят от состояния воротных переменных (muh- активационная и инактивационная натриевые переменные, п - активационная калиевая переменная. m^V^) и /loo(Kn) ~ равновесные функции активации и инактивации ворот натриевых каналов, Поо(Ут) - равновесная функция активации ворот калиевых каналов, Tm(Vm), Th{Vm) и Tn(Vm) - их соответствующие характерные потенциалзависимые времена релаксации.

Возбуждающие и тормозные синаптические токи вычисляются как lexc = wyexc(V - Еехс) и Iinh = wyinh(V - Einh), где у - синаптическая переменная системы уравнений, описывающей динамику отдельного си-наптического контакта. Все связи между элементами обладают эффектом пластичности - изменения силы взаимодействия в зависимости от активности. Этот эффект, именуемый синаптической пластичностью, является основой общего энергетического баланса, необходимого для появления критического поведения. Кроме того, в нейрофизиологии его ассоциируют с процессами обучения и памяти. Модель пластичной связи, используемая в данной работе описывается уравнениями:

dx z

— =--ux5(t - (tsp + d)),

Ut TfgQ

^ = ~ - uxö(t - (tsp + d)),

dz у z №

dt T| rrec du и

-ГГ =--+ U( 1 - u)S(t - (tsp + d)).

Tfacil

Здесь x,y i\ z- доли синаптического ресурса в восстановленном, активном и неактивном состояниях, соответственно. Значение переменной у используется для вычисления синаптического тока на постсинаптическом нейроне. Переменная и отвечает за «пиитическую "фасилитацию" (усиление), U = 0.5. Переменные модели удовлетворяют условию нормировки x+y + z = 1. Переменная tsp - момент времени генерации импульса на преспнаптическом нейроне, d - задержка распространения импульса от пресинаптического нейрона. Динамика такого синапса определяется следующими характерными временами: Т\

- константа затухания постсинаптического тока, тгес - время восстановления после синаптической депрессии, т/асц ~ константа синаптпческого усиления.

В расчетах использовалась сеть из N = 400 возбуждающих нейронов, случайным образом расположенных на квадратной подложке, с вероятностью Pcoupie для любой пары клеток быть связанными однонаправленной синаптической связью. Скорость распространения сигнала от одной клетки к другой равна Vpr0p = 50 мм/с, а время задержки пропорционально расстоянию между клетками. Все нейроны такой сети находятся в возбудимом режиме в состоянии покоя, и могут генерировать сигнальные события различных масштабов лишь в ответ на синхронную активацию нескольких нейронов.

Предложена вероятностная модель послойной активации клеток, позволяющая оценить ключевые соотношения параметров для лавинообразной генерации разряда, используя априорную информацию о топологии сети и динамике её локальных элементов. Получено условие лавинообразной генерации популяционных разрядов:

По , ч

Е 7 (3)

J=mthr ^ J '

где по - количество стартовых нейронных осцилляторов, активируемых в начальный момент времени, mthr ~ минимальное (пороговое) количество возбуждающих входных импульсов для превышения порога генерации нейроном импульса действия (спайка).

На рис. 1-3 приведены примеры генерации берета различными наборами из десяти стартовых нейронов при значешшях wee из окрестности порогового для данного щ веса (9.3). Результаты показаны в виде растров (верхние рисунки) и соответствующих им реализаций мембранных потенциалов (нижние рисунки), где также видна подпороговая динамика. В некоторых случаях происходит инициация сетевого бёрста, в генерацию которого вовлечены все 400 элементов сети. При значении веса wee — 9.5 генерация бёрста происходит при любом наборе стартовых нейронов, а при wee = 9.2 - только в случае б), когда стартовый слой состоит из нейронов №№ 42-51. При таком стартовом наборе бёрст инициируется даже при весе минимум wee = 8.8.

Полученное условие вынужденной генерации крупномасштабных событий связывает между собой ключевые критические параметры. Так, например, при фиксированных размере сети и связности критическим является параметр веса синаптической связи. Суперкритический режим соответствует лавинообразному нарастанию возбуждения и многократной активации всех нейронов сети, в то время как при докритическом значении масштабы распространения возбуждения существенно меньше размеров сети.

Рис. 1: Инициация бёрста различными наборами стартовых нейронов (щ = 10, гиее = 9.2 -значение возбуждающего веса)

■ ■

Рис. 2: Инициация бёрста различными наборами стартовых нейронов (щ = 10,гиее = 9.3)

Рис. 3: Инициация бёрста различными наборами стартовых нейронов (п0 = 10, гиее = 9.5)

Грубость критических свойств рассмотренной модели достигается за счёт механизмов синаптической пластичности, поскольку при их учёте эффективный вес, являющийся критическим параметром, обладает собственной динамикой, помещая систему в докритическое состояние во время истощения синаптического ресурса после генерации разряда и возвращая в суперкритичность за период восстановления после синаптической депрессии.

-0.025 -0.03

20 40 60 80 100 120 г) Ю 20 30 ¿0 50 60 70 80 90 100

/. мс

Рис. 4: Сравнение модельных (справа) и экспериментальных (слева) данных.

Для сравнения модельных и экспериментальных данных в работе реализована модель внеклеточного отведения потенциала. Точечный электрод регистрирует изменение потенциала, которое наводится только соматическими трансмембранными токами, при этом все точки поверхности тела клетки (сомы) дают одинаковый вклад в наведение потенциала на электроде. Мембранный потенциал и плотность трансмембранного тока одинаковы и изменяются одновременно для всех точек поверхности сомы. Для простоты сома аппроксимируются сферической поверхностью. Внеклеточный электрод, помещённый среди нейронной сети, должен регистрировать значение потенциала, определяемое формулой:

1 Л' Т

47ГО Г;

1=1

где и - ток, генерируемый г-той клеткой, Гг — расстояние между г-тым нейроном и электродом, а - удельная электрическая проводимость среды.

Рис.4 иллюстрирует сходство модельных (справа) и экспериментальных (слева) данных. Экспериментальные данные получены с диссоциированных нейрональных культур, культивируемых на многоэлектродных матрицах. Значение параметра удельной проводимости среды подобрано в соответствии с экспериментальным. На основании сравнения можно делать предположения об определённой нейросетевой структурной организации,

лежащей в основе генерации наблюдаемых паттернов.

Вторая глава посвящена разработке и исследованию нейроосцилля-торной модели ассоциативной памяти и распознавания бинарных паттернов. Модель обладает трёхслойной архитектурой с контекст-зависимой динамической организацией межслойных связей. Информация кодируется типами межэлементных связей, которые могут быть возбуждающими или тормозными, что определяет синфазные или противофазные режимы захвата фаз колебаний нейронных осцилляторов относительно опорного ритма. Базовым элементом модели является импульсный нейронный осциллятор Ровата-Сельверстона, представляющий собой упрощённый вариант модели Ходжкина-Хаксли. Его динамика описывается системой двух обыкновенных дифференциальных уравнений вида:

¿У

Ттп~1_Г - ¿¡ааЬ^У) - ¿вуп(У, Урге) -VI- 70р„

йи (5)

Первое уравнение представляет собой баланс трансмембранных токов. У - мембранный потенциал постсинаптического, Урге - пресинаптического нейронов соответственно. Функция 1/а31(У) = -V + 1апЬ(д/а^У) описывает быстрые токи, где д^ - проводимость быстрых потенциалзависимых входящих токов. Приложенный ток, Зат управляет уровнем деполяризации. Переменная т - медленная восстанавливающая переменная, меняющаяся в соответствии со вторым уравнением системы (5), где ю«,(V) = д3{0ШУ - это потенциалзависимая функция активации, дВ1ОХВ - медленная проводимость. Временные масштабы импульсной динамики контролируются функцией

= Ъ +

1 + ехр -щ-

являющейся потенциалзависимой временной характеристикой медленных токов. Значения временных констант выбраны таким образом, что система (5) находится в релаксационном режиме: » тт и тт(У) > тт. Также полагается, что длительность спайка (ширина импульса) существенно меньше периода автоколебаний, Т2> т\.

Выражение для синаптического тока имеет вид:

Ъуп{У, Урге) = дзупЗоо{Урге) ' {У ~ Увуп), (6)

где д8уп ~ максимальная синаптическая проводимость или сила связи. Функция

описывает количество доступного на данный момент синаптического ресурса, Овуп и к8уп определяют, соответственно, среднее значение и наклон кривой синаптической активации. Параметр У8уп ~ реверсивный сипаптический потенциал, который задаёт знак синаптического тока, вызванного появлением импульса на пресинаптическом нейроне, а, следовательно, определяет тип синаптической передачи в модели (возбуждающая при Увуп > О и тормозная при Увуп < 0). При этом, для двух осцилляторов, находящихся в колебательном режиме и соединённых однонаправленной синаптической связью, возможны два устойчивых режима захвата фазы: противофазный при У8уп > 0 и синфазный при Узуп < 0.

Рис. 5: Схематическое изображение архитектуры модели контекст-зависимой ассоциативной памяти.

Архитектура межэлементных взаимодействий представлена на рис.5. Входной слой сенсорных нейронов получает периодическое импульсное воздействие (базовый ритм) со стороны опорного элемента на собственной частоте колебаний. Осцилляторы среднего слоя, в биологической интерпретации "интернейроны", находятся в возбудимом режиме и способны транслировать или тормозить сигнал, приходящий с соответствующих сенсорных нейронов в зависимости от соотношения их фаз колебаний с опорным ритмом и с собственным текущим состоянием. Связи между слоем интернейронов и управляющим слоем содержат информацию о записанных в память векторах бинарных паттернов в виде Хеббовской матрицы, отображённой на интервал значений реверсивных синаптических потенциалов таким образом, что отрицательным значениям матрицы Хебба соответствуют возбуждающие

значения Узуп, а, следовательно, и противофазный режим захвата фазы, и, наоборот, положительным значениям матрицы Хебба соответствуют тормозные значения Узуп и синфазная синхронизация.

Рис. 6: Динамика распознавания в модели контекст-зависимой ассоциативной памяти.

Динамика распознавания показана на рис.6. Записанные в память паттерны (рис.б-(а), слева) задают взаимодействия между интернейронами и управляющим слоем, определяя матрицу реверсивных синаптических

потенциалов:

У8уп,г] = а 86п + *>. (8)

к=1

где = ±1 элементы А:-того паттерна из хранимого в памити набора, К -общее число запомненных паттернов. Коэффициенты а и Ь выбираются для наилучшего отображения значений матрицы Хебба (сумма в (8)) в требуемый интервал синаптических потенциалов. Далее, один из записанных паттернов подаётся на вход системы в искажённом виде (рис.б-(а), справа), задавая значения реверсивных синаптических потенциалов возбуждающими для одного цвета "пикселей" входного образа и тормозными для другого. Таким образом, нейроны сенсорного слоя разбиваются на два фазовых кластера, синфазно и противофазно синхронизированных с базовым ритмом (рис.6-(Ь)). Фильтрующий слой интернейроиов пропускает только одну компоненту, подавляя другую (рис.б-(с)). Тем самым обеспечивается динамическая селекция путей распространения импульсной активности по сети нейронных осцилляторов в зависимости от внешнего контекста, определяемого текущей сенсорной информацией (входным паттерном). Испытывая воздействие со стороны слоя интернейронов, нейроны управляющего (выходного) слоя также разбиваются на два фазовых кластера, содержащих информацию о восстановленном паттерне. Рис.6-(с1) и (е) иллюстрируют динамику мембранных потенциалов и фаз нейронов управляющего слоя, соответственно. На рис.6-(£) показана эволюция выходного паттерна, содержащегося в распределении фаз импульсов нейронов управляющего слоя.

Разработаны и исследованы механизмы осуществления динамической фильтрации фазовых кластеров. Проведены разбиения плоскостей параметров нейронных осцилляторов и синаптических связей на области соответствующие различным режимам динамической фильтрации: пропускания обоих фазовых кластеров, подавление синфазной или противофазной компонент, подавление обеих компонент. Проведено исследование информационных характеристик модели контекст-зависимой ассоциативной памяти с динамической фильтрацией. Получены условие идеального распознавания и оценки информационной ёмкости модели. Произведены расчёты кривых распознавания для различных уровней искажений входного паттерна. Установлено, что исследуемая трёхслойная модель ассоциативной памяти с динамической фильтрацией фазовых кластеров способна хранить и восстанавливать бинарные паттерны и обладает контекст-зависимой динамикой распознавания, механизмы которой основаны на автоматической селекции путей распространения импульсных последовательностей по сети. Интересной особенностью

является факт, что информационная ёмкость модели определяется не только записанными в память паттернами, составляющими "внутренний контекст" и задающими матрицу межслойных взаимодействий, но и напрямую зависит от "внешнего контекста", то есть от предъявленного на вход паттерна. Показано, что в ряде случаев за счёт такой особенности модель имеет существенный выигрыш в информационных характеристиках по сравнению с классическими нейроосцилляторными моделями ассоциативной памяти.

В третей главе предлагается новая модель осцилляторной ассоциативной памяти, способная хранить бинарные паттерны и распознавать их при предъявлении соответствующего стимула. Бинарные паттерны представляются в виде пространственного распределения фазовых кластеров синфазных ("+1") и противофазных ("-1") колебаний осцилляторов относительно опорного периодического сигнала. Запись информации осуществляется на основе выбора весов межслойных взаимодействий. Динамика модели описывается следующими фазовыми уравнениями:

' dipout 1 N К _

~ÍT = ÑЕ£cosыsinИп - v°utl ¿ = 1 ,N, j=1 k=1

' dw 1 N £k (9)

= y(sin- Ó +sinЫ + A * = M?,

m=1

> eos(fif = = const, j = ljv.

Переменные (p°ut и iph описывают изменение фазы г-того осциллятора выходного слоя и fc-того осциллятора промежуточного слоя соответственно, фазы осцилляторов входного слоя, (fif, остаются постоянными в течение некоторого достаточно большого интервала времени воздействия стимула. Они равны 0 или 7Г согласно кодировке = ±1 входного бинарного вектора,

Ь = (£Í, £21 • • ч £yv)> = ili k — l,K~ вектора записанных в память системы паттернов.

Архитектура взаимодействия между слоями представлена на рис. (7). Каждый осциллятор входного слоя воздействует на все осцилляторы выходного и промежуточного слоёв. Каждый осциллятор промежуточного слоя воздействует на все осцилляторы выходного слоя. Связи между осцилляторами внутри слоёв отсутствуют. Входной и выходной слои содержат по N осцилляторов каждый, что соответствует разрядности системы (количеству "пикселей" каждого паттерна). Промежуточный слой состоит из К осцилляторов, каждый из которых соответствует записанному в память паттерну.

Рис. 7: Схематическое изображение организации межелойных взаимодействий в ассоциативной памяти с архитектурой, вовлекающей новые элементы при добавлении новых паттернов в память.

Входные бинарные паттерны кодируются фазовыми соотношениями между осцилляторами входного слоя, при этом синфазный и противофазный режимы колебаний отвечают значениям = +1 и = -1, соответственно. Результат распознавания содержится в распределении фаз осцилляторов выходного слоя, динамика которого определяется первым уравнением системы (9).

Проведено исследование модели, показано, что градиентная функция каждого осциллятора выходного слоя имеет только один минимум, соответствующий данному входному паттерну. Следовательно, при любом входном распределении на выходе системы будет восстановлен устойчивый паттерн независимо от начальных условий. Получено условие идеального распознавания и произведены оценки информационной ёмкости модели. Подобно классическим осцилляторным моделям информационная ёмкость такой сети ограничена по отношению к произвольному набору паттернов. Однако, использование фиксированного базисного набора паттернов (оптимального алфавита), удовлетворяющего определенным условиям, позволяет существенно улучшить эту характеристику. Анализ областей притяжения записанных паттернов оптимального набора показал, что система способна идеально классифицировать до 25% от общего числа возможных бинарных паттернов. При этом уровень искажений входного образа относительно записанного в памяти может достигать 20%.

Отметим, что отличительной чертой модели является изменяемая архитектура сети в зависимости от "объёма" обрабатываемой информации. Чем больше информационных паттернов необходимо загрузить в память, тем больше нейронов промежуточного (буферного) слоя и соответствующих

им связей необходимо использовать.

Выводы В заключении приведены основные результаты работы,

которые заключаются в следующем:

1. Разработана и изучена модель контекст-зависимой ассоциативной памяти на основе трёхслойной сети нейронных осцилляторов с автоматической фильтрацией синхронизированных фазовых кластеров импульсных сигналов. Исследованы динамические механизмы такой фильтрации.

2. Разработана и исследована модель осцилляторной ассоциативной памяти с нестационарной организацией сетевой архитектуры, ориентированной на конкретную информационную ёмкость.

3. Разработана модель диссоцоригинальнаяиированной культуры нервных клеток, выращенной на многоэлектродной матрице с возможностью многоканальной внеклеточной регистрации нейросетевых импульсных сигналов, количественно аппроксимирующая экспериментальные данные электрофизиологических исследований.

4. Разработаны теоретические основы принципов и механизмов лавинообразной генерации квазисинхронных популяционных разрядов в модели диссоциированной нейрональной культуры. Получены условия критической динамики в предложенной вероятностной модели послойной активации.

Публикации автора по теме диссертации

Публикации в журналах из списка периодических изданий

рекомендованных ВАК

1. Симонов А.Ю., Пимашкин A.C., Казанцев В.Б. Формирование кластерной ассоциативной памяти в трёхслойной сети фазовых осцилляторов. // Биофизика, 2010. - Том 55(2). - С. 317-325.

2. Симонов А.Ю., Миронов В.И., Мухина И.В., Казанцев В.Б. Математические модели нейросетевой активности с внеклеточным отведением потенциала. // Вестник Нижегородского госуниверситета им. H.H. Лобачевского, 2010. - Том 2(2). - С. 585-590.

3. Симонов А.Ю., Казанцев В.Б. Модель возникновения лавинообразных биоэлектрических разрядов в нейронных сетях мозга. // Письма в ЖЭТФ, 2011. - Том 93(8). - С. 516-521.

Публикации других изданиях

1. Мухина И.В., Иудин Д.И., Захаров Ю.Н., Симонов А.Ю., Пимашкин A.C., Казанцев В.Б. Стабильность и вариабильность паттернов сетевой активности развивающихся нейрональных сетей мозга: Биологические и математические модели. // Сборник научных трудов XII Всероссийской научно-технической конференции "Нейроинформатика-2010" 2010. — Том III. Фундаментальные проблемы науки. — С. 184-192.

2. Чижов A.B., Смирнова Е.Ю., Карабасов И.Н., Симонов А.Ю., Маринац-цо Д., Шрам А., Грэм Л.Дж. Динамика спайковых порогов объясняет способность нейрона делить. // Сборник научных трудов XIII Всероссийской научно-технической конференции "Нейроинформатика-20Н", 2011. — Том II. Нейронные сети и когнитивные науки II. — С. 205-213.

3. Смирнова Е.Ю., Симонов А.Ю., Карабасов И.Н. Влияние синапти-ческой проводимости на спайковую активность нейрона. // Сборник научных трудов XIII Всероссийской научно-технической конференции "Нейроинформатика-201Г, 2011. - Том II. Нейронные сети и когнитивные науки II. - С. 213-219.

4. Симонов А.Ю., Пимашкин A.C., Корягина Е.А., Прокин И.С., Миронов В.И., Кастальский И.А., Савихин С.А., Терентъев А.Б., Иудин Д.И., Мухина И.В., Казанцев В.Б. Эффекты сетевой сигнализации в моделях спонтанно развивающихся нейрональных сетей в диссоциированных культурах клеток мозга. // Лекции по нейроинформатике по материалам Школы-семинара "Современные проблемы нейроинформатики" XIII Всероссийской научно-технической конференции "Нейроинформатика-2011", 2011. - С. 138-184.

Труды конференций и симпозиумов

1. Kazantsev V.B., Pimashkin A.S. and Simonov A.Yu. Force-phase locked patterns in network of synaptically coupled oscillatory neurons with a rarefied Hebbian connectivity. // Abstr. International Symposium on Synchronization in Complex Networks. — Leuven, Belgium: 2007.

2. Kazantsev V.B., Pimashkin A.S., Simonov A.Yu. Associative memory and information retrieval in a two-layer oscillatory network of spiking neurons. // Abstr. of The 3rd International IEEE Scientific Conference on Physics and Control (PhysCon 2007). - Potsdam, Germany: 2007 - P. 148.

3. Simonov A.Yu., Kazantsev V.B. Oscillatory associative memory in neuronal network with a rarefied Hebbian connectivity. // Proceedings of International Symposium "Topical Problems of Biophotonics - 2007". — Nizhny Novgorod -Moscow - Nizhny Novgorod: 2007 — P. 252.

4. Симонов А.Ю. Формирование паттернов спайковой активности в сети нейронных осцилляторов для задач ассоциативной памяти. // Тезисы докладов XIV научной школы "Нелинейные волны - 2008". Фундаментальные и прикладные задачи нелинейной физики. Конференция молодых учёных. — Нижний Новгород: 2008. — С. 143.

5. Симонов А.Ю. Формирование оптимальных наборов паттернов импульсной активности в двухслойных сетях нейронных осцилляторов. // Тезисы докладов 13-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2008. — С. 175.

6. Симонов А.Ю. Пространственно-временные паттерны нейронной активности в сетях с аксональными задержками. // Труды XII Научной Конференции по Радиофизике. — Нижний Новгород: 2008. — С. 91.

7. Simonov A.Yu. Spike-timing patterns in networks of synaptically coupled neurons with axonal conduction delays. // Proceedings of the XII Scientific Conference on Radiophysics. — Nizhny Novgorod: 2008. — P. 324.

8. Симонов А.Ю. Генерация самовоспроизводящихся паттернов нейронной активности в моделях сетей с аксональными задержками. // Тезисы докладов 14-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2009. — С. 146.

9. Симонов А.Ю. Трёхслойная архитектура сети фазовых осцилляторов для задач распознавания информации. // Труды XIII Научной Конференции по Радиофизике. — Нижний Новгород: 2009. — С. 75.

10. Simonov A. Yu. Multielectrode extracellular registration of neuronal network activity in the model with axonal conduction delays. // Proceedings of the XII Scientific Conference on Radiophysics. — Nizhny Novgorod: 2009. — P. 324.

11. Karabasov I.N., Biktimirova M.Z., Simonov A.Yu., Gribkov A.L.,

Mukhina I. V., Semyanov A.V. Action potential threshold measuring with patch-clamp technique. // Proceedings of the XII Scientific Conference on Radiophysics. - Nizhny Novgorod: 2009. - P. 264.

12. Симонов А.Ю. Внеклеточное отведение потенциала в модели диссоциированных нейрональных культур. // Тезисы докладов 15-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2010. - С. 104.

13. Кастальский И.А., Симонов А.Ю., Казанцев В.Б. Моделирование ассоциативной памяти на основе нейронных сетей спайковых осцилляторов с разрежением синаптических связей. // Тезисы докладов 15-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2010. — С. 153.

14. Симонов А.Ю. Диссоциированные нейрональные культуры. Математические модели с внеклеточным отведением. // Труды III Всероссийского с международным участием конгресса студентов и аспирантов-биологов "Симбиоз-Россия 2010". - Нижний Новгород: 2010. - С. 188.

15. Симонов А.Ю., Мухина И.В., Казанцев В.Б. Внеклеточная регистрация нейросетевой активности в моделях диссоциированных культур. // Труды XIV Научной Конференции по Радиофизике. — Нижний Новгород: 2010. - С. 115.

16. Кастальский И.А., Симонов А.Ю., Казанцев В.Б. Исследование режимов захвата фазы в сетях нейронных осцилляторов для реализации ассоциативной памяти. // Труды XIV Научной Конференции по Радиофизике. — Нижний Новгород: 2010. - С. 94.

17. Pimashkin A.S., Kastalskiy I.A., Simonov A.Yu., Koryagina E.A., Korotchenko S.A., Mukhina I.V., Kazantsev V.B. Spike patterns similarity in bursts of spontaneous activity in hippocampal cultures using MEA. // Frontiers Neuroengineering Conference Abstract: The Monte Verita 2010 Workshop on the Frontiers in Neuroengineering. — Monte Verita: 2010. — doi: 10.3389/conf.fneng.2010.10.00011

18. Симонов А.Ю., Казанцев В.Б. Генерация сетевых бёрстов в модели диссоциированных нейрональных культур. // Труды IX Международной школы "Хаотические автоколебания и образование структур". — Саратов: 2010. - С. 74.

Подписано в печать 12.10.2011 г. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1. Заказ № 658. Тираж 100 экз.

Отпечатано с готового оригинал-макета в РИУ ННГУ им. Н.И. Лобачевского. 603000, г. Нижний Новгород, ул. Б. Покровская, 37

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Симонов, Александр Юрьевич

Введение.

Обзор литературы.

1. Модели единичных нейронов.

2. Динамическая архитектура взаимодействий.

3. Нейронные сети как вычислительный инструмент.

4. Моделирование ассоциативной памяти.

5. Паттерны импульсной активности.

6. Эффекты сетевой сигнализации в диссоциированных нейро-нальных культурах.

7. Критическая динамика нейронных сетей.

Введение диссертация по физике, на тему "Генерация и распространение импульсных последовательностей в моделях нейронных сетей с динамической организацией межэлементных взаимодействий"

Актуальность работы Исследование динамических механизмов организации и функционирования нейронных сетей мозга находится в русле современных тенденций развития науки. Одним из наиболее перспективных является радиофизический подход, рассматривающий нейронную сеть в виде ансамбля импульсных генераторов, нелинейно взаимодействующих между собой. Отдельно взятые элементы, нейроны, представляют собой многомерные нелинейные системы с нетривиальной динамикой. Будучи объединёнными в сети с динамически организованными межэлементными связями и нелокальной пространственной топологией взаимодействий, нейронные системы оказываются сложным объектом исследований, требующим активного внедрения всего арсенала методов и подходов радиофизики.

С точки зрения радиофизики, отдельный нейрон представляет собой генератор сложных импульсных сигналов, динамика которого носит пороговый характер. При превышении некоторого порога нейрон генерирует импульс, который может распространяться по его отросткам на большие расстояния без изменения своей формы и далее передаваться другим клеткам. Такой импульсный сигнал проходит по сети, вызывая поочерёдную когерентную активацию других нейронов, формируя, таким образом, иространственно-времен-ную последовательность импульсных возбуждений. Считается, что именно такие последовательности являются одним из концептов кодирования информации в мозге. Сигналы коллективной активности нейронных сетей характеризуются наличием как временных, так и пространственных корреляций, в том числе у клеток, расположенных достаточно далеко друг от друга. Одной из ярких особенностей нейронных сетей является способность изменения параметров и структуры межнейронных взаимодействий в зависимости от активности. При реализации тех или иных информационных функций связи между нервными клетками могут исчезать и появляться, а веса существующих связей меняться, влияя, в свою очередь, на процессы распространения импульсных сигналов по сети. Данное явление носит название "синаптической пластичности" и является нейрофизиологическим фундаментом феноменов обучения и памяти1.

Работы но исследованию различных эффектов коллективной динамики ансамблей активных нелинейных элементов на протяжении последних десятилетий интенсивно проводятся в ведущих научных центрах. Среди наиболее значимых следует отметить результаты, полученные зарубежными авторами (J. Rinzel, L.F. Abbott, G.D.I. Abarbanel, E.M. Izhikevich, Y. Kuramoto и др.) и отечественными учёными (М.И. Рабинович, В.Д. Шалфеев, В.В. Матросов, В.И. Некоркин, В.Г. Яхно, В.Б. Казанцев, Г.В. Осипов, A.C. Дмитриев, Б.П. Безручко, Д.Э. Постнов, А.Е. Храмов, A.A. Короновский, Д.А Смирнов, В.Н. Белых, И.В. Белых, А.Ю. Лоскутов, P.M. Борисюк, Л.П. Шильников, и др.) в области нелинейной динамики. Наиболее известными и хорошо изученными феноменами коллективной динамики многоэлементных систем, играющими важную роль и в нейросистемах, являются синхронизация колебаний (регулярных и хаотическмиих) автогенераторных систем, формирование структур (паттернов) активности, регуляризация и хаотизация колебаний в ансамблях, распространение волн возбуждения, автоволновые структуры и ДР

В области приложения радиофизических методов к нейродинамическим задачам к настоящему моменту достаточно хорошо описаны процессы генерации импульсных сигналов в отдельных клетках, исследованы их бифуркационные механизмы, в том числе и в биофизически детализированных мо

1 Shepherd, G.M.: Neurobiology, Oxford University Press, 1994; Николе Дж., Мартин P., Валлас Б., Фукс П.: От нейрона к мозгу, Москва, 2003; Рубин, А.Б.: Биофизика: в 2-х т, М.: Университетский книжный дом 2000; Limas, R.R.: I of the vortex: from neurons to self, The MIT Press, 2002 делях нейронов. На уровне кооперативной динамики нейронных ансамблей изучены принципы распространения и передачи импульсов между клетками, исследованы явления синхронизации и кластерообразования. Тем не менее, практически неисследованными остаются многие важные аспекты сетевых взаимодействий в биологоправдоподобных моделях нейронных систем. В частности, повышенный интерес вызывают задачи, связанные с динамической организацией межэлементных взаимодействий. Вопросы, касающиеся обработки информации, принципов кодирования и декодирования в таких системах, механизмов формирования пространственно-временных структур импульсной активности, являются в настоящее время предметом интенсивных междисциплинарных исследований, о чём свидетельствует рост количества публикаций, в том числе и в ведущих физических изданиях (Physical Review, Physica D и др.)

Как свидетельствует ряд недавних работ в этой области, ключевую роль в динамике нейронных сетей и реализации информационных функций мозга играет явление синхронизации2. Взаимодействие внутренних ритмов ос-цилляторной активности лежит в основе таких когнитивных функций как память, внимание и обучение. Феномен ассоциативной памяти - записи, хранения и воспроизведения определённого числа информационных фрагментов в сети нейронов является одним из классических примеров функциональной эффективности сетевых систем мозга. В основе многих моделей ассоциативной памяти лежит фазовое кодирование информации, при этом динамика распознавания описывается в терминах захвата фазы колебаний нейронных осцилляторов в различных режимах, что приводит к фазовой кластеризации

2 Борисюк Г.Н., Борисюк P.M., Казанович Я.Б., Иваницкий Г.Р.: Модели динамики нейронной активности при обработке информации мозгом - итоги десятилетия, Успехи физических наук 172(10), 1189-1214, 2002; Izhikevich, Е.М., Gaily, J.A., and Edelman, G.M.: Spike-timing dynamics of neuronal groups, Cerebral Cortex 14(8), 933-944, 2004; Ikegaya, Y., Aaron, G., Cossart, R., et al.: Synfire chains and cortical songs: temporal modules of cortical activity, Science 304(5670), 559-564, 2004 элементов сети. Однако, поскольку существующие модели слишком абстрактны и не учитывают такие аспекты функционирования нейронных сетей, как динамическая организация межэлементных взаимодействий и зависимость сетевой топологии от входной информации (контекст-зависимая архитектура), построение новых моделей нейроосцилляторной и спайковой ассоциативной памяти до сих пор остаётся актуальной задачей.

Прикладной аспект данного направления исследований связан с перспективами создания новых систем обработки информации на основе механизмов и принципов, найденных в живых нейронных системах. Формируемые аналоговыми сигналами большого числа клеток (в отличие от бинарных представлений, типичных для формальных нейронных сетей и компьютерной логики), структуры импульсной активности нейрональных сетей обладают потенциально неограниченной информационной эффективностью за счёт наличия в идеале бесконечного числа степеней свободы. Также в основе многих вычислительных свойств, эффективности и помехоустойчивости обработки информации, высоких адаптационных показателей, которыми обладают нейронные сети, лежит динамическая организация межэлементных взаимодействий, обеспечиваемая различными механизмами синаптической пластичности. Поэтому задача построения математических моделей нейронных сетей с динамически организованными связями и исследования основных эффектов их коллективной динамики (формирование и эволюция паттернов активности, межклеточная передача и преобразование сигналов, построение модельных архитектур для описания наблюдаемых эффектов) с использованием современного аппарата нелинейной динамики является одной из ключевых в ряду актуальных и перспективных научных направлений.

Среди наиболее актуальных и перспективных экспериментальных методов исследования нейронных сетей на уровне коллективной динамики следует отметить использование диссоциированных культур3. Характерная особенность динамики таких сетей - генерация квазисинхронных популяцион-ных разрядов, наблюдаемая как экспериментально в диссоциированных ней-рональных культурах, так и в их математическом описании. Такие иопуляци-онные разряды или бёрсты носят лавинообразный характер и перемежаются с низкой асинхронной сетевой импульсной активностью, при этом все элементы сети разряжаются высокочастотными импульсными последовательностями, синхронизированными между собой на относительно узком временном интервале. Механизмы генерации спонтанных сигналов в культуре с точки зрения сетевых эффектов, условия их существования на данный момент достоверно не установлены. Вопросы генерации популяционных разрядов в культурах интенсивно изучаются в настоящее время в зарубежных научных центрах (S. Potter, MIT, USA; R. Quiroga, University of Leicester, UK; S. Marom, Telaviv University, Israel, и др.). В России такие исследования начались сравнительно недавно (К.В. Анохин, М.С. Бурцев, НИЦ Курчатовский Институт; И.В. Мухина, В.Б. Казанцев, ННГУ им. Н. И. Лобачевского).

3 Диссоциированная нсйроналъная культура - экспериментальный нейробиологический объект, представляющий собой живые нервные клетки, взятые из мозга лабораторных животных (крыс или мышей), формирующие между собой сложную архитектуру межклеточных взаимодействий, и живущие до нескольких месяцев в искусственных условиях.

4 Izhikevich, Е.М.: Polychronization: Computation with spikes, Neural Computation 18(2), 245-282, 2006 связывания информации в мозге. Изучение процессов формирования поли-хронных групп, получение заданных конфигураций генерируемых ими импульсных последовательностей за счёт эффектов кластерообразования, синхронизации и полихронизации являются ключевыми задачами данной области науки.

• Нестационарная сетевая топология (исследуется в третей главе).

Так в основе формирования полихронных групп и устойчивых путей распространения импульсных пространственно-временных сигналов может лежать явление долговременной синаптической пластичности. В то время как кратковременная синаптическая пластичность отвечает за формирование популя-ционных разрядов в режиме самоорганизованной критичности5.

5 Beggs, J.M., and Plenz, D.: Neuronal avalanches in neocortical circuits, Journal of Neuroscicnce 23(35), 11167, 2003 ния импульсных сигналов, функционирующих на основе различных механизмов пластичной организации межэлементных взаимодействий, а также изучение динамических механизмов синхронизации импульсных сигналов, приводящей к генерации лавинообразных популяционных биоэлектрических разрядов (беретов).

Цель диссертационной работы состоит в развитии теоретических основ обработки и преобразования сигналов за счёт механизмов синхронизации и полихронизации в моделях нейронных сетей мозга с динамически организованными связями.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Разработка математической модели диссоциированной культуры живых нервных клеток, выращенной на многоэлектродной матрице с возможностью многоканальной внеклеточной регистрации нейросетевых импульсных сигналов. Верификация модели но экспериментальным данным.

3. Разработка и исследование нейроосцилляторной сетевой модели контекст-зависимой ассоциативной памяти с динамическим выбором путей распространения фазовых кластеров импульсной активности за счёт механизмов нелинейного межэлементного взаимодействия.

• Впервые получены условия лавинообразной генерации поиуляционных разрядов в модели диссоциированной нейрональной культуры с пластичными межэлементными связями. Разработана новая вероятностная модель послойного распространения импульсных последовательностей, подчиняющихся статистике самоорганизованной критичности.

Теоретическая и практическая значимость. Теоретическое значение диссертации состоит в построении и исследовании новых математических моделей осцилляторных нейронных сетей для задач обработки информации, исследовании режимов синхронизации и механизмов динамической организации связей в таких сетях, построении новой модели диссоциированной нейрональ-ной культуры в внеклеточным отведением потенциала, разработке и развитии теоретических основ лавинообразной генерации популяционных разрядов в сетях с динамической организацией межэлементных взаимодействий.

Практическое значение диссертации заключается в том, что предложенные модели ассоциативной памяти могут применяться в технологиях нейро-иммитирующих информационных систем (нейрокомпьютинг, нейроунравле-ние, нейроаниматы и др.), предложенная модель диссоциированной культуры способна количественно аппроксимировать экспериментальные данные, что позволяет использовать её в нейрофизиологических исследованиях для интерпретации экспериментальных результатов и корректировки протоколов, а также в доклинических исследованиях оценки функционального состояния нервной ткани и для лекарственного тестирования. Все результаты работы могут быть использованы в образовательном процессе для студентов и аспирантов физических и биологических специальностей в форме специальных курсов лекций и лабораторных практикумов.

На защиту выносятся следующие основные положения:

1. Экспериментальные многоканальные записи активности диссоциированных нейрональных культур, выращенных на многоэлектродной матрице, могут быть количественно аппроксимированы сетью взаимодействующих нейронных осцилляторов с внеклеточной регистрацией потенциала, основанной на линейном затухании сигнала в проводящей среде.

Апробация работы Основные результаты работы докладывались на российских и международных конференциях, включая: Topical problems of Bio-photonics (2007, Нижний Новгород), The 3rd International IEEE Scientific Conference on Physics and Control (2007, Potsdam), International Symposium on Synchronization in Complex Networks (2007, Belgium), XIV Всероссийскую научную школу "Нелинейные волны" (2008, Нижний Новгород), 13-ю, 14-ю и 15-ю Нижегородскую сессию молодых ученых (2008, 2009, 2010), XII, XIII и XIV Научную Конференцию по Радиофизике (2008, 2009, 2010, Нижний Новгород), Нейроинформатика (2010, 2011 МИФИ), Всероссийский с международным участием конгресс студентов и аспирантов-биологов "Симбиоз-Россия"(2010, Нижний Новгород), Международную конференцию "Frontiers in Neuroengineering" (2010, Switzerland), IX Международную школу "Хаотические автоколебания и образование структур" (2010, Саратов).

08-02-00724-а, 09-02-92611-КОа, 09-02-97083-рповолжьеа, 09-04-01432-а,

09-04-12254-офим, 09-04-12304-офим, 09-04-97090-рповолжьеа; Проектов ФЦП "Научные и научно-педагогические кадры инновационной России" (контракты №14.740.11.0075, 16.512.11.2136, 02.740.11.0839); МКБ Президиума РАН, Программой МКБ фонда некоммерческих программ Д. Зимина "Династия" (контракт ВДП-Б-33/10).

Публикации. Результаты работы опубликованы в журналах Биофизика (2010), Вестник ННГУ (2010), Письма в ЖЭТФ (2011). По теме диссертации опубликовано 25 научных работ (3 статьи в журналах, входящих в перечень ВАК, 4 статьи в научных сборниках и 18 работ в сборниках трудов конференций и тезисов).

Личный вклад автора Основные результаты диссертационной работы получены лично автором. Все тексты совместных публикаций в рецензируемых журналах были подготовлены автором самостоятельно. Автор принимал непосредственное участие в постановке задачи и обсуждении результатов. Разработка и реализация алгоритмов моделирования и написание программ осуществлялось непосредственно автором.

Структура и объем диссертации Диссертация состоит из введения, обзора литературы, 3 глав, заключения и библиографии. Общий объем диссертации 120 страниц текста с 28 рисунками. Библиография включает 161 наименование.

Заключение диссертации по теме "Радиофизика"

3.3. Выводы к третей главе.

Проведено исследование модели, показано, что градиентная функция каждого осциллятора выходного слоя имеет только один минимум, соответствующий данному входному паттерну. Следовательно, при любом входном распределении на выходе системы будет восстановлен устойчивый паттерн независимо от начальных условий. Получено условие идеального разпознава-ния и произведены оценки информационной ёмкости модели. Подобно классическим осцилляторным моделям информационная ёмкость такой сети ограничена по отношению к произвольному набору паттернов. Однако, использование фиксированного базисного набора паттернов (оптимального алфавита) [161], удовлетворяющего определенным условиям, позволяет существенно улучшить эту характеристику. Анализ областей притяжения записанных паттернов оптимального набора показал, что система способна идеально классифицировать до 25% от общего числа возможных бинарных паттернов. При этом уровень искажений входного образа относительно записанного в памяти может достигать 20%.

По результатам данной главы на защиту выносится следующее положение:

Увеличение информационной ёмкости осцилляторной модели ассоциативной памяти достигается за счёт введения в сеть дополнительных генераторов, формирующих новые связи при записи в сеть новых образов.

Заключение

В данной диссертационной работе проведено исследование,посвящённое развитию теоретических основ обработки и преобразования импульсных сигналов за счёт механизмов синхронизации и полихронизации в моделях нейронных сетей мозга с динамически организованными связями. Основные выводы работы заключаются в следующем:

1. Динамика культуры живых нервных клеток может быть описана моделью сети взаимодействующих нелинейных пороговых генераторов. В модели присутствуют как тормозные, так и возбуждающие типы связей. Пластичность живой нейронной сети описана в виде динамической организации межэлементных взаимодействий, а именно, изменением весов межэлементных связей в зависимости от частоты следования импульсной активности. Динамика такой модели характеризуется наличием высокочастотных квазисинхронных сетевых разрядов, перемежающихся с относительно низкой асинхронной активностью генераторов сети. Таки разряды возникают за счёт распространения импульсной активности на всю сеть от нескольких изначально активных элементов с разными собственными частотами и заканчиваются преимущественно из-за ослабления весов всех возбуждающий связей при активации механизми синаптической депрессии, а также из-за наличия торможения в сети.

2. Модель внеклеточной регистрации, основанная на линейном пространст-ственном затухании сигнала в проводящей среде, количественно аппроксимирует электрофизиологические записи культивированных сетей живых нейронов, получченные при использовании многоэлектродных матриц. Модель использует пространственно-временную суммацию токов, генерируемых пороговыми импульсными осцилляторами, находящимися на разном удалении от точки регистрации сигнала.

3. Принципы и механизмы лавинообразной генерации квазисинхронных популяционных разрядов в модели диссоциированной нейрональной культуры могут быть описаны вероятностной моделью послойной активации. Условия критической динамики в предложенной вероятностной модели послойной активации связывают ключевые макропараметры сетевой модели импульсных нелинейных элементов. При фиксированных размере сети и связности критическим является параметр веса синапти-ческой связи. Суперкритический режим соответствует лавинообразному нарастанию возбуждения и многократной активации всех нейронов сети, в то время как при докритическом значении масштабы распространения возбуждения существенно меньше размеров сети.

4. Модель контекст-зависимой ассоциативной памяти на основе трёхслойной сети нейронных осцилляторов с автоматической фильтрацией синхронизированных фазовых кластеров импульсных сигналов способна хранить и распознавать бинарные паттерны информации при предъявлении соответствующего искажённого сигнала. Зависимость от контекста достигается за счёт автоматической динамической фильтрации фазовых импульсных последовательностей на дополнительно введённом в сеть промежуточном слое импульсных генераторов, находящихся в устойчивом состоянии равновесия в возбудимом режиме.

5. Динамические механизмы селективной фазовой фильтрации импульсных последовательностей основаны на нелинейном взаимодействии комбинаций тормозных и возбуждающих импульсных активаций, подающихся на пороговый возбудимый импульсный элемент в соответствующих фазах импульсного сигнала.

6. Информационная ёмкость модели ассоциативной памяти на основе слабосвязанных фазовых осцилляторов возрастает при введении динамической организации связей за счёт дополнительного слоя осцилляторов, размер которого зависит от количества записанных в память образов. Динамическая организация межэлементных связей в трёхслойной сети осуществляется при помощи добавления новых элементов и соответствующих им новых связей при добавлении в память новых образов. Градиентная функция каждого осциллятора такой сети имеет только один минимум, соответствующий данному входному паттерну. Следовательно, при любом входном распределении на выходе системы будет восстановлен устойчивый паттерн независимо от начальных условий.

Список источников диссертации и автореферата по физике, кандидата физико-математических наук, Симонов, Александр Юрьевич, Нижний Новгород

1. Андронов А.А., Витт А.А., Хайкин С.Э. Теория колебаний М // JL, Физматгиз. 1959.

2. Понтрягин JI.C. Обыкновенные дифференциальные уравнения. Наука, 1965.

3. Kuramoto Y. Chemical oscillations, waves, and turbulence. Springer-Verlag, Berlin, 1984. ISBN: 0387133224.

4. Рабинович М.И., Трубецков Д.И. Введение в теорию колебаний и волн. Наука. Гл. ред. физ.-мат. лит., 1992.

5. Пиковский А., Розенблюм М., Курте Ю. Синхронизация. Фундаментальное нелинейное явление. М.: Техносфера, 2003.

6. Hoppensteadt F., Izhikevich Е. Weakly connected neural networks. Springer Verlag, 1997. Vol. 126.

7. Dayan P., Abbott L. Theoretical neuroscience. Citeseer, 2001. Vol. 83.

8. Izhikevich E. M. Dynamical Systems in Neuroscience: The Geometry of Excitability and Bursting. The MIT Press, 2007.

9. Hodgkin A., Huxley A. A quantitative description of membrane current and its application to conduction and excitation in nerve // The Journal of Physiology. 1952. Vol. 117, no. 4. P. 500-544.

10. Fitzhugh R. Impulses and physiological states in theoretical models of nerve membrane // Biophysical Journal. 1961. Vol. 1, no. 6. P. 445-466.

11. Morris C., Lecar H. Voltage oscillations in the barnacle giant muscle fiber // Biophysical journal. 1981. Vol. 35, no. 1. P. 193-213.

12. Hindmarsh J., Rose R. A model of the nerve impulse using two first-order differential equations. 1982.

13. Rowat P. F., Selverston A. I. Modeling the gastric mill central pattern generator of the lobster with a relaxation-oscillator network // Journal of Neurophysiology. 1993. Vol. 70, no. 3. P. 1030-1053.

14. Izhikevich E. Simple model of spiking neurons // Neural Networks, IEEE Transactions on. 2003. Vol. 14, no. 6. P. 1569-1572.

15. Izhikevich E. Which model to use for cortical spiking neurons? // Neural Networks, IEEE Transactions on. 2004. Vol. 15, no. 5. P. 1063-1070.

16. Koch C. Biophysics of computation: information processing in single neurons. Oxford University Press, USA, 2005.

17. Nagumo J., Arimoto S., Yoshizawa S. An active pulse transmission line simulating nerve axon // Proceedings of the IRE. 1962. Vol. 50, no. 10. P. 2061-2070.

18. Plant R. Bifurcation and resonance in a model for bursting nerve cells // Journal of Mathematical Biology. 1981. Vol. 11, no. 1. P. 15-32.

19. Некоркин В.И., Дмитричев А.С., Щапин Д.С., Казанцев В.Б. Динамика модели нейрона со сложно-пороговым возбуждением // Математическое моделирование. 2005. Vol. 17, по. 6. Pp. 75-91.

20. Lisman J. Bursts as a unit of neural information: making unreliable synapses reliable // Trends in neurosciences. 1997. Vol. 20, no. 1. Pp. 38-43.

21. Sherman S. Tonic and burst firing: dual modes of thalamocortical relay // TRENDS in Neurosciences. 2001. Vol. 24, no. 2. Pp. 122-126.

22. Gabbiani F., Metzner W., Wessel R., Koch C. From stimulus encoding to feature extraction in weakly electric fish // Nature. 1996. Vol. 384, no. 6609. Pp. 564-567.

23. Oswald A., Chacron M., Doiron B. et al. Parallel processing of sensory input by bursts and isolated spikes // The Journal of neuroscience. 2004. Vol. 24, no. 18. P. 4351.

24. Lesica N., Stanley G. Encoding of natural scene movies by tonic and burst spikes in the lateral geniculate nucleus // The Journal of neuroscience. 2004. Vol. 24, no. 47. P. 10731.

25. Reinagel P., Godwin D., Sherman S., Koch C. Encoding of visual information by LGN bursts // Journal of Neurophysiology. 1999. Vol. 81, no. 5. P. 2558.

26. Traub R., Miles R. Neuronal networks of the hippocampus. Cambridge Univ Pr, 1991. ISBN: 0521364817.

27. Doi S., Nabetani S., Kumagai S. Complex nonlinear dynamics of the Hodgkin-Huxley equations induced by time scale changes // Biological Cybernetics. 2001. Vol. 85, no. 1. P. 51-64.

28. Pospischil M., Toledo-Rodriguez M., Monier C. et al. Minimal Hodgkin-Huxley type models for different classes of cortical and thalamic neurons // Biological cybernetics. 2008. Vol. 99, no. 4. P. 427-441.

29. Cutsuridis V., Cobb S., Graham B. Encoding and retrieval in a model of the hippocampal CA1 microcircuit // Hippocampus. 2010. Vol. 20, no. 3. P. 423-446.

30. Rinzel J. Discussion: electrical excitability of cells, theory and experiment:review of the Hodgkin-Huxley foundation and an update // Bulletin of Mathematical Biology. 1990. Vol. 52, no. 1. P. 3-23.

31. Fukai H., Doi S., Nomura T., Sato S. Hopf bifurcations in multiple-parameter space of the Hodgkin-Huxley equations I. Global organization of bistable periodic solutions // Biological cybernetics. 2000. Vol. 82, no. 3. P. 215-222.

32. Fukai H., Nomura T., Doi S., Sato S. Hopf bifurcations in multiple-parameter space of the hodgkin-huxley equations ii. singularity theoretic approach and highly degenerate bifurcations // Biological cybernetics. 2000. Vol. 82, no. 3. P. 223-229.

33. Borkowski L. Response of a Hodgkin-Huxley neuron to a high-frequency input // Physical Review E. 2009. Vol. 80, no. 5. P. 051914.

34. Borkowski L. Multimodal transition and stochastic antiresonance in squid giant axons // Physical Review E. 2010. Vol. 82, no. 4. P. 041909.

35. Borkowski L. Nonlinear Dynamics of Hodgkin-Huxley Neurons. Adam Mick-iewicz University Press, Poznan, 2010.

36. Borkowski L. Bistability and resonance in the periodically stimulated Hodgkin-Huxley model with noise // Physical Review E. 2011. Vol. 83, no. 5. P. 051901.

37. Tsumoto K., Yoshinaga T., Aihara K., Kawakami H. Bifurcations in synapti-cally coupled Hodgkin-Huxley neurons with a periodic input // Internetional Journal of Bifurcation and Chaos in Applied Sciences and Engineering. 2003. Vol. 13, no. 3. P. 653-666.

38. Keener J., Hoppensteadt F., Rinzel J. Integrate-and-fire models of nervemembrane response to oscillatory input // SIAM Journal on Applied Mathematics. 1981. Vol. 41, no. 3. P. 503-517.

39. Hopfield J., Herz A. Rapid local synchronization of action potentials: Toward computation with coupled integrate-and-fire neurons // Proceedings of the National Academy of Sciences of the United States of America. 1995. Vol. 92, no. 15. P. 6655.

40. Campbell S., Wang D., Jayaprakash C. Synchrony and desynchrony in integrate-and-fire oscillators // Neural computation. 1999. Vol. 11, no. 7. P. 1595-1619.

41. McCulloch W., Pitts W. A logical calculus of the ideas immanent in nervous activity // Bulletin of Mathematical Biology. 1943. Vol. 5, no. 4. P. 115-133.

42. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities // Proceedings of the National Academy of Sciences. 1982. Vol. 79. P. 2554-2558.

43. Izhikevich E., Gaily J., Edelman G. Spike-timing dynamics of neuronal groups // Cerebral Cortex. 2004. Vol. 14, no. 8. P. 933-944.

44. Izhikevich E. Polychronization: Computation with spikes // Neural Computation. 2006. Vol. 18, no. 2. P. 245-282.

45. Levina A., Herrmann J., Geisel T. Dynamical synapses causing self-organized criticality in neural networks // Nature Physics. 2007. Vol. 3, no. 12. P. 857-860.

46. Osipov G., Sushchik M. Coherent structures in coupled chains of self-excited oscillators // Physics Letters A. 1995. Vol. 201, no. 2-3. P. 205-212.

47. Nekorkin V., Makarov V. Spatial chaos in a chain of coupled bistable oscillators // Physical review letters. 1995. Vol. 74, no. 24. P. 4819-4822.

48. Nekorkin V., Makarov V., Kazantsev V., Velarde M. Spatial disorder and pattern formation in lattices of coupled bistable elements // Physica D: Nonlinear Phenomena. 1997. Vol. 100, no. 3-4. P. 330-342.

49. Osipov G., Pikovsky A., Rosenblum M., Kurths J. Phase synchronization effects in a lattice of nonidentical Rossler oscillators // Physical Review E. 1997. Vol. 55, no. 3. P. 2353.

50. Alexeyev A., Shalfeev V. Chaotic synchronization of mutually-coupled generators with frequency-controlled feedback loop // International Journal of Bifurcation and Chaos in Applied Sciences and Engineering. 1995. Vol. 5, no. 2. P. 551-558.

51. Aframovich V., Nekorkin V., Osipov G., Shalfeev V. Stability, structures and chaos in nonlinear synchronization arrays // IAP, USSR Acad. Sci. 1989.

52. Korzinova M., Matrosov V., Shalfeev V. Communications using cascade coupled phase-locked loop chaos // International Journal of Bifurcation and Chaos. 1999. Vol. 9. P. 963-974.

53. Rubin J., Terman D. Analysis of clustered firing patterns in synaptically coupled networks of oscillators // Journal of Mathematical Biology. 2000. Vol. 41, no. 6. P. 513-545.

54. Bern T., Rinzel J. Short duty cycle destabilizes a half-center oscillator, but gap junctions can restabilize the anti-phase pattern // Journal of Neurophysiology. 2004. Vol. 91, no. 2. P. 693.

55. Kazantsev V., Nekorkin V., Binczak S. et al. Spiking dynamics of interacting oscillatory neurons // Chaos: An Interdisciplinary Journal of Nonlinear Science. 2005. Vol. 15. P. 023103.

56. Belykh V. N., Belykh I. V., Mosekilde E. Cluster synchronization modes in an ensemble of coupled chaotic oscillators. // Phys Rev E Stat Nonlin Soft Matter Phys. 2001.-Mar. Vol. 63, no. 3 Pt 2. P. 036216.

57. Gusev V., Koronovskii A., Khramov A. Adaptive wavelets applied to the analysis of nonlinear systems with chaotic dynamics // Technical Physics Letters. 2003. Vol. 29, no. 9. Pp. 775-778.

58. Dmitriev A., Panas A., Starkov S. Ring oscillating systems and their application to the synthesis of chaos generators // International Journal of Bifurcation and Chaos in Applied Sciences and Engineering. 1996. Vol. 6, no. 5. Pp. 851-866.

59. Николе Дж., Мартин P., Валлас В., Фукс П. От нейрона к мозгу. Москва, 2003.

60. Tsodyks М., Uziel A., Markram Н. Synchrony generation in recurrent networks with frequency-dependent synapses // Journal of Neuroscience. 2000. Vol. 20, no. 1. P. RC50 (1-5).

61. Gong P., van Leeuwen C. Dynamically maintained spike timing sequences in networks of pulse-coupled oscillators with delays // Physical review letters. 2007. Vol. 98, no. 4. P. 48104.

62. Rosenblatt F. The perceptron: A probabilistic model for information storage and organization in the brain. // Psychological review. 1958. Vol. 65, no. 6. P. 386.

63. Hopfield J. J. Neurons with graded response have collective computational properties like those of two-state neurons // Proceedings of the National Academy of Sciences. 1984. Vol. 81, no. 10. P. 3088-3092.

64. Крыжановский Б.В., Магомедов Б.M. О вероятности обнаружения локальных минимумов в обобщенной модели Хопфилда // Нейроинформа-тика. 2006. Т. 1, № 1. С. 88-101.

65. McEliece R. J., Posner Е. С., Rodemich Е. R., Venkatesh S. S. The capacity of the Hopfield associative memory // IEEE Transactions on Information Theory. 1987. Vol. 33, no. 4. P. 461-482.

66. Зафиевский А.В. Емкость ассоциативной памяти в модели Хопфилда // Труды научных сессий МИФИ. Нейроинформатика-2002. 2002.

67. Personnaz L., Guyon I., Dreyfus G. Collective computational properties of neural networks: New learning mechanisms // Physical Review A. 1986. Vol. 34, no. 5. P. 4217.

68. Amit D., Treves A. Associative memory neural network with low temporal spiking rates // Proceedings of the National Academy of Sciences. 1989. Vol. 86, no. 20. P. 7871-7875.

69. Minai A. A., Bohland J. W. Efficient associative memory using small-world architecture // Neurocomputing. 2001. Vol. 38. P. 38-40.

70. Davey N., Calcraft L., Adams R. High capacity, small world associative memory models // Connection Science. 2006. Vol. 18, no. 3. P. 247-264.

71. Chen W., Maex R., Adams R. et al. Connection strategies in associative memory models with spiking and non-spiking neurons // Connection Science. 2009. Vol. 5495. P. 42-51.

72. Gerstner W., van Hemmen J. L. Associative memory in a network of 'spiking' neurons // Network: Computation in Neural Systems. 1992. Vol. 3, no. 2. P. 139-164.

73. Lansner A., Fransen E. Modelling Hebbian cell assemblies comprised of cortical neurons // Network: Computation in Neural Systems. 1992. Vol. 3, no. 2. P. 105-119.

74. Fransen E., Lansner A. A model of cortical associative memory based on a horizontal network of connected columns // Network: Computation in Neural Systems. 1998. Vol. 9, no. 2. P. 235-264.

75. Llinas R. R. I of the vortex: from neurons to self. The MIT Press, 2002.

76. Abbott L. F. A network of oscillators // Journal of Physics A: Mathematical and General. 1990. Vol. 23, no. 16. P. 3835-3859.

77. Aoyagi T. Network of neural oscillators for retrieving phase information // Physical review letters. 1995. Vol. 74, no. 20. P. 4075-4078.

78. Hoppensteadt F. C., Izhikevich E. M. Synchronization of laser oscillators, associative memory, and optical neurocomputing // Physical Review E. 1999. Vol. 62, no. 3. P. 4010-4013.

79. Hoppensteadt F. С., Izhikevich E. M. Pattern recognition via synchronization in phase-locked loop neural networks // IEEE Transactions on Neural Networks. 2000. Vol. 11, no. 3. P. 734-738.

80. Yoshioka M., Shiino M. Associative memory storing an extensive number of patterns based on a network of oscillators with distributed natural frequencies in the presence of external white noise // Physical Review E. 2000. Vol. 61, no. 5. P. 4732-4744.

81. Nishikawa Т., Lai Y.-C., Hoppensteadt F. C. Capacity of Oscillatory Associative-Memory Networks with Error-Free Retrieval // Physical Review Letters. 2004. Vol. 92, no. 10. P. 108101.

82. Hebb D. The Organization of Behavior. John Wiley, 1949.

83. Плахов А.Ю., Фисун О.И. Осцилляторная модель нейронных сетей // Математическое моделирование. 1991. Т. 3, № 3. С. 48-54.

84. Aonishi Т. Phase transitions of an oscillator neural network with a standard Hebb learning rule // Physical Review E. 1998. Vol. 58, no. 4. P. 4865.

85. Nishikawa Т., Hoppensteadt F., Lai Y. Oscillatory associative memory network with perfect retrieval // Physica D: Nonlinear Phenomena. 2004. Vol. 197, no. 1-2. P. 134-148.

86. Kazantsev V., Pimashkin A. Forced phase-locked states and information retrieval in a two-layer network of oscillatory neurons with directional connectivity // Physical Review E. 2007. Vol. 76, no. 3. P. 031912.

87. Abeles M. Corticonics: Neural circuits of the cerebral cortex. Cambridge Univ Pr, 1991. ISBN: 0521376173.

88. Kandel E., Schwartz J., Jessell T. Principles of neural science. 2000. McGraw-Hill, New York, 2000.

89. Анохин П.К. Принципиальные вопросы общей теории функциональных систем // Принципы системной организации функций. М.: Наука. 1973. С. 5-61.

90. Edelman G. Neural Darwinism: selection and reentrant signaling in higher brain function // Neuron. 1993. Vol. 10, no. 2. P. 115-125.

91. Борисюк Г.Н., Борисюк P.M., Казанович Я.Б., Иваницкий Г.Р. Модели динамики нейронной активности при обработке информации мозгом—итоги "десятилетия-// Успехи физических наук. 2002. Vol. 172, по. 10. Р. 1189-1214.

92. Aertsen A., Diesmann М., Gewaltig М. Propagation of synchronous spiking activity in feedforward neural networks // Journal of Physiology-Paris. 1996. Vol. 90, no. 3-4. P. 243-247.

93. Diesmann M., Gewaltig M., Aertsen A. Stable propagation of synchronous spiking in cortical neural networks // Nature. 1999. Vol. 402, no. 6761. P. 529-533.

94. Durstewitz D., Seamans J., Sejnowski T. Neurocomputational models of working memory // nature neuroscience. 2000. Vol. 3. P. 1184-1191.

95. Mehring C., Hehl U., Kubo M. et al. Activity dynamics and propagation of synchronous spiking in locally connected random networks // Biological cybernetics. 2003. Vol. 88, no. 5. P. 395-408.

96. Ikegaya Y., Aaron G., Cossart R. et al. Synfire chains and cortical songs:temporal modules of cortical activity // Science. 2004. Vol. 304, no. 5670. P. 559-564.

97. Hayon G., Abeles M., Lehmann D. A model for representing the dynamics of a system of synfire chains // Journal of computational neuroscience. 2005. Vol. 18, no. 1. P. 41-53.

98. Chiappalone M., Novellino A., Vajda I. et al. Burst detection algorithms for the analysis of spatio-temporal patterns in cortical networks of neurons // Neurocomputing. 2005. Vol. 65. P. 653-662.

99. Schrader S., Gruen S., Diesmann M., Gerstein G. Detecting synfire chain activity using massively parallel spike train recording // Journal of neurophysiology. 2008. Vol. 100, no. 4. P. 2165-2176.

100. Shahaf G., Eytan D., Gal A. et al. Order-Based Representation in Random Networks of Cortical Neurons // PLoS Computational Biology. 2008. Vol. 4, no. 11. P. el000228.

101. Maccione A., Gandolfo M., Massobrio P. et al. A novel algorithm for precise identification of spikes in extracellularly recorded neuronal signals / / Journal of Neuroscience Methods. 2009. Vol. 177, no. 1. P. 241-249.

102. Pasquale V., Martinoia S., Chiappalone M. A self-adapting approach for the detection of bursts and network bursts in neuronal cultures // Journal of Computational Neuroscience. 2009. Vol. 29, no. 1-2. P. 213-229.

103. Nadasdy Z., Hirase H., Czurko A. et al. Replay and time compression of recurring spike sequences in the hippocampus // The Journal of neuroscience. 1999. Vol. 19, no. 21. P. 9497.

104. Izhikevich E. M., Edelman G. M. Large-scale model of mammalian thalamocortical systems // Proceedings of the National Academy of Sciences. 2008. Vol. 105, no. 9. P. 3593-3598.

105. Scorcioni R., Hamilton D., Ascoli G. Self-sustaining non-repetitive activity in a large scale neuronal-level model of the hippocampal circuit // BMC Neuroscience. 2008. Vol. 9, no. Suppl 1. P. P62.

106. Djurfeldt M., Lundqvist M., Johansson C. et al. Brain-scale simulation of the neocortex on the IBM Blue Gene/L supercomputer // IBM Journal of Research and Development. 2008. Vol. 52, no. 1/2. P. 31-41.

107. Corchs S., Deco G. Large-scale neural model for visual attention: integration of experimental single-cell and fMRI data // Cerebral Cortex. 2002. Vol. 12, no. 4. P. 339.

108. Markram H. The blue brain project // Nature Reviews Neuroscience. 2006. Vol. 7, no. 2. P. 153-160.

109. Официальный сайт проекта BlueBrain. URL: http://bluebrain.epfl.ch/.

110. Hines M., Carnevale N. The NEURON simulation environment // Neural computation. 1997. Vol. 9, no. 6. P. 1179-1209.

111. Kozloski J., Sfyrakis K., Hill S. et al. Identifying, tabulating, and analyzing contacts between branched neuron morphologies // IBM Journal of Research and Development. 2008. Vol. 52, no. 1.2. P. 43-55.

112. King J., Hines M., Hill S. et al. A component-based extension framework for large-scale parallel simulations in NEURON // Frontiers in Neuroinformat-ics. 2009. Vol. 3.

113. Thomas C. A. J., Springer P. A., Loeb G. E. et al. A miniature microelectrode array to monitor the bioelectric activity of cultured cells // Experimental cell research. 1972. Vol. 74, no. 1. P. 61-66.

114. Taketani M., Baudry M. Advances in network electrophysiology: using multi-electrode arrays. Springer, 2006. ISBN: 9780387258577.

115. Gross G. W., Azzazy H. M. E., Wu M. C. The use of neuronal networks on multielectrode arrays as biosensors // Biosensors and Bioelectronics. 1995. Vol. 10, no. 6-7. P. 553-567.

116. Maeda E., Robinson H. P., Kawana A. The mechanisms of generation and propagation of synchronized bursting in developing networks of cortical neurons // Journal of Neuroscience. 1995. Vol. 15. P. 6834-6845.

117. Jimbo Y., Tateno T., Robinson H. Simultaneous induction of pathway-specific potentiation and depression in networks of cortical neurons // Biophysical Journal. 1999. Vol. 76. P. 670-678.

118. Jimbo Y., Kawana A., Parodi P., Torre V. The dynamics of a neuronal culture of dissociated cortical neurons of neonatal rats / / Biological Cybernetics. 2000. Vol. 83. P. 1-20.

119. DeMarse T., Wagenaar D., Blau A., Potter S. The neurally controlled animat: biological brains acting with simulated bodies // Autonomous Robots. 2001. Vol. 11, no. 3. P. 305-310.

120. Shahaf G., Marom S. Learning in networks of corical cultures // The Journal of Neuroscience. 2001. Vol. 21, no. 22. P. 8782-8788.

121. Marom S., Shahaf G. Development, learning and memory in large randomnetworks of cortical neurons: lessons beyond anatomy // Quarterly Reviews of Biophysics. 2002. Vol. 35, no. 01. P. 63-87.

122. Wagenaar D., Potter S. Real-time multi-channel stimulus artifact suppression by local curve fitting // Journal of neuroscience methods. 2002. Vol. 120, no. 2. P. 113-120.

123. Eytan D., Brenner N., Marom S. Selective adaptation in networks of cortical neurons // The Journal of neuroscience. 2003. Vol. 23, no. 28. P. 9349.

124. Jimbo Y., Kasai N., Torimitsu K. et al. A system for MEA-based multisite stimulation // Biomedical Engineering, IEEE Transactions on. 2003. Vol. 50, no. 2. P. 241-248.

125. Wagenaar D., Pine J., Potter S. Effective parameters for stimulation of dissociated cultures using multi-electrode arrays // Journal of neuroscience methods. 2004. Vol. 138, no. 1-2. P. 27-37.

126. Chao Z., Bakkum D., Wagenaar D., Potter S. Effects of random external background stimulation on network synaptic stability after tetanization // Neuroinformatics. 2005. Vol. 3, no. 3. P. 263-280.

127. Wagenaar D., Madhavan R., Pine J., Potter S. Controlling bursting in cortical cultures with closed-loop multi-electrode stimulation // The Journal of neuroscience. 2005. Vol. 25, no. 3. P. 680.

128. Wagenaar D., DeMarse T., Potter S. MEABench: A toolset for multi-electrode data acquisition and on-line analysis // Neural Engineering, 2005. Conference Proceedings. 2nd International IEEE EMBS Conference on / IEEE. 2005. P. 518-521.

129. Chiappalone M., Bove M., Vato A. et al. Dissociated cortical networks show spontaneously correlated activity patterns during in vitro development // Brain research. 2006. Vol. 1093, no. 1. P. 41-53.

130. Eytan D., Marom S. Dynamics and Effective Topology Underlying Synchronization in Networks of Cortical Neurons // Journal of Neurophysiology. 2006. Vol. 97, no. 4. P. 2937-2948.

131. Potter S., Wagenaar D., DeMarse T. Closing the loop: stimulation feedback systems for embodied MEA cultures // Advances in Network Electrophysi-ology. 2006. P. 215-242.

132. Wagenaar D., Pine J., Potter S. An extremely rich repertoire of bursting patterns during the development of cortical cultures // BMC neuroscience. 2006. Vol. 7, no. 1. P. 11.

133. Wagenaar D., Nadasdy Z., Potter S. Persistent dynamic attractors in activity patterns of cultured neuronal networks // Physical Review E. 2006. Vol. 73, no. 5. P. 051907-051908.

134. Wagenaar D., Pine J., Potter S. Searching for plasticity in dissociated cortical cultures on multi-electrode arrays // Journal of negative results in biomedicine. 2006. Vol. 5, no. 1. P. 16.

135. Li Y., Zhou W., Li X. et al. Characterization of synchronized bursts in cultured hippocampal neuronal networks with learning training on micro-electrode arrays // Biosensors and Bioelectronics. 2007. Vol. 22, no. 12. P. 2976-2982.

136. Le Feber J., Stegenga J., Rutten W. The Effect of Slow Electrical Stimuli to Achieve Learning in Cultured Networks of Rat Cortical Neurons // PloS one. 2010. Vol. 5, no. 1. P. e8871.

137. DeMarse T., Dockendorf K. Adaptive flight control with living neuronal networks on microelectrode arrays // Neural Networks, 2005. IJCNN'05. Proceedings. 2005 IEEE International Joint Conference on / IEEE. Vol. 3. 2005. P. 1548-1551.

138. Reger B., Fleming K., Sanguineti V. et al. Connecting brains to robots: an artificial body for studying the computational properties of neural tissues // Artificial life. 2000. Vol. 6, no. 4. P. 307-324.

139. Bakkum D., Gamblen P., Ben-Ary G. et al. MEART: the semi-living artist // Frontiers in neurorobotics. 2007. Vol. 1.

140. Ben-Jacob E., Hanein Y. Carbon nanotube micro-electrodes for neuronal interfacing // Journal of Materials Chemistry. 2008. Vol. 18, no. 43. P. 5181-5186.

141. Maccione A., Gandolfo M., Tedesco M. et al. Experimental investigation on spontaneously active hippocampal cultures recorded by means of high-density MEAs: analysis of the spatial resolution effects // Frontiers in Neuroengineering. 2010. Vol. 3.

142. Gritsun T., Le Feber J., Stegenga J., Rutten W. Network bursts in cortical cultures are best simulated using pacemaker neurons and adaptive synapses // Biological cybernetics. 2010. Vol. 102, no. 4. P. 293-310.

143. Bak P., Bak P. How nature works: the science of self-organized criticality. Copernicus New York:, 1996. Vol. 212.

144. Bak P., Tang C., Wiesenfeld K. Self-organized criticality // Physical review A. 1988. Vol. 38, no. 1. P. 364-374.

145. Chialvo R. et al. Critical brain networks // Physica A: Statistical Mechanics and its Applications. 2004. Vol. 340, no. 4. P. 756-765.

146. Beggs J., Plenz D. Neuronal avalanches in neocortical circuits // Journal of Neuroscience. 2003. Vol. 23, no. 35. P. 11167.

147. Beggs J., Plenz D. Neuronal avalanches are diverse and precise activity patterns that are stable for many hours in cortical slice cultures // Journal of neuroscience. 2004. Vol. 24, no. 22. P., 5216.

148. Pasquale V., Massobrio P., Bologna L. et al. Self-organization and neuronal avalanches in networks of dissociated cortical neurons // Neuroscience. 2008. Vol. 153, no. 4. P. 1354-1369.

149. Hahn G., Petermann T., Havenith M. et al. Neuronal avalanches in spontaneous activity in vivo // Journal of neurophysiology. 2010. Vol. 104, no. 6. P. 3312.

150. Shew W., Yang H., Yu S. et al. Information capacity and transmission are maximized in balanced cortical networks with neuronal avalanches // The Journal of Neuroscience. 2011. Vol. 31, no. 1. P. 55-63.

151. Corral A., Perez C., Diaz-Guilera A., Arenas A. Self-organized criticality and synchronization in a lattice model of integrate-and-fire oscillators // Physical review letters. 1995. Vol. 74, no. 1. P. 118-121.

152. Hsu D., Beggs J. Neuronal avalanches and criticality: A dynamical model for homeostasis // Neurocomputing. 2006. Vol. 69, no. 10-12. P. 1134-1136.

153. Abbott L., Rohrkemper R. A simple growth model constructs critical avalanche networks // Progress in brain research. 2007. Vol. 165. P. 13-19.

154. Gewaltig M., Diesmann M. NEST (neural simulation tool) // Scholarpedia. 2007. Vol. 2, no. 4. P. 1430.

155. Рубин, А.Б. Биофизика: в 2-х т. 1999. Т. 2000.

156. Павлов И.П. Полное собрание сочинений. 1951. Т. 2.

157. Александров Ю.И. Психофизиология: Учебник для вузов/-СПб. Питер, 2007.

158. Симонов А.Ю., Пимашкин А.С., Казанцев В.Б. Формирование кластерной ассоциативной памяти в трёхслойной сети фазовых осцилляторов // Биофизика. 2010. Т. 55, № 2. С. 317-325.

159. Публикации автора по теме диссертации

160. Публикации в журналах из списка периодических изданий рекомендованных ВАК

161. Симонов А.Ю., Пимашкин A.C., Казанцев В.Б. Формирование кластерной ассоциативной памяти в трёхслойной сети фазовых осцилляторов. // Биофизика, 2010. Том 55(2). - С. 317-325.

162. Симонов А.Ю., Миронов В.И., Мухина И.В., Казанцев В.Б. Математические модели нейросетевой активности с внеклеточным отведением потенциала. // Вестник Нижегородского госуниверситета им. Н.И. Лобачевского, 2010. Том 2(2). - С. 585-590.

163. Симонов А.Ю., Казанцев В.Б. Модель возникновения лавинообразных биоэлектрических разрядов в нейронных сетях мозга. // Письма в ЖЭТФ, 2011. Том 93(8). - С. 516-521.

164. Публикации других изданиях

165. Труды конференций и симпозиумов

166. Симонов А.Ю. Формирование оптимальных наборов паттернов импульсной активности в двухслойных сетях нейронных осцилляторов. // Тезисы докладов 13-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2008. — С. 175.

167. Симонов А.Ю. Пространственно-временные паттерны нейронной активности в сетях с аксональными задержками. // Труды XII Научной Конференции по Радиофизике. — Нижний Новгород: 2008. — С. 91.

168. Simonov A.Yu. Spike-timing patterns in networks of synaptically coupled neurons with axonal conduction delays. // Proceedings of the XII Scientific Conference on Radiophysics. — Nizhny Novgorod: 2008. — P. 324.

169. Симонов А.Ю. Генерация самовоспроизводящихся паттернов нейронной активности в моделях сетей с аксональными задержками. // Тезисы докладов 14-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2009. — С. 146.

170. Симонов А.Ю. Трёхслойная архитектура сети фазовых осцилляторов для задач распознавания информации. // Труды XIII Научной Конференции по Радиофизике. — Нижний Новгород: 2009. — С. 75.

171. Simonov A.Yu. Multielectrode extracellular registration of neuronal network activity in the model with axonal conduction delays. // Proceedings of the

172. XII Scientific Conference on Radiophysics. — Nizhny Novgorod: 2009. — P. 324.

173. Karabasov I.N., Biktimirova M.Z., Simonov A.Yu., Gribkov A.L., Mukhina I.V., Semyanov A.V. Action potential threshold measuring with patch-clamp technique. // Proceedings of the XII Scientific Conference on Radiophysics.

174. Nizhny Novgorod: 2009. P. 264.

175. Симонов А.Ю. Внеклеточное отведение потенциала в модели диссоциированных нейрональных культур. // Тезисы докладов 15-й Нижегородской Сессии Молодых Учёных. Естественнонаучные дисциплины. — Нижний Новгород: 2010. — С. 104.

176. Нижний Новгород: 2010. — С. 153.

177. Симонов А.Ю. Диссоциированные нейрональные культуры. Математические модели с внеклеточным отведением. // Труды III Всероссийского с международным участием конгресса студентов и аспирантов-биологов "Симбиоз-Россия 2010". Нижний Новгород: 2010. - С. 188.

178. Симонов А.Ю., Мухина И.В., Казанцев В.Б. Внеклеточная регистрация нейросетевой активности в моделях диссоциированных культур. // Труды XIV Научной Конференции по Радиофизике. — Нижний Новгород: 2010. С. 115.

179. Кастальский И.А., Симонов А.Ю., Казанцев В.Б. Исследование режимов захвата фазы в сетях нейронных осцилляторов для реализации ассоциативной памяти. // Труды XIV Научной Конференции по Радиофизике. — Нижний Новгород: 2010. — С. 94.

180. Симонов А.Ю., Казанцев В.Б. Генерация сетевых бёрстов в модели диссоциированных нейрональных культур. // Труды IX Международной школы "Хаотические автоколебания и образование структур". — Саратов: 2010. С. 74.