Вероятностные характеристики кодонного преобразования информации в коре мозжечка тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

МОСКОВСКИЙ ФИЗИКО-ТЕШШЗШ инотшт.

На правах рукописи

Сиурлитсхая Ирина Аркадьевна

ВЕРОЯТНОСТШЕ ХАРАКТЕРИСТИКИ КОДОННОГО ПРЕОБРАЗОВАНИЯ ИНФОРМАЦИИ В КОРЕ МОЗОТХА

специальность 01.01.09 - математическая кибернетика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата фазико-математичесюа наук

Г 5 ОД

Иасхва 1534

Работа выполнена на хафэдре твердотельной электрона« в радиофизики Ыосховохого физико-тсхиического института.

Научный руководитель;

доктор физико-^атематичаскит наук В.Л. Дунин-Барковокий Офщиалъкие оппонента:

доктор физико-математических наук В.В. Омолянинов кандидат физико-математичеоких наук А.А.Ежов

Ведущее учреадеиие:

Институт математических проблем биологии РАН

Защита соотоитоя " ^ " ^еи^Г/^Л Шт. в 12 часов на заседании специализированного совэта К - 063.91.03 при Факультете управления и прикладной математики Московского Сизико-техничэского института.

С диссертацией можно ознакомиться в библиотеке Института.

Автореферат разослан г.

Ученый секретарь специализированного совета доктор физико-математических наук

А. И. Самшгавский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Особое место в создании нового поколения вычислительных систем занимает разработка устройств, получивших в последние годы название нейрокомпьютеры. Нейрокомпьютеры отличает от традиционных ЭВМ существенно большая близость к биологическим системам обработки информации. На Функциональном уровне - это обучение на примерах. На структурном - т.н. массированно-параллельные вычисления, когда входной сигнал поступает одновременно на множество элементов, а в процессе его обработки также участвует множество элементов.

Исторически первая и, по распространенному мнению, наиболее продвинутая модель конкретного отдела мозга - модель коры мозжечка Марра-Олбуся. Модель связала постулщюванную ранее функцию мозжечка - запоминание моторных программ - с функциями его отдельных нейронов, и инициировала постановку целого ряда нейрофизиологических экспериментов. Эксперименты показали, что основы теории имеют отношение к реальности и вместе с тем поставили перед теорией новые задачи. В русле этих задач и выполяется настоящее исследование.

Структура мозжечка идеально соответствует классическому представлению о персептроне. Входная информация поступает сюда по двум типам волокон: мшистым, приходящим на пороговые сумматоры - зернистые клетки мозжечка, и лианным, поступающим непосредственно на выходные нейроны коры мозжечка - клетки Пуркинье. Настоящее исследование посвящено свойствам преобразования информации в звене мшистые волокна - зернистые клетки, которое следуя Д.Марру мы называем колонным преобразованием мозжечка.,

Интерес к кодонному преобразованию впервые возник в связи с оценкой информационной емкости коры мозжечка (Марр,1969). Понятие информационной емкости нейронной сети впосладствиэ било уточнено в

~ г -

ряде работ (Дунин-БарковскиЯ,1978,Palm,1Э81.Фролов,Муравьев,IS88,). Однько, вместо исследования кодокного преобразования и влияния матрицы связей машстых волокон с зернистыми клетками на информационную емкость, было сделано упрощающее предположение о случайном выборе соотватстьия между активностью мшистых волокон и зернистых клеток, т.н. псевдскодировании.

II"ль ü задачи исследования. Целью датой работы являлось исследований кодонного преобразования кори мозжечка и его влияния на информационные характеристики модели коры мозжечка. Для осуществления поставленной цели сформулированы следующие задачи:

1. Найти вероятностные характеристики кодонного преобразования коры мозжечка для различных типов матриц связей.

?. ИсслеДоьзть влияние типа матрицы связей на информационную емкость модели коры мозжечка.

3. Исследовать проблему ложных событий и оценить их количество.

4. Исследовать возможные механизмы реализации случайных соединений в кейроподооних структурах.

Основные положения . вчкпсимке на защиту.

i .Математическое ожидание уровня активности зернистых клеток коры моз&ечка но зависит, а дисперсия зависит от матрицы связей маистых волокон с зернистыми клетками, при условии, что число нейронов и входных волокон, пороги нейронов, число и веса связей нейронов фиксированы.

2.Информационная емкость "локально случайной" сети меньше информационной eviKocTH "полностью случайной" сети и стремится -к ней при увеличении даамэтра области первмешаняости.

3.Число ложных событий-химер больше числа ложных событий ассоциативного типа. При увеличении числа зернистых клеток и постоянном числе í/шиотых волокон, число ложных событий обоих типов стремится к нулю.

4.Скорость формирования случайных соединений, основанного на использовании случайных блужданий, пропорциональна ION, где К -число соединяемых элементов. Применение предложенного в работе способа получения случайных соединений имеет смысл лишь для достижения

локальной случайности.

Научная новизна работы. В данной работе впервые получены аналитические оценки вероятностных характеристах кодонного преобрчзо-зовакия информации в коре мозжечка. Получены оценки момонтов ьипч-иенного влияния входного события на клетку Пуркинье для различных классов сетей и оценки информационной емкости для практически важного класса локально случайных сетей. Дина классификация ложных событий по степени их сходства с совокупностью записанных событий; получены аналитические оцеша: количества лохккх событий резных тилоь. Оценена скорость формирования случайных соединения по методу броуновской литогрчфии.

Практическая значимость работы. Определение характеристик ко-донного преобразования позволяет уточнить' оценки информационной емкости модели коры мозжечка и в потенциале использовать их для верификации модели путем сопоставления с требованиями нч информационную емкость которые могут быть полусны из оценки (ллочсюсги двигачель-ных задач выполняемых при участии мозкечкя. Ограничения, накладываемые моделью на параметры реальных структур, такие как количество и веса связей нейронов, количество одновременно активных элементов и др., также позволят верифицировать модель.

Двуслойная структура преобразования активности входных волокон в активность выходных пороговых сумматоров является базовой для многих нейронных сетей, используемых ь прикладных целях. Поэтому детальные оценки параметров этой структуры могут быть полезны для решения конкретных задач распознавания образов.

Проблема наличия ложных событий в коре мозжечка аналогична соответствующей проблеме для сетей ассоциативной распределедаой памяти . Сопоставление полученных а работе оценок с оценками для ассоциативных сетей может быть полезно для исследования последних.

АггроЗания работы. Материалы, изложенные в диссертации, неоднократно докладывались и обсуждались как специально па заседаниях лабораторных и меклабораторпых семинаров в КППИ РАН, ШНД и Ш РАК,на конференциях колодах учет« ИВНИ и НФ РАН, на VI Украинской Республиканской кокфоронции по б»юняке (Ужгород, 1981)» на II и ГП Рабочих совещаниях ,"Модэл;фоьчние и методы анализа биоэлектрической ак-

тивности головного мозга" (Пущкно,1984,1988), на IV Школе-семинаре по взаимодействующем марковским процессам в биологии (Пущино.1984), на совещании "Архитектура нейрокомпьютеров" (Пущино,1Э88), на науч-чной сессии Отделения информатики, вычислительной техники и автоматизации АН СССР по теме "Информатика, физика и электроника нейронных и нейроподобных систем" (Ростов-на-Дону,1990), на международном симпозиуме "1992 Шй/ТЕЕЕ Зутлроз1ит оп Кеиго1пГогшаИсз апй КеигосотрШегэ (Ростов-на-Дону, 1992) так и совместно с другими данными в обзорных 'докладах^ посвященных результатам моделирования коры мозжечка на всесоюзных и международных семинарах и конференциях.

Структура и обьем диссертации■ Диссертация состоит из введения, обзора литературы, описания модели, где, кроме используемых обозначений, дана также классификация типов случайных сетей, трех глав, обсуждения результатов, заключения, двух Приложений и списка литературы. Работа изложена ка 112 стр. машинописного текста, содержит 15 рисунков и 8 таблиц. Список литературы включает 100 работ, из них 37 на русском языке.

Основные положения диссертации изложены в 8 публосяциях.

1 . ВЕРОЯТНОСТНЫЕ ХАРАКТЕРИСТИКИ КОДОШЮГО ПРЕОБРАЗОВАНИЯ

Имеется два различающихся входа в кору мозжечка. Первый это совокупность мшистых волокон. По мшистым волокнам входной сигнал поступает на зернистые клетки, которые через модифицируемые возбуждающие синапсы передают сигнал на клетку Пуркинье. Второй вход В систему, - лианное волокно, одно на каждую клетку Цуринье. Шшстыэ волокна обеспечивают мониторинг сенсорной информации, а редкие разряда лианного волокна связаны, с неожиданными или несвоевременными событиями. Сигнал лианного волокна всегда возбуждает клетку Пурки-нье, влияние же отдельной зернистой клетки незначительно. Больное количество экспериментальных данных подтверждают предположение о том, что лианное волокно играет роль учителя, определяющего в конечном счете силу влияния (веса связей) зернистых ¡снеток на клетку Пуркинье, и тем самым обучающего клетку ""предвидеть" неожиданные ситуации.

В исследуемой модели состояния всех возбудимых элементов (ней-

ронов и волокон) считаются дискретными ("О" ,"1"). В режиме запоми->

нания входной сигнал, приходящий на мшстые волокна а^,... со-

0

провождается активностью лианного волокна. При этом синапсы, даваемые на клетке Пуркинье, теми из зернистых клеток в,, -.. которые возбудились, модифицируются, изменяя свой вес со значения в необученном состоянии он на значение в обученном состоянии оо0. В режима воспроизведения сигнал по лианному волокну не поступает, синапсы но модифицируются, и ответ метки Пуркинье определяется суммой влияний ни иоо зернистых клеток . Входным событием % мы называем вектор состояния входных волокон, его размером - число единичных компонент лектора. Рассматриваются входные события одинакового размера Ь0 с равновероятным распределением

Связи между мшистыми волокнами и зернистыми клетками считаются случайными, т.е. матрица связей В мшистых волокон с зернистыми клетками есть В = В'(здесь и далее индексом С помечены случайные величины связанные с выбором матрица связей).

Случайное входное событие 5 размера ^вызовет возбуждение зернистых клеток. Будем называть Ь^(£) размером события на зернистых клетках или уровнем активности зернистых клеток.

Вероятностные характеристики сетей найдем усреднением по следующим ансамблям:

т.н. полностью случайные сети,- те, матрица связей которых

В = В<?> = {Ъ.^), 1=1, ¿=1.....N. Ь^ « {0,1}

формируется следующим образом:

для каждого нейрона g.j с вероятностью 1/[ц0] выбирается набор из С

мшистых волокон а. ,...связанных с ним, а элемпнтам 1 о

Ь- -.,...,Ь. матрицы присваивается значение I - сети типа I;

и сети типа II, отличающиеся от вышеописанных тем, что связи нейронов формируются как выборка без возвращения. Т.е, в сети типа II не содержится зернистых клеток-двойников (имеющих одинаковый набор входных волокон).

Третий тип сетей - т.н. локально случайные сети - промежуточный между детерминированными и полностью случайными сетями. (Дунин-Варковский,198б). Матрица связей сетей этого типа имеет ленточный

вид, т.е. единицы содержатся только вблизи диагонали, в полосе, имеющей по оси I ширину d.Величину d мы называем диаметром области ггеремешонности. Связи нейронов сети типа III с мшистыми волокнами формируются как выборка с возвращением с вероятностью

I/t($)+(Na-d)($^)] из множества наборов волокон ,....а^ таких,

1 о

что max (i......i„>-mln (i......i ) + I s й

10 1 о

Зафиксируем некоторую произвольную матрицу В^. Найдем математическое ожидание .уровня активности зернистых клеток M^Ct).

MCLC(£) = I Ьс(£) Р. - I £ <|>j(t) Р5 = I ? «MO/(J>) i £ j=i J«i £ 0

Г 1, если gj = 1 для события £

где <J>j(E) о, если g. = 1 для события £ J

(здесь одной и той же буквой £ обозначен нейрон и его состояние).

Сумма по £ есть вероятность возбуждения зернистой клетки и зависит не от связей нейрона ву- а от параметров С и И (й-постоянный для всех зернистых клеток порог). Таким образом

мс¥е) 4 У =мь (1)

независимо от структуры матрицы связей.

Обозначим дисперсию уровня активности сети с матрицей В1'■'как Б^Ь^(£) и найдем среднее для каждого типа сетей значение' этой

величины.

М БСЬС(£) = £ ВСЬС(£) Рс= I Рс£ < (£)-ЫЬ)гР£

здесь Р^ - вероятность выбора матрицы .

Нетрудно показать, что для сетей типа I средняя дисперсия есть

М1 = МЬ <1-МЬ/Ю « Н,Ш. (2)

а для сетей типа II НИ1)СЬС(£) = МЬ (1-КШ) а-Ш-1)/г[ -ш = МгОЬ (3)

Интересно отметить, что постоянство среднего уровня активности и различие его дисперсии для сетей с разной структурой связей совпадает с результатами А.Н.Четаева. Среди сетей иного типа, чем рассматриваемые в настоящей работе, - состоящих из возбудимых элементов с обратными связями, А.Н.Четаев выделил класс так называемых локально-однородных сетей, т.е. таких, в которых от каждого нейрона исходит и к каждому нейрону приходит одинаковое число связей и набор связей по весам одинаков. В локально-однородных сетях средний уровень активности одинаков, а дисперсия уровня активности зависит от геометрии связей.

Для приложений важно знать насколько оценки типа (2) или (3) для конкретной реализации матрицы связей. С этой целью нами было найдено точное выражение .для дисперсии дисперсии уровня активности

по ансамблю сетей тала II Б11^!.^) Г43:

впосьс(?)

= (МгВЬ + щ, - ньу

С(£о)-1) ци +1н£в).41п(н-г) [ф))-21 1<*о)-31«М) N

-1 } +

+ 4

(ФЬ2 ) (1-

N - 2

N-2

( О ) ( N 0

■10

- I г,<1> щ2(1> 1 = 0. г

(4)

здесь

г2(1)

1/2 ( н.)( ^Х^)

па> ' г < Ь'.Ъ г г г ( '^н^к1^)

КгК ^ л V У 1 * 3

о

К0=шах {й,2К+-1-зС>,

К,КА к,.к2* К.

К, .к,г Р..

К,.Кг.К5=К

(5)

(6)

{

При н=о.

< 80г/(Ь/Н0)г° г(М3БЬ)г Т.О. при Н ->

относительное отклонение дисперсии стремится к нулю, что свидетель-, ствует о том что найденные здесь оценки (2) и (3) могут быть использованы для оценки параметров конкретных схем.

Для значений параметров, близких к данным по мозжечку кошки С - 5, 1„/И„ «1/2, N « 10гЛ„ величина Г» Щ./(М,Ш,)-

0 0 О 2 . 4 2

принимает следующие значения

Таблица I

»0 н

1 2 3 4 5

103 0.40М0"' 0.52 *10~3 0.99" 10-3 0.52'10"э 0.52 10""

ю4 0.52-10"® О-бЗ-Ю"" 0.99*10"4 О.БЗМО*"" 0.52-10"®

Из (2) и (3) следует что для N0=103, N»10', ЬоЛ}о=1/2, С=Н«5.

(М^Ь - - Ю"7 (7)

Сопоставляя (7) и данные таблицы I видим, что (2) и (3) практически совпадают-. Это означает что при данном соотношении П0, с, N в сети типа I практически не содержится клеток-двойников и достаточно рассматривать сети лишь одного типа.

Локально случайные сети содержат существенно больше клеток-двойников (при <1=10 в среднем всего лишь 45% зернистых клеток имеют различающиеся входа). Для этого типа сетей в настоящей работе была нзйдена средняя дисперсия, уровня активности зернистых клеток

ттт И*1 ГН>И!-И го

М11-1Б,ЬГ(5) - -- Е Г (1) ш(Х)—МЬ =М БЬ (8)

^ * о' Ы' 1=0.1 3 3

I

едесь т(1) задается выражением (б). К'- + (Н0-и> а

алгоритм вычисления г} (1) приведен в приложении I к диссертации.

Численные значения были получены для 1?0«-103, Ьо«500, С»Н=5; & варьировали от 5 до 15 Показано, что в этом диапазоне М3В1 отличается от М^Ь или М^Ь.в десятки раз.

2. ИНФОРМАЦИОННЫЕ СВОЙСТВА МОДЕЛИ КОРЫ МОЗЖЕЧКА

В режиме запоминания на вход сети последовательно подается п случайных событий размера 1>0. В процессе считывания на вход поступают произвольные события того же размера. Невыученные события, вызвавшие ответ клетки Пуркинье называют ложными событиями, а вероятность ответа - вероятностью ложной памяти.

' Информационен емкость сети следующим образом выражается через вероятности пропуска выученного события р^ и ложной памяти рл п (Dunin-Barkowski, Larlonova, 1985)

I = n Ц1-Рпр) log — + Pnplog, - H(Pnp)3 (9)

В свою очередь эта вероятности зависят от правила срабатывания клетки Пуркинье. Мы считаем клетку Пуркинье простым пороговым сумматором, т.е. ее состояние П есть

п = sS(°o6 Lo6 + ~h) где Ьой - число возбужденных зернистых клеток с обученным синапсами; - число возбужденных зернистых клеток с необученными синапсами; h - порог клетки Пуркинье. В этом случав р^ это вероятность подпорогового возбуждения клетки Пуркинье. Ее оценивают исходя из найденных выше моментов (1) и (2). Вероятность ложной памяти определяется распределением взроятностей величина X = оойЪой + о^ - взвешенного влияния входного события на клетку Пуркинье.

Нами получено что математическое озшданвд величины X равно

= oo6(i-p0)?ib + он р0НЬ = MX , (10)

независимо от структуры связей сети.

Здесь ро - вероятность необучанкости синапса зернистой клетки

Ро= '<ь0»»п (11>

Среднее по епсевдЗлю сетей I типа математическое олядание дисперсии величина X есть

ЙЬгр' > +

> 1 II-1 Нг-Н г О „

а30Л аь р (1+ -Tj—).г т. r (i)p (i)ra(i)/(lo)

00 1 ({jo) Сз)' 1:5м! м ЪВ

+ о» { ML pe(1+ ~ е°г(1)р00(1)ш(1)/а) . mljpj ) ♦

(q0) С 1=0'' 0

+ 2он°об { . еЧ(1)(1-р1гр00)ш(1>/(^) - PlPoMLJ )

(°0) 1=0М ° . 02)

Для сетей II типа

нМ'х . '

» » К -N jC

°0ö{ мьр, ' 2(ио)Мн») ls§t^(1>Pii(l)m(1)/lb;> • "b'Pi 5 +

о 0

Ns-N зС vr . .

+ ° V 2 . t г2(1)роо(1)т(1)/(«о) - VL'Tl ) +

IqO) 1 = 04 о

N3-N го v ,

+ 2aH°0ö ЬПГЖ, . I ^ШО-р^-р^тШ/^о) - р1р0ш.г } (po) ~u0) 1:04 о

0 0 (13)

В обоих случаях гг(1) и т(1) задаются выражениями (5) и (6), а р00

рп, и р, равны

р,,= 1 + t1- 2кУь°0-к>Ф /ф) т<1>'Фо>1П - 2 Ро

P, - 1- Р0

. Выражение для среднего по ансамблю сетей III типа математического ожидания дасперсин величины X отличается от выражения (12) для сетей I типа зашной (до) на _ М'= (£) + (I,*0-d) (qI|). Кроме того гг(1) не задается вцрахеЕием (б), а вычисляется также как и при нахождении M3DL. .

Найденные первый й второй моменты распределения величины X позволяют получать оценки для РЛЛ1-

ИиЬошашонная еикость локально случайной сети. В качестве примера оценивалась информационная ежость локально случайной сети

для П0=1ООО, 1^=500. с»5, Н=5, б<й<1б, и соотношений параметров

°н/0об = -Н' *об= ♦ нГ (14)

Число записанных событий п выбиралось из условия максимума информационной ёмкости, которое достигается когда среднее число модифицированных синапсов составляет половину всех имеющихся. В нашем случае п = 22. Как описано выше, вычисляем МЪ, М^ВЬ, МХ, М^^'^'х. Теперь, допустив что распределения вероятностей величин Ь и X можно считать нормальными с найденными средними ь дисперсиями, вычисляем ^пр' Рлп и* согласно (9), значения информационной емкости.

В таблице 2 представлены значения эффективности хранения информации Е (информационной емкости,приходящейся на один запоминающий элемент - синапс зернистой клетки).

Таблица 2

Я й

"наихудшая сеть" 6 8 10 12 14 16 1000

о 2" 10^ 0.0056 0.016 0.026 0.036 0.044 0.050 0.058 0.266

10* 0.0011 0.003 0.006 0.008 0.010 0.012 0.014 0.132

В левом столбце - значения Е для специально сконструированной "наихудшей сети". Эта сеть содержит Нц/С зернистых клеток с различающимися входами, так что каядое мшистое волокно связано с какой-нибудь клеткой. Остальные Н-И /0 зернистых клеток являются двойниками (Вш1п-В&г'ло'«эк1, Ьаг1опоуа, 1985). Значения для с1 =1000 соответствуют сети типа I. Соотношения весов синапсов до модификации и после и порог клетки Пуркинье ео всех случаях одинаковы.

Сравнение локально случайной сети, полностью случайной и "наихудшей сети" показывает, что локально случайная сеть, содержащая 10' нейронов при й = 16, хранит в 9,5 раза меньше бит/синапс, чем полностью случайная и в 12,6 раз больше, чем "наихудшая"; а сеть, содержащая 2 104 нейронов, хранит в 4,8 раз меньше бит/синапс, чэм полностью случайная, и в 10,3 раз больше, чем "наихудшая сеть".

3. КЛАССИФИКАЦИЯ ЛОЖНЫХ СОБЫТИЙ И ОЦЕНКА ИХ КОЛИЧЕСТВА.

Выше все ответы на незаписанные события считались ответамии на ложные события. С точки зрения возможных приложений естественно все ложные события разделить на два класса.

К первому отнесем события, близкие к одному из записанных -ложные события ассоциативного типа. Ко второму - события, состоящие из кусков различных записанных событий. Это т.н. события-химеры. Введем следующие определения. Определение I

Пусть в процессе записи нв вход сети В'^-'поступили события £,...,£п. Событие 7) не совпадающее с 1=1,...,п считается ложным событием ассоциативного типа, если найдется такое £_.,;) * [1,п], что при записи на сеть только одного события £.. событие т)

будет ложным событием. Определение 2

Ложным событием-химерой называется ложное событие ш являюцее-ся лощеным событием ассоциативного типа.

Оценим число ответов на ложные события обоих, классов.

При п=1 будут, очевидно, только ложные события ассоциативного типа. Обозначим п - число ложных событий. Найдем среднее по ансамблю сетей I значение Мпл

Ып,. = Г РГЕ Р;: Е ФЛЕЛ)> Л С СЕ М'Е

Г I, если т] ложное собатиэ при записанном £_ здесь ф^(5,т}> = (о, в противном случае

Мпд - Е Е Р£ Е ФС(Е.Т|) = Е Е Р^(£,т)) •П С £'т? С

здесь учтено, что выражение под знаком суммы по т| одинаково для всех г/, а Обозначил Е = РгСС:

Эта вероятность зависит от р(£,т;) - расстояния кежду | н т). Обозначая р(£,г}) = К, перейдем к суюирозахг.гл по К:

к 0

где р^ это условная вероятность

рк определяется правилами срабатывания клетки Пуркинье. Для правила (14)

(»,).М- н N ь. ф,)-Ь „ л = Г-] ЕГ-1Г-] ф (16)

О

здесь Ь = г ( Ь) ( ро'^о).

1=й 1 01 (17)

X' = Е ( Е ( 5 > Е ( 5 к°"к -к >

К0 Ко К, К1 К} г 0 КГКг Ко

где К0» СтахСо, гй-С.Н-Ю.С] К,« (тахСо,Н-К0),т1п{0-й,0-К0,К)) ГтахСо.й-К,,), га1п{Н.О-К, -К0 ))

Были вычислены значения рк.для К0=Ю3, Ь0=5СЮ, С=И=5 и зависимости среднего числа ложных событий от К. Суммированием по К найдено общее число ложных событий ассоциативного типа при п=1.

Для нахождения среднего числа событий-химер ищем среднее число всех ложных событий при числе записанных п >1.

«Ьл-^С ........ *4>с(£1.....«п'Ч)

С 5,.....?п Ч'«,.....5П

здесь .....еп.т)) определяется аналогично случаю п»1. Преобразуя это выражение аналогично случаю п=1, получаем

Ипл - (£о) !?№•) Р.. (18)

о Ь'

здесь

(»о>-М,' „ H ь, (Н,)-Ь .н.р

[u iB г JJ -tir v nï

-1 Kl-1 I-1

a, в е-личие от случая n=I, I,' не имеет простого вида (16). Таким образом (18) это математическое ожидание функции P(L') с распределением Р^,. Зависимость P(L*) вычислена выше для п-1. Для

такой функции справедливо соотношение И? (I/) г Подставляя

значение Ь'=Ь/2, даицее оптимальные информационные характеристики, в найденную выше для Н =Ю3, Ь0=500, С=й=5 зависимость ?(!'). получаем нижнюю грашцу общего числа ложных событий. Чтобы найти границу для числа событий-химер, учтем что среднее число ложных событий ассоциативного типа при п >1 не превышает п Мпд, где Мпл вычислено для п=1. Таким образом получабм следующие границы.

Таблица 3

N 20000 30000 ■ 40000

верхняя граница числа ложных событий ассоциативного типа л 0.3 10 0.6 10* 0.3 10*

нижняя граница числа ложных событий-химер 1 1 9 10 га 10 0

Получено, что при записи 22 событий схема размера' N=--20000 ответит не более чем на З'Ю30 событий близких к записанным и, не менее чем на ю'19 событий-химер. Данные таблицы указывают также на то, что количество ложных событий при увеличении Н резко уменьшается. Однако в любом случае число событий-химер гораздо больше числа событий ассоциативного типа.

В то кв время легко показать, что в сети содержащей неидентичных зернистых клеток ложной памяти вообще не будет. Это указывает на существование критического размера сети &фИТ< при котором ложная память исчезнет.

4. ОЦЕНКА СКОРОСТИ ФОРМИРОВАНИЯ СЛУЧАЙНЫХ СОЕДИНЕНИИ.

Рассмотрение в настоящей работе случайных матриц связей обус-' ловлено распространенным уСэздонием о наличии в нервной системе позвоночных случайных. соединений (Вг1л11оу,19б9, Дунин-Барковский, 1990). Основанием этому служит несколько соображений, начиная от недостаточности генетической для задания всех связей и

кончая полезным для больших информационных систем свойством помехой устойчивости случайных кодов.

Для осуществления случайных соединений при построении физических аналогов нейронных схем А.Н.Четаев предложил использовать случайное блуэдание частиц на плоскости. Пусть требуется соединить две идентичные платы с N выводами расположенными в узлах квадратной решетки. Заставим N частиц совершать плоское. случайное блуждание в ограниченном поле из положений, в масштабе повторяющих расположение контактов платы. Когда взаиморасположение частиц станет достаточно .слабо коррелированным с начальным, упорядочиваем их, т.е. сдвигаем в ближайшие узлы квадратной решетки, конгруэнтной первоначальной. Процесс перемешивания частиц фиксируем на кинопленке и используем последовательность кадров как шаблоны для послойного напыления соединительного устройства.

В работе скорость формирования случайных соединений данным способом была оценена путем имитационного моделирования. Получено, что число слоев пропорционально ,10 N. Коррелировакность начального и конечного положений частиц оценивалась по критерию %2.

ЗАКЛЮЧЕНИЕ

При сравнении численных значений сродней дисперсии уровня активности зернистых клеток разных типов и стандартного отклонения дисперсии (для Н=10*,Н =103,Ь =0.5 103,с=5) видно что дисперсия сети локально случайной больше дисперсии сетей типа I, при й = 10 в 50 раз, при (1=15 в 30 раз, что составляет порядка 10* стандартных отклонений. Это объясняется коррвлированность» наборов входннх волокон, вплоть до полной идентичности их у зернистых клеток-двойников. Действительно, в сети типа I почти не содержится идентичных нейронов, а в сети локально случайной содержащей 103 клеток при с = 5, (1 = 10 в среднем лишь менее 45% имеют различающиеся входы.

Исходя из ранее полученных оценок, можно утверждать,что количество информации, которое хранит сеть, тем больше, чем меньше дисперсия уровня активности зернистых клеток (при постоянном их числе) Поэтому интересно знать, с какой точностью найденные выражения для средней дисперсии можно считать оценками дисперсии конкретной случайной сети. Подставляя значения параметров Ко = Ю3, 1о = 0,5 10?

N * Ю5, С=5 в выражение (3) для дисперсии уровня активности зернистых клеток в сетях II типа, найдем, что среднеквадратичное отклонение дисперсии составляет 3 Ю-"3 среднего значения. Таким образом с хорошей точностью можно считать (3) оценкой дисперсии случайной сети.

При рассмотрении зависимостей эффективности хранения информации Е от й видно, что даже случайная сеть типа II далеко-не обеспечивает предельное теоретически допустимое (Сип1п-Еагкоязк1, ЬагЗопоуа,1985) при. использованном способе декодирования значение эффективности хранения информации равное 1п2 бит на синапс, а дает лишь 0,27 бит на синапс (М »2'Ю1).

Сравнение сетей локально случайной , типа П и "наихудшей" (таблица ?.)показывает, что локально случайная сеть при <1=16 ближе по эффективности хранения информации к сети второго типа, чем к "наихудшей" сети. По мере увеличения диаметра области перемешаннос-ти й эффективность хранения информации увеличивается, но указать, какой диаметр обеспечивает достаточное для конкретных целей качество сети, можно лишь в "замкнутых" моделях, включающих полученные нами фрагменты работы схем в работу мозжечка в целом.

С этой же точки зрения полезно взглянуть на результаты имитационного моделирования перемешивания для формирования случайных соединений (приложение 2). Было показано что длина соединительного устройства пропорциональна числу контактов, из-за чего данный способ построения случайных соединений неэффективен. Однако, возможно, диаметр области перемешанности, на 1-2 порядка меньший, уже обеспечит достаточную эффективность работы сети, а это в свою очередь снизит время перемешивания и длину соединительного устройства.

Одно из существенных свойств, постулируемых для запоминающих нейронных сетей,- свойство ассоциативности. Для модели мозжечка это означает способность сети отвечать на предъявление части выученного события или зашумленного как на само событие. С этой точки зрения мы разделили ложные события на два класса: события, близкие к записанным, и события-химеры. Ответы П на первый класс событий связаны с ассоциативными возможностями сети. Несмотря на огромные количества ложных событий (см. таблицу 3) вероятности ложной памяти

- \г-

оченъ малы. При N - 2 Ю получим для вероятностей ложной памяти

р„ _ > Ю'^/Ю"* > Ю""'40 (учитывая, что общее число событий л.п ^

Н = (Ь® ) = Ю'"). С другой стороны, из результатов главы '

следует, что рл п * 1(У7\ Если предположить, чго истинная вероятность ложной пзмяти лежит в интервала (10"1 , '.О'7*), то такой порядок величин означает что при равновероятном вход-

ных событий ложной памяти вообще нет. Однако реальные события и* являются равновероятными и дли того, чтобы делить выиод о наличии или отсутствии ложных событий необходимо сначала исследовать проблему коррелированное™ поступающих на вход событий. Здесь Мчжно ггровести некоторую аналогию результатами главы I. При равкокеро -ятном выборе получение матрицы связей д^вдеЯ дисперсию в 10* раз отличающуюся от своего стандартного отклонения представляется маловероятным. Но именно такие матрицы связей окялались ближе к своему биологическому прототипу.

вь-волы

1. Математическое ожидание уровня активности зернистых клеток с^ти с фиксированными числом элементов, числом входов каждого ней-р.' I, порогами нейронов, не зябисит от типа матрицы связей игиот;;х ьолч'кон г зернистыми ic.itткем:?, а дисперсия уровня ьктиъности разли чча для раькых типов матриц связей.

2.На примера с«ти тала II доказано что при увеличении размерь сети отношение стандартного отклонения диоптрии к своему сродному стремится к нулю. В зтем с:.аасле найденная оценка дисперсии состоятельна.

3. Показано что дисперсия-уровня активности локально случайной сета с диаметром области перемещенное™ <1 » 10 на порядок больше дисперсии сети полностью случайной и с возрастанием й стремится к ней.

4. Показано что информационная емкость сети определяется в конечное счет« распределениями вероятностей уровня активности зернистых клеток и взгешенного влияния произвольного входного события но клетку Пуркинье.

5. Получена зависимость информационной емкости локально случайной с«ти от диаметра области перемешьнности d. Оказалось что она меньше информационной емкости полностью случайной сета и стремится к ней при увеличении Д.

6. Ложные события в исследований сетях разделены на два класса ложные события-химеры и ложные события ассоциативного типа. Дано определение принадлежности ложного события тому или иному классу. Показано что т>ри увеличении числа зернистых клеток и постоянном числе мшистых волокон, число ложных событий обоих типов стремится к нулю, причем число ложных событий-химер больше числа ложных событий ассоциативного типа.

7.Скорость формирования случайных соединений, основанного на использовании случайных блужданий, пропорциональна Ю;;, где II -число соединяемых элементов. При больших N, осуществление случайных соединений данным способом имеет смысл только если требуется локальная случайность.

СПИСОК ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Дунин-Бэрковский В.Л., Смирнитская И.А. Формирование случайных соединений в нейроподобных структурах.- Тезисы докл. IV Украинской конф. по бюнике, Ужгород,I!>..<}, сЛб.

2. Дунин-Еаркоьпкий В.Л., Смирнитская И.А. О случайных структурных кодах в запоминающих нейронных сетях.- Тезисы докл. 1-ого Всесоюзного биофизического с'езда,1982,т.3,с.36.

3. Душш-Барковский В.Л..Смирнитская И.А.,Четаев А.Н. 00 одном способе формирования случайных соединений в нейроподобных структурах.- Биофизика,1982,т.27,N3,с.651,деп.ВИНИТИ 12.4.32,N2269-82,73 С.

4. Дунин-Баркоьский В.Л..Ларионова Н.П., Смирнитская И.А., Чайлахян Л.М. О хранении инФ рмации в коре мозжечка.- Современные представления о функциях мозжечка. Ереван, Изд-во АН АрмССР, I984t с.330-396.

5. Дунин-Барковский В.Л..Смирнитская И.А. Вероятностные характеристики кодогешх преобразований в схемам нейроподобных элементов. - В кн.: Взаимодействующие марковские процессы и их применение в биологии, Пуцино,I986,c.I30-I3I.

6. Дунин-БярковскиЯ В.Л..Смирнитская 'Л.А. Взаимодействие теории и эксперимента в анализе нейронных схем памяти. -- В кн.: Итоги науки и техники. Сгшноьке стекла и нейронные сети,ч.2,М-.ВИНИТИ,I9S0.

7. SmlroHska I.A. An amlitlcal research о' the cerebellar cortex model. Proc. of the RNNS/IEEE Symposium on Neurolniormatlcs and Neurocomputera, Rostov-on-Don, 1992. p.492-4%.

8. Смирнитская И.А. Вероятностные характеристики колотого преобразования и их влияние на эффективность хранения информации в модели коры мозжечка.- Нейрокомпьютер,М, 19Э2, N 2, с. 57-65.

МФТИ и, ¿о, Ю. 92, ж/гсь, г»/>л~е/<П& <>*J-