Физика спиновых стекол и нейронных сетей тема автореферата и диссертации по физике, 01.04.02 ВАК РФ

Р Г Б ОД

Российская Академия Наук Институт Теоретической Физики им. Л.Д.Ландау

На правах рукописи ДОЦЕНКО Виктор Степанович

Физика спиновых стекол и нейронных сетей

01.04.02 - теоретическая физика

Автореферат диссертации на соискание ученой степени доктора физико-математических наук

Черноголовка - 1994

Работа выполнена в Институте теоретической физики имени Л.ДЛандау РАН.

Физический институт им. П.НЛебедева РАН

Защита состоится 1 июля 1994 г. в 12 часов на заседании Специализированного Совета Д 002.41.01 по присуждению ученой степени доктора физико-математических наук при Институте теоретической физики им. Л.ДЛандау РАН по адресу: 142432, Московская область, Ногинский район, Черноголовка, ИТФ РАН

С диссертацией можно ознакомиться в библиотеке ИТФ РАН

Диссертация разослана << >> 1994 г.

Официальные оппоненты:

доктор физ.-мат. наук доктор физ.-мат. наук профессор (Оксфорд, Англия)

М.В.Фейгельман М.И.Каганов Д.Шеррингтон

Ведущая организация:

Ученый секретарь специализированного совета доктор физ.-мат. наук

Л.А.Фальковский

Введение

Актуальность темы

Экспериментальные и теоретические исследования, проводившиеся на протяжении последних двадцати лет привели к открытию принципиально нового низкотемпературного состояния в неупорядоченных спиновых системах, получившего название спинового стекла. Основным свойством этого состояния является ярко выраженная неэргодичность, которая проявляется в зависимости наблюдаемых свойств системы от ее предыстории. При этом принципиальное отличие спин-стекольной фазы от обычных' термодинамических состояний, характеризующихся спонтанным нарушением какой-либо симметрии, состоит в том, что здесь число различных близких по энергии термодинамических состояний макроскопически велико. В связи с этим характерным свойством спиновых стекол является аномально медленная релаксация неравновесных состояний, возникающая из-за бесконечно широкого спектра времен релаксации.

Главные достижения теории спиновых стекол основаны на точных результатах, полученных для модели спинового стекла с бесконечным радиусом взаимодействия [25], [19]. Было показано, что в этой модели имеется низкотемпературная фаза, которая характеризуется нарушением эргодичности и термодинамически большим числом метастабильных состояний, отделенных друг от друга макроскопически высокими энергетическими барьерами. И хотя эта модель по своей формулировке весьма далека от реальных экспериментально наблюдаемых спин-стегальных систем, в настоящее время концепция физики спин-стекольного состояния может быть сформулирована в отрыве от той модели, на которой она была получена. Более того, эта новая физика оказалась настолько естественной, а явления, которые она описывает •♦настолько общими, что в последние годы методология теории спиновых стекол стала успешно использоваться для чрезвычайно широкого спектра проблем, от описания социальных структур и экономики до биологии.

Физика спин-стекольного состояния, изложенная в первой части диссертации, представляет собой качественное описание того, что происходит в низкотемпературной фазе спиновых систем со случайными взаимодействиями. Подобные исследования интересны еще и потому, что речь идет о явлении общего характера, имеющем отношение далеко не только к неупорядоченным магнетикам. Последние годы проблематика спиновых стекол стала включать в себя такие, на первый взгляд, непохожие друг на друга проблемы, как моделирование биологической эволюции, статистические модели памяти (нейронные сети), проблемы оптимизации. (По-видимому, проблема 1// шума тоже имеет к этому самое прямое отношение.)

Во второй части диссертации рассматривается проблематика одной из таких "ветвей", выросшей из теории спиновых стекол, в которой изучаются статистические модели нейронных сетей. Удивительным образом теория спиновых стекол, основанная главным образом на довольно искусственной модели с бесконечным радиусом взаимодействия, в последнее время получила новое значение в связи с возможностью, по крайней мере на качественном уровне, моделировать ассоциативную память. При этом все рассматриваемые модели основаны на совсем небольшом наборе биологически мотивированных предположений:

1) Минимальный структурный элемент нейронной сети - это "нейрон", состояние которого описывается одной переменной а. При этом предполагается, что нейрон может находиться лишь в двух возможных состояния)? - возбужденном и погасшем. По этой причине для описания состояния нейрона обычно используется изинговская спиновая переменная а = ±1.

2) Процесс реконструкции образов происходит путем параллельной динамики нейронов, с начальной нейронной конфигурацией, соответствующей текущему визуальному образу, а конечная устойчивая нейронная конфигурация соответствует восстановленному образу, хранящемуся в памяти.

3) Память об образах записывается в межнейронных (спин-спиновых) взаимодействиях, причем эти взаимодействия являются пластичными и могут меняться в процессе обучения.

Исследования последних лет убедительно продемонстрировали, что подобные статистические модели нейронных сетей хорошо имитируют наиболее общие свойства ассоциативной памяти [40], [41] . ,

Основные направления исследования

В диссертации содержатся результаты исследований по теории спиновых стекол и статистическим моделям нейронных сетей.

Первое из этих направлений представлено следующими исследованиями. Построена скейлинговая теория вычисления свободной энергии спин-стекольных состояний для систем с ультраметрической структурой пространства метастабильных состояний, а также феноменологическая теория релаксационйых процессов, происходящих в подобных системах. Для построения теории используются общие скейлинговые свойства иерархической структуры спин-стекольных состояний и основные идеи перенормировок обычной теории фазовых переходов.

Построена теория спиновых ' стекол, в которых спин-спиновые взаимодействия являются медленными динамическими переменными, не находящимися в термодинамическом равновесии со спиновыми степенями свободы. При этом удается дать естественную физическую интерпретацию известного метода реплик, широко используемого в теориях неупорядоченных систем.

В качестве отдельного исследования рассматриваются спин-стекольные

явления, возникающие в другом классе систем, представляющих собой ферромагнетики с вмороженными слабыми случайными магнитными полями. Здесь благодаря многочисленным метастабильным состояниям инстантонного типа, возникающим из-за взаимодействия со случайными полями, в термодинамических функциях появляются неаналитичные поправки, которые не могут быть вычислены в рамках обычной теории возмущений.

Среди исследований второго направления рассматривается ряд новых моделей нейронных сетей. Среди них нейронные сети с оптимизированными спин-спиновыми взаимодействиями, иерархические модели, модели нейронных сетей для инвариантного распознавания образов, модели памяти для конфигураций полимерных цепочек и модели нейронных сетей с подвижными образами.

Научная ценность и новизна

Оригинальные результаты, представленные в диссертации, опубликованы в работах [1] - [18], и могут быть кратко сформулированы следующим образом:

- Построена скейлинговая теория для вычисления статистической суммы и свободной энергии для систем с ультраметрической структурой пространства метасгабильных состояний.

- Построена феноменологическая теория релаксационных процессов, происходящих в спиновых стеклах с иерархической структурой метасгабильных состояний.

- Предложена естественная физическая интерпретация метода реплик, который широко используется в теориях неупорядоченных систем.

- Построена теория спиновых стекол, в которых спин-спиновые взаимодействия являются медленными динамическими переменными, не находящимися в термодинамическом равновесии со спиновыми степенями свободы.

- Для ферромагнитных изинговских систем с вмороженными слабыми случайными магнитными полями вычислены неаналитичные поправки к термодинамическим функциям, которые возникают в низкотемпературной фазе благодаря многочисленным метастабильным состояниям инстантонного типа.

- Предложен простой итерационный алгоритм оптимизации спин-спиновых взаимодействий в нейронных сетях, позволяющий существенно увеличивать емкость памяти.

- Вычислены фазовые диаграммы и исследованы термодинамические свойства целого класса нейронных сетей с оптимизированными спин-спиновыми взаимодействиями.

- Построены два типа моделей нейронных сетей, могущих хранить в памяти иерархически скоррелированные образы.

- Предложена модель нейронной сети, в которой происходит

трансляционно инвариантное распознавание образов. Модель допускает простое обобщение для случаев масштабной инвариантности, а также инвариантности по отношению к поворотам.

- Предложена статистическая модель для запоминания конфигураций полимерных цепочек, вычислена ее фазовая диаграмма и термодинамические свойства.

- Предложена модель нейронной сети, в которой запоминаемые образы являются медленными динамическими переменными, не находящимися в термодинамическом равновесии со спиновыми степенями свободы. Вычислена фазовая диаграмма этой модели и ее термодинамические свойства.

Апробация работы

Диссертация содержит результаты 18 работ, опубликованных в России и за рубежом. Работы докладывались на теоретических семинарах в ИТФ РАН, ИФП РАН, ФИАН РАН, в Римском университете, в Бостонском университете, в Калифорнийском университете (UCLA), в Масса чусутском технологическом институте (MIT), в Оксфордском университете, в Геттингенском университете (Германия), в Международном центре теоретической физики (Триест), в Ecole Normale Supérieure (Париж), на Всесоюзных конференциях по физике низких температур (Самарканд 1983, Таллин 1984), на международном семинаре ИТФ-НОРДИТА (Гете-борг 1986), на Советско-Итальянской конференции по статистической физике (Рим 1987), на международной конференции по сложным системам (Будапешт 1988), на международной конференции по нейронным сетям (Салерно 1989), на Советско-Индийской конференции по сложным системам (Бангалор 1990), на международной конференции по статистической физике (Триест 1991), на российско-германском симпозиуме по статистической физике (Бад-Хоннеф 1993).

Основные результаты диссертации получены в Институте теоретической физики им. Л.ДЛандау РАН, частично в соавторстве с Е.Дорофеевым, Н.Яруниным, B.Tirozzi, S.Franz, M.Mezard, G.Pariai.

Структура и объем диссертации

Диссертация состоит из 13 глав. Она изложена на 198 страницах, содержит 32 рисунка и список литературы из 54 наименований.

Содержание диссертации

Главы 1-3.

В последнее время благодаря многочисленным теоретическим и экспериментальным открытиям в физике спин-стекольного состояния стала складываться довольно цельная и эстетически привлекательная общая картина. В связи с этим, в первых трех главах, главным образом в методологических целях, систематически излагаются основные представления о физике спин-стекольного состояния, методе реплик и явлении, известном как нарушение репличной симметрии [1].

Глава 4. Скейлинг в пространстве состояний.

Существует довольно много различных вариантов систем, которые называют спиновыми стеклами. Наиболее простой, и в то же время довольно общий случай описывается моделью изинговского спинового стекла, гамильтониан которого имеет вид:

я = (!)

1 т

Это система, состоящая из N изинговских спинов {оу} (»' = 1,2, принимающих значения ±1 и расположенных в узлах некоторой кристаллической решетки, узлы которой занумерованы индексом «. Парные спин-спиновые взаимодействия 7,-,- случайны как по величине, так и по знаку и описываются гауссовым распределением:

- тЬ^Ф (2)

где параметр J задает характерную величину спин-спинового взаимодействия. Мотивировка для выбора гамильтониана (1) с точки зрения описания реальных экспериментальных систем, а также другие модели спиновых стекол описаны в обзоре [20]. Дальнейшее описание будет основано на модели с дальнодействием, в которой взаимодействия Ж,-являются независимыми для любой пары узлов [25].

4.1 Вычисления методом перенормировок

В результате известных вычислений термодинамики этой модели возникает следующая физическая картина спин-стекольной фазы [1], [19].

Сразу же при переходе по температуре немного ниже Тс = 1 пространство состояний разделяется на множество чистых состояний (долин). Эти состояния описываются средними спиновыми намагниченностями в узлах {ш(}, конфигурации которых различны в различных состояниях. Тем не менее, величина "самоперекрытия"

9(Г) = £>? (3)

i

во всех этих состояниях оказывается одинаковой. Величина д есть некоторая функция температуры.

Кроме этого, оказывается, что взаимные перекрытия между всеми этими чистыми состояниями покрывают своими значениями целый непрерывный интервал 0 < д"^ < д(Т) (в присутствии внешнего поля Л этот интервал начинается не с нуля, а с некоторой конечной величины: до(Т, Л) < < д1 (Г,Л), где д0(Т,Н) -> 0 при /» -> 0). Спектр значений д•а1> описывается некоторой функцией распределения Р{д), зависящей от температуры (и внешнего поля). Структура этого пространства состояний описывается ультраметричным иерархическим деревом.

При небольшом понижении температуры Т —> Т" = Т — 6Т, каждое из чистых состояний разделяется на множество новых чистых состояний, которые можно назвать "потомками". Эти новые состояния характеризуются новой величиной самоперекрытия д(Т') > д(Т). Соответственно увеличивается интервал спектра взаимных перекрытий между имеющимися при этой температуре чистыми состояниями: 0 < да> < д(Т').

При дальнейшем понижении температуры, каждое из появляющихся чистых состояний непрерывно разделяется на множество новых и новых потомков. Этот процесс ветвления продолжается вплоть до нуля температур, причем д[Т 0) -» 1. Это дерево состояний обладает свойством самоподобия, и естественный масштаб в пространстве состояний при любой данной температуре задается величиной д(Т).

Предположим теперь, что качественная картина с деревом состояний остается правильной для других спин-стекольных систем, не обязательно с дальнодействием. Проблема тогда состоит в следующем: можно ли, как бы зная на качественном уровне ответ, построить физическую теорию (основанную на этом предположении), которая бы позволяла вычислять наблюдаемую термодинамику для нормальных спин-стекольных систем с короткодействием?

Один из подходов может состоять в следующем. При данной температуре Г ниже Те спиновое стекло находится в одном из чистых состояний, которые в терминах иерархического дерева являются "предочными" состояниями, находящимися на уровне (масштабе) д(Т). В реальном эксперименте при фиксированной температуре система, однажды оказавшись в одном из таких состояний (долин), в другие состояния (долины) никогда не переходит, потому, что они отделены бесконечными барьерами свободной энергии. Поэтому реальная наблюдаемая физика определяется только этой ограниченной областью фазового объема. Соответственно, если мы хотим вычислить что-то наблюдаемое, при суммировании по состояниям нужно ограничиться только этой частью пространства

состояний.

Мы знаем, что внутри данной долины, которая существует при температуре Т, скрыто целое "мини-дерево" состояний, которое проявляется, если опустить температуру до нуля. В связи с этим можно было бы предположить, что главный вклад в термодинамику в этой долине вносят именно эти состояния, т.е. при вычислении статсуммы мы можем ограничиться суммированием только по этим состояниям-потомкам.

Пусть для простоты иерархическое дерево состояний будет дискретным. Тогда свободная энергия /„,.,...„, чистого состояния на уровне 1(Т), соответствующем масштабу ® = ?(Г), может быть представлена в виде:

ехр(-/?/а1„,...в1) = £ ехр(-/?Я[<г»"-—«♦.-«]) (4)

«1+1 «1+1—1аь

Очевидно, что для выполнения подобного суммирования наиболее естественный способ - это последовательные итерации, т.е. суммирование, шаг за шагом переходя с одного уровня дерева на следующий - более высокий. По-другому эту процедуру можно назвать ренормгруппой в пространстве состояний: мы суммируем по самым мелким семействам состояний на уровне и в результате получаем новый эффективный гамильтониан, зависящий теперь от состояний уровня Ь — 1, с какими-то новыми перенормированными параметрами. Далее мы суммируем по семействам состояний на уровне Ь-1 и переходим на следующий уровень и т.д. На некотором промежуточном уровне к (I < к < Ь) этот переход на один шаг можно представить следующим образом:

ехр(-/?Я4[т""*> '"]) = £ ехр(-/?Я4+1[т"' -»""+']) (5)

«1+1

Если при таком переходе изменение масштаба в пространстве состояний мало: 8д = - <1, то соответствующие изменения параметров гамильтониана тоже должны быть малы по параметру ¿5. В результате можно вывести уравнения эволюции для параметров гамильтониана и вычислить их зависимость от масштаба в пространстве состояний.

Конкретные вычисления показывают, что перенормируемый спин-стекольный гамильтониан содержит бесконечное число параметров, и все они, так же как и исходные параметры являются случайными. Тем не менее, для определенного класса ультраметричных деревьев из этих вычислений можно продемонстрировать следующее качественное явление [3], [4].

Прежде всего, если температура выше некоторой критической Те, то свободная энергия является регулярной функцией температуры, не имеющей никаких сингулярностей. С другой стороны, все эффективные (перенормированные) взаимодействия в гамильтониане стремятся к нулю

при д —» 0 (напомним, что в этом подходе микроскопическому масштабу соответствует 9 = 1, а макроскопический предел соответствует д -» 0). Это очевидным образом указывает на то, что при этих температурах система находится в парамагнитной фазе.

С другой стороны, при Т <Т, возникает некоторый масштаб д(Т) > О, такой, что при д -» {(Г) некоторые параметры перенормированного гамильтониана, описывающие взаимодействия между определенными степенями свободы, расходятся. Это указывает на то, что состояния на масштабе д(Т) становятся "замерзшими", и, таким образом, на этом масштабе наша ренормгрупповая процедура должна быть остановлена. При этом найденная свободная энергия оказывается неаналитичной функцией температуры в точке Т = Тс. Кроме того, зависимость характерной величины эффективных взаимодействий от масштаба д на интервале д(Т) < д < 1, по-видимому, может интерпретироваться, как зависимость от масштаба (и, соответственно, от температуры) характерной высоты конечных барьеров, разделяющих метастабильные состояния.

4.2 Феноменологическая динамика

Рассмотрим теперь чисто феноменологическую динамику, которая на качественном уровне иллюстрирует релаксационные процессы в спиновых стеклах [5].

Допустим, что в низкотемпературной фазе свободная энергия спинового стекла представляет собой фрактальный рельеф, т.е. в каждой большой яме находится много более мелких ям, разделенных меньшими, барьерами, в каждой мелкой - еще более мелкие, и т.д. В этом случае, такой рельеф можно характеризовать, например, характерной величиной потенциальных барьеров Д(?), разделяющих ямы (состояния) на масштабе д. Если предположить, что такой потенциальный рельеф обладает свойством самоподобия (что есть вполне естественное свойство всех структур фрактального типа), тогда зависимость характерных барьеров от масштаба можно представить в простом скейлинговом виде:

где д(Т) - это величина самоперекрытия чистых состояний при температуре Т, т.е. это характерный масштаб в пространстве состояний (масштаб долин), на котором барьеры, разделяющие состояния, становятся бесконечными. Такая зависимость характерных барьеров от масштаба вполне соответствует результатам, полученным на эксперименте (глава

Так как характерное время, необходимое для преодоления барьера высоты А есть

Д(9) = Д0(9 - ?(Г))-" ; (д > ,(Г) ; и > 0)

(б)

5).

(г0 - некоторое характерное микроскопическое время), спектр времен релаксации внутри долины на масштабах д{Т) < д < 1 имеет вид:

г(9)~г„ехр(/?До(7-9(Г)Г") (8)

Тогда путем несложных оценок для релаксации, например, параметра порядка можно получить следующее характерное поведение на больших временах:

Таким образом, мы видим, что q{t) приближается к равновесной величине q(T) логарифмически медленно. Релаксация других наблюдаемых будет, очевидно, такой же медленной.

В рамках подобной феноменологии можно предложить два возможных сценария фазового перехода в Спин-стекольную фазу. Первый и, видимо, наиболее естественный, состоит в том, что спин-стекольная фаза "вырастает" из парамагнитной при приближении к Тс сверху. Вблизи Те при Т > Те, высота энергетических барьеров при увеличении масштаба в фазовом пространстве вырастает до большого, но конечного значения Д«,. Эту ситуацию можно представить в виде, аналогичном (6):

Лг>т.М = До(д + д(Г))-"' ; (и' > 0) (10)

Здесь д(Т) > 0 - это "параметр беспорядка", который определяет предельную высоту барьеров: Дм = До(?(Г))~"'. Соответственно, спектр времен релаксации в этом случае будет конечным, и максимальное время релаксации будет rm ~ тоехр(0А„). Поэтому, логарифмически медленная релаксация

«М ~ - 5(г) (11)

будет иметь место только на временах r0 <С t с г«,. А на самых больших временах 1>г„ будет происходить обычная парамагнитная релаксация: 9(t) ~ ехр(-£).'

При Т -* Те сверху, величина параметра беспорядка <j(T) стремится к нулю. Поскольку во всех рассуждениях мы здесь предполагаем наличие скейлинга, вполне естественно ожидать, что q(T) ~ (Т/Те - 1)" -»0 с некоторым критическим индексом а > 0. Соответственно, для величины максимального барьера и для максимального времени релаксации мы получим:

Доо(Г) ~ Д0(£-1)-2 -00

г„(Г) ~ гоехр[/?До(£-1Г^] -оо

Возможен и другой сценарий, когда парамагнитная фаза "вырастает" из спин-стекольной при приближении Т к температуре стекольного перехода Т, снизу. А именно, при Т —» Т,, на любом фиксированном масштабе д величина барьеров уменьшается, хотя спектр их все равно остается расходящимся при д —• 5(Г). Эту ситуацию легко смоделировать с помощью анзаца (6) для Д(д), в котором индекс и -* 0 при Т —» Г,: |/(Г —> Т,) ~ (1-Г/Т,)'

Заметим, что в таком сценарии нет никаких причин ожидать, что спин-стекольный параметр порядка д(Т) и индекс и обращаются в ноль при одной, и той же температуре. По этой причине и введены две критических температуры: Т„ при которой обращается в ноль д(Т), и Г,, при которой обращается в ноль и.

Если Т. < Г,, т.е. при увеличении температуры сначала обращается в ноль параметр порядка д{Т), то Тс будет точкой фазового перехода в парамагнитную фазу в обычном термодинамическом смысле (д Ф О при Г < Те, и 9 = 0 при Т > Те). Тем не менее, хотя в области Те < Т < Т, параметр 9 = 0, индекс и здесь не равен нулю и это приводит к тому, что релаксационные свойства системы в этой области температур не будут обычными парамагнитными. Для временного поведения параметра порядка легко получить следующую оценку: при приближении температуры к Тв снизу, релаксация будет парамагнитной ехр(-(/г0)) только пока времена не очень большие: г0 < Ь « »"(Г), где т'(Т) ~ 1/и ~ (1 — Т/Т,)-'. Однако на самых больших временах, < > г*(Г), релаксация все равно становится логарифмически медленной (спин-стекольной): ~

[1п(|/«))-£ При Т -> Т,, времена, на которых наблюдается эта медленная релаксация, сдвигаются в бесконечность.

Глава 5. Эксперименты

В этой главе рассматриваются результаты последних экспериментов, проводившихся с целью выяснить, насколько справедлива описанная в предыдущих главах общая физическая картина спин-стекольного состояния для реальных спиновых стекол [29].

Большинство экспериментальных результатов были получены на кристаллах CdCтl^InaiS^. Неупорядоченность в этой системе возникает из-за конкуренции ферромагнитных взаимодействий между ближайшими соседями и антиферромагнитными взаимодействиями следующих за ближайшими соседей. Это спиновое стекло было ранее систематически изучено [30] и, в частности, для него хорошо установлена температура фазового перехода в спин-стекольную фазу Тс = 16.7К. Некоторые измерения проводились также и на "классических" металлических спиновых стеклах типа АдМп [31], и при этом результаты получались качественно те же самые. Таким образом, по-видимому, физические явления, которые были обнаружены, не зависят от конкретной реал-

изации спинового стекла.

Полученные экспериментальные данные приводят к следующему выводу. Наблюдаемые эффекты старения и зависимость наблюдаемой релаксации намагниченности от предыстории при всех температурах ниже Те во всем диапазоне наблюдаемых времен, демонстрирует существование непрерывного спектра высот энергетических барьеров и, соответственно, существование расходящихся барьеров при любой температуре Т < Тс. Именно это явление приводит к непрерывному процессу факторизации фазового пространства на все более мелкие долины (т.е. непрерывной цепи фазовых переходов нарушения эргодичности) при понижении температуры ниже Тс.

Глава 6. Частичный отжиг в спиновых стеклах

Обычно в физике неупорядоченных систем степени свободы, описывающие конкретную модель четко разделяются на два существенно различные типа: динамические переменные, в терминах которых вычисляется статистическая сумма, и вмороженные параметры, которые описывают заданный беспорядок. В терминах динамических переменных система достигает термодинамического равновесия за конечные (с экспериментальной точки зрения) времена, тогда как вмороженные параметры должны рассматриваться как фиксированные. С другой стороны, если спиновые взаимодействия могут менять свои значения, они становятся тоже динамическими переменными, явление фрастраций исчезает, и возникает ситуация, которую можно назвать случаем расплавленного беспорядка.

В этой главе рассматривается ситуация, промежуточная между случаями вмороженного и расплавленного беспорядка [2]. Пусть спиновые взаимодействия являются "медленными" переменными, которые меняют свои значения на временах много больших характерного времени установления термодинамического равновесия в системе спинов. При этом, естественно, думать, что эффективным "гамильтонианом" для переменных взаимодействий должна стать свободная энергия спиновой системы. Рассматривается ситуация, когда подсистема "быстрых" переменных (спинов) имеет температуру Г, подсистема "медленных" переменных (взаимодействий) имеет температуру Т" / Т. Таким образом, каждая из подсистем находится в термодинамическом равновесии, однако полное термодинамическое равновесие между ними отсутствует.

Рассматривается два случая: когда температура медленных переменных положительна и когда эта температура отрицательна. В случае положительной температуры динамика в системе взаимодействий устроена так, чтобы уменьшать степень фрастрированности системы. С другой стороны, если эта температура отрицательна, то это приводит к увеличению фрастраций. Можно показать, что эту проблему можно

изучать обычным методом реплик, когда "число реплик" г» оказывается конечным параметром, равным отношению двух температур: п = Г/Т*.

6.1. Частичный отжиг и реплики.

Рассмотрим общую спиновую систему, описываемую некоторым гамильтонианом H[J\a], который зависит от спиновых переменных <г< и спин-спиновых взаимодействий JiS. Если взаимодействия Jtj являются вмороженными, то формально свободная энергия системы будет зависеть от конкретной реализации параметров Ji}-:

= -^Iog[I>p(-/Jtf[J;a])] (13)

Теперь предположим, что спин-спиновые взаимодействия не являются строго вмороженными, т.е. что они тоже могут изменять свои значения, но характерный временной масштаб их динамики много больше временного масштаба, на котором в спиновых степенях свободы устанавливается термодинамичеокое равновесие. В этом случае свободная энергия (13) по-прежнему будет иметь смысл, и она теперь станет функцией энергии (гамильтонианом) для степеней свободы ./„■.

Поскольку спин-спиновые взаимодействия становятся переменными, должно быть установлено пространство, в котором они принимают свои значения. В случае вмороженных связей пространство взаимодействий Jij задается функцией распределения P[J|. В обсуждаемом случае частично расплавленных связей эта функция P[J] имеет смысл внутреннего потенциала для переменных взаимодействий У,-,-, которая ограничивает пространство их значений.

Предположим теперь, что спиновые степени свободы и степени свободы спиновых взаимодействий не находятся в состоянии термодинамического равновесия. А именно, что температура Т' в системе спиновых взаимодействий отличается от температуры Т спиновых переменных. В этом случае полная статистическая сумма системы будет иметь вид:

Z = J DJP[J}exp(-ß'F[J}) = j DJP\J\(Z\J]Y (14)

где n = T/T'. Соответственно, для полной свободной энергии системы получаем:

7 = -T'log{«(Z[J])"»} (15)

Таким образом, мы возвращаемся к обычному репличному формализму, в котором "число реплик" п = Т/Г является конечным параметром.

В случае вмороженных связей физическая (самоусредняющаяся) свободная энергия получается в пределе п —> 0. В случае, если спиновые переменные и спиновые взаимодействия находятся в термодинамическом

равновесии, т.е. 7* = Т (п = 1), возникает тривиальная ситуация полностью расплавленного беспорядка. Если же п ф 0 и п Ф 1, то возникает промежуточная ситуация, которую можно условно назвать частично расплавленным беспорядком. В действительности эта ситуация не столь уж необычна, как может показаться на первый взгляд. Можно сказать, что в этом случае динамика в системе взаимодействий описывается ланжевеновской динамикой:

2 ="=>

где - обычный тепловой шум: = 2Г'Й(4 — £*)-

В дальнейшем рассматривается конкретная модель спинового стекла с дальнодействием, в которой репличный параметр г» как положителен! так и отрицателен. С точки зрения динамики случай отрицательного п означает, что спиновые взаимодействия изменяются таким образом, чтобы энергия в системе повышалась. На языке спиновых стекол можно сказать, что в этом случае 7,-,- движутся в направлении повышения степени фрастрированности системы.

6.2. Модель спинового стекла с дальнодействием Для модели спинового стекла Шеррингтона-Киркпатрика, в которой величина п = Г/Г' является конечным параметром, получены следующие результаты.

В терминах обычного репличкого формализма для параметра порядка функции Паризи д(х) вблизи точки перехода получается решение аналогичное случаю п = О:

{?о, п < х < х0

\х, х0<х<х1 (17)

91, х1<х<1

где = 2?! ; х0 = 2д0 а величины д0 и ?1 определяются из уравнений:

г -«!+?; = о .

В случае Н = 0 и п > 0, решение уравнений (18) (в главном порядке по т и п) имеет вид: ~ т ; д0 = Зп/4, где Х\ = 1т и ю = \п. Решение для 5(1) становится реплично-симметричным при = д0. Это дает критическую температуру т(п) = |п.

Если п отрицательно, решение имеет вид: дг ~ т ; до = 0, и поэтому для критической температуры имеем всегда т(п) — 0. Заметим, что для отрицательных значений п, полученная свободная энергия Ж оказывается не зависящей от п и совпадает со свободной энергией для, п = 0. В действительности это свойство сохраняется и в общем случае, а не только вблизи температуры перехода.

В случае Л ф О, мы по-прежнему имеем д\ гг г, а для д0 уравнение (18) всегда дает положительное ненулевое решение. В частности, если п отрицательно: д0 — Л/\/1 п ПРИ Л < (| п и д0 а при

/,>( |п|)>/».

В пространстве параметров (г.Л.п) << 1 решение с нарушенной репличной симметрией существует ниже поверхности определяемой уравнением 5, = д0: — пг1 = Л5 В общем случае, для произвольных значений параметров Т,п и Л, можно показать, что такая поверхность определяется уравнением:

т, = «(созЬ^г + Н))"-4»

« (созЬ/З^г + А))" » 1 1

(здесь << ... >> обозначает гауссово усреднение по переменной г). При Т —► О и Л = 0 находим: п(Т) ~ Ту/2

Можно доказать более общее утверждение о свойствах решения с нарушенной репличной симметрией для отрицательных п. Пусть при п = 0 решение описывается функцией до (г). Согласно структуре свс бодной энергии, если внешнее магнитное поле отсутствует, уравнение на седловую точку для функции представляет собой некоторый полином по степеням матрицы Паризи который при <Э = 0 обращается в нуль. Тогда, при отрицательном п, простые алгебраические рассуждения показывают, что функция

, . Г О п < х < 0 .„„,

9"(1) = Ы*) 0 < х < 1 (2°)

является решением уравнения на седловую точку по отношению к матрице Q. Это решение имеет такую же свободную энергию, как и в случае п = 0.

Физическая интерпретация полученных решений состоит в следующем:

1) В нулевом магнитном поле полная свободная энергия системы 7 оказывается равной свободной энергии Г0 при п = 0, умноженной на п. Такое поведение также сильно отличается от ситуации, возникающей при положительных п, когда свободная энергия системы понижается. Причина этого явления, по-видимому, состоит в том, что просто по статистике вклад в свободную энергию конфигураций существенно увеличивающих свободную энергию по сравнению с Р0 очень мал.

2)В случае конечной величины п функция распределения Р„(д) имеет вид:

При этом, в отличие от случая п = 0 в точке д — 0 при п < 0 у этой функции появляется ¿-пик. Это явление можно интерпретировать в том

смысле, что при отрицательных значениях п эффект увеличения фрас-трированности системы приводит к появлению макроскопического числа максимально удаленных состояний (с ? = 0).

Глава 7. Спин-стекольные эффекты в магнетиках со случайными полями

В этой главе рассматриваются спин-стекольные явления в ферромагнитной модели Изинга при наличии слабых случайных по пространству магнитных полей. Показано, что при размерности пространства и < 3 благодаря редким крупномасштабным термодинамическим возбуждениям (представляющим собой большие спиновые кластеры с намагниченностью, противоположной общему ферромагнитному фону) в свободной энергии появляется неаналитичная добавка типа сингулярностей Гриффица.

Сначала, с помощью простых физических соображений получен непер-турбативный вклад в свободную энергию при конечных температурах в низкотемпературной упорядоченной фазе при Л' << Т « 1, который возникает при размерности системы Р < 3 . Этот вклад возникает благодаря редким переворотам больших спиновых кластеров с характерным размером ~ т/Т/к0, которые соответствуют локальным минимумам энергии [б]. Далее показано, что подобный неаналитичный вклад связан с существованием новых решений уравнений среднего поля в репличном пространстве, нарушающим трансляционную инвариантность и репличную симметрию (трансляционная инвариантность и репличная симметрия восстанавливаются после суммирования по всем таким решениям) [7].

7.1. Сингулярности Гриффица

Модель рассматриваемой системы описывается гамильтонианом:

Я = - £ - 2>.<г,- (22)

«9У>. •

где изинговские спины {сг,- = ±1} помещаются в узлах £>-мерной решетки с ферромагнитными взаимодействиями между ближайшими соседями. Случайные магнитные поля {Л,} описываются симметричным гаусовым распределением:

1Ы = Ло«1 (23)

При размерности системы больше 2, основное состояние является фер-. ромагнитным. Термодинамическими возбуждениями являются спиновые кластеры с намагниченностью противоположной фону. Если линейный размер Ь такого кластера большой, то в непрерывном пределе энергию

ч

такого возбуждения можно оценить следующим образом: Е{Ь) ~ Ь°-1-У(1), где

К(Х) = /

¿°х Мх) (24)

|,|<ь

это энергия взаимодействия спинового кластера размера Ь со случайным полем Н(х). Используя (23) статистическую функцию распределения энергии V(£) можно вычислить в явном виде.

Поскольку вероятность переворота больших спиновых кластеров экспоненциально мала, можно считать, что их вклады в статистическую сумму являются независимыми (т.е. можно считать их невзаимодействующими). В этом случае вклад таких термодинамических возбуждений в полную свободную энергию можно получить путем статистического усреднения свободной энергии отдельного спинового кластера.

Идея вычисления свободной энергии состоит в-следующем. Поскольку при размерности И > 2 энергия Е(Ь) = Ь0'1 — V(L) является в среднем растущей функцией разумно ожидать, что ее глубокие локальные минимумы (если таковые вообще есть) хорошо между собой разделены, и значения энергии в этих минимумах, в среднем, растут с размером Ь. Поэтому разумно ожидать, что главный вклад от интегрирования по размерам кластеров возникает от единственного самого глубокого минимума функции 1Р- У(Ь). Поскольку энергия Е[Ь) = - К(Ь) является растущей функцией Ь, то достаточное условие существования минимума на размере больше X имеет вид: > (£> -

С учетом этих предположений можно показать, что в пределе низких температур 0 » 1 (таких, что Т » Лд) и при I? < 3, возникает нетривиальный вклад в свободную энергию от перевернутых кластеров большого размера

ь. =

Этот вклад имеет следующий вид:

(£)-1)(3-Д)

ДО >> 1 <25>

Ак ~ (26)

Этот результат показывает, что кроме обычных термодинамических возбуждений вблизи упорядоченного состояния (которые можно учесть обычной теорией возмущений), благодаря взаимодействию со случайными палями существуют непертурбативные крупномасштабные возбуждения, которые производят неаналитичную экспоненциально малую добавку в свободную энергию. Эти возбуждения представляют собой большие спиновые кластеры с намагниченностью противоположной упорядоченному состоянию, являющиеся локальными минимумами энергии. При конечных^

температурах таких, что « Т « 1 характерный размер таких кластеров равен Ь, ~ \fTjha » 1.

7.2. Инстантоны в репличном пространстве

Рассмотрим теперь "мягкий" вариант модели Изинга, который описывается гамильтонианом:

Н = / Л||гВДг))» + У(*(г)) + к[г)ф[т)] (27)

где ф - непрерывное скалярное поле, У(ф) = \(фг — I)1, а случайные поля по-прежнему описываются гауссовым распределением.

Для репличной статсуммы такой системы, после усреднения по случайным полям получаем:

« г" »= ! Оф*ех?{-0 ! ¿*т\\Т.па=1(Чф'У + ПФ')~

(28)

Нас интересуют экстремальные конфигурации поля ф с нарушенной репличной симметрией. Если предположить, что такие конфигурации находятся на конечном расстоянии от реплично-симметричного решения в конфигурационном пространстве, то статистическую сумму (28) можно представить в виде:

« » = << Л" »яз. + « »лм. (29)

Первый член этого уравнения содержит суммирование по всем конфигурациям вблизи реплично-симметричного решения. Рассмотрим второй член, соответствующий конфигурациям поля с нарушенной репличной симметрией. Самый простой случай нарушения репличной симметрии в векторе ф состоит в следующем. Пусть в векторе ф' = (ф1,ф,,....фп) (п — 1) компоненты между собой равны, а одна из компонент от них отличается. В этом случае у нас остается два независимых поля ф^г) и ф,(г), и в пределе п -» 0 мы получим: Е„ф" = фг + [п - 1)<45 -* ф\ — ф-1-

В этом случае вычисления приводят к следующему нетривиальному вкладу в свободную энергию:

(30)

где б = 3 - И.

Результаты вычислений этой главы показывают, что в изинговских системах со случайными полями существуют нетривиальные локализованные состояния инстантонного типа, которые дают конечный вклад в. свободную энергию типа сингулярностей Гриффица. Эти существенно непертурбативные состояния, нарушающие репличную симметрию, имеют

конечную энергию и конечный размер. Вне всякого сомнения, подобные состояния должны играть решающую роль в динамических релаксационных процессах, которые по-видимому имеют много общего с медленными релаксациями в спиновых стеклах.

Часть 2. Статистические модели нейронных сетей Глава 8. Введение

Удивительным образом теория спиновых стекал, основанная главным образом на довольно искусственной модели с бесконечным радиусом взаимодействия, в последнее время получила новое значение в связи с возможностью, по крайней мере на качественном уровне, моделировать ассоциативную память. В последние годы было довольно убедительно продемонстрировано, что статистические модели нейронных сетей хорошо имитируют наиболее общие свойства ассоциативной памяти [40], [41] .

Все рассматриваемые модели основаны на совсем небольшом наборе биологически мотивированных предположений:

1) Минимальный структурный элемент нейронной сети - это "нейрон", состояние которого описывается одной переменной о. При этом предполагается, что нейрон может находиться лишь в двух возможных состояниях - возбужденном и погасшем. По этой причине для описания состояния нейрона обычно используется изинговская спиновая переменная а = ±1.

2) Процесс реконструкции образов происходит путем параллельной динамики нейронов, с начальной нейронной конфигурацией, соответствующей текущему визуальному образу, а конечная устойчивая нейронная конфигурация соответствует восстановленному образу, хранящемуся в памяти.

3) Память об образах записывается в межнейронных (спин-спиновых) взаимодействиях, причем эти взаимодействия являются пластичными и могут меняться в процессе обучения.

В этой главе рассматривается общая формулировка статистических моделей нейронных сетей на языке теории спиновых стекол, а также (в методологических целях) - формулировка и решение известной модели Хопфилда, которая описывает изинговскуй нейронную сеть с правилом обучения Хебба [42].

Глава 9. Нейронные сети с оптимизированными взаимодействиями

9.1. Итерационный алгоритм обучения

Особый интерес для статистической механики нейронных сетей представляет проблема оптимизации алгоритма обучения, который позво-

лил бы существенно увеличить предельную емкость памяти и качество восстановления образов.

В этой главе рассматривается изинговская нейронная сеть с симметричными взаимодействиями, гамильтониан которой определяется обычным образом:

Я = -5 (31)

1 и

Модель, в которой взаимодействия в этом гамильтониане определяются по обычному правилу Хебба, имеет максимальную емкость памяти ае = 0.14. Понятно, однако, что такая величина максимальной емкости есть в значительной степени просто свойство данного конкретного алгоритма обучения, и она по-видимому далека от максимально достижимой. На это ясно указывают результаты, полученные для итерационной процедуры "разобучения" [53], а также для модели с "псевдоортогональным" алгоритмом обучения [54], где максимальная емкость в такой системе при нуле температур равна ае = 1.

Здесь рассматривается модель, в которой взаимодействия задаются локальной итерационной процедурой, при которой существенным образом используется тепловой шум [8]. В результате, на каждом шаге итерации происходит модификация спин-спиновых взаимодействий следующего вида:

JiA1 + 1) = JJJW - «EWw + О(е') (32)

t

где £ = /3cosh'~5'(/?ft) < 1.

Решение этого уравнения имеет вид:

Jij(0 = + (33)

к

где Л = et. Учитывая, что матрица начальных взаимодействий задана по правилу Хебба, получаем:

Jij(0 = EÎ.!")(Î + *c)(;i>£,M (34)

где:

^ = Ç (35)

Очевидно, что с увеличением А структура спиновых взаимодействий становится все больше похожей на "псевдообратный" алгоритм. С помощью стандартного анализа "сигнал-шум" легко убедиться, что в противоположном пределе малых (положительных) А отношение сигнал/шум с ростом А увеличивается. Таким образом, можно ожидать, что алгоритм

'I ill I I I I 11 M 11II III! I 1 I I I M Ml И I l II1111 111II I I I

0.2 0 1 0.6 0.8 1.0

0

02

0Л

0.6

0.8

a

(i)

Рисунок l: (а) Фазовая диаграмма при T = 0 ; (б) Фазовая диаграмма при Т f 0 для А = 0,А = 1,А = 2,А = 5

обучения (34) должен улучшать функционирование модели по сравнению с обычной моделью Хопфилда. В этом можно убедиться непосредственными вычислениями.

9.2. Теория среднего поля

Вычисления по теории среднего поля дают фазовую диаграмму, показанную на Рис.1. Состояние, соответствующее фазе с памятью, существует в области а < а„(А). Линия ае(А) начинается в точке ае(0) 0.14, соответствующей обычной модели Хопфилда, и при А оо она асимптотически приближается к ае(оо) 1.07

В области о0(а) < а < ас(А) глобальным минимумом является спин-стекольное состояние, при а < ао(А) глобальным минимумом становится состояние с памятью. Как и в модели Хопфилда, на линии ае(А) происходит фазовый переход первого рода.

На Рисунке 16 показаны результаты для ненулевых температур при различных значений параметра А. Фаза с памятью существует ниже линии фазового перехода первого рода Те[а). В точке Тс = 1/(1 + А) при а = 0 происходит фазовый переход из фазы с памятью в парамагнитное состояние.

Таким образом, рассмотренное реплично-симметричное решение показывает, что при увеличении параметра А максимальная величина емкости памяти увеличивается, однако область температур, где может существовать фаза с памятью уменьшается. В целом это подтверждает общую идею, что для увеличения емкости памяти требуется вводить какой-либо шум в процедуру обучения.

Отметим также еще одно нетривиальное обстоятельство. Как известно

[54], реплично-симметричное решение "псевдообратной" модели является устойчивым, и именно оно дает предельное значение а, = 1. Однако, это реплично-симметричное решение по своей структуре существенно отличается от решения рассмотренного здесь. Оказывается, что в рассматриваемом классе моделей имеется по крайней мере два типа реплично-симметричных решений: одно (рассмотренное здесь) является (почти) правильным в пределе А -» 0 и соответствует решению модели Хоп-филда, а второе является правильным только в пределе А —» оо (в этом пределе первое решение тоже существует, однако оно соответствует "неправильному" экстремуму репличной свободной энергии). Переход из одного решения в другое происходит через состояние с нарушенной репличной симметрией, которое рассматривается в разделе 4.

9.3. Модель с коррелированными образами

Можно рассмотреть модель, в которой запоминаемые образы являются скоррелированными [9]. Корреляции между образами можно ввести, например, модифицировав распределение следующим образом:

г(е) +1 с вероятностью р .

' ~ | -1 с вероятностью 1 — р

При этом, как легко видеть << {И >>= 1 — 2р, и случай некоррелированных образов соответствует р = 1/2.

Прямым обобщением рассмотренной в предыдущем разделе модели на случай сильно коррелированных образов, является выбор гамильтониана в виде

Я = + (37)

' а

где переменными являются бинарные элементы и, принимающие значения О и 1, а взаимодействия определяются как результат итерационной процедуры, описанной в предыдущем разделе:

^ = Е^'а+^ч'"' (зз)

где = г;'1*' -р. При этом вмороженные образы описываются следующим распределением:

= р«[е - (1 - ?)] + (1 - р)«(е+р) (зэ)

Решение этой модели показывает, что при надлежащем выборе порога и, а именно:

и =

р(1-р)(1+Ар)

(40)

максимальная емкость памяти модели не зависит от Л и совпадает с теоретическим пределом: а а (2р1п(1/р))~1.

9.4. Нарушение репличной симметрии

Обычно, нарушение репличной симметрии, которое играет ключевую роль для понимания физики спин-стекольного состояния, в нейронных сетях считается явлением второстепенным. Примером тому является классическая модель Хопфилда, где это явление наблюдается только при очень низких температурах, и его проявление в термодинамике оказывается не особенно существенным.

Тем не менее, в настоящее время уже известны ряд проблем статистической теории нейронных сетей, где нарушение репличной симметрии оказывается весьма важным эффектом, и в частности это относится к проблеме Гарднер для моделей с бинарными связями [47]. Нарушение репличной симметрии оказывается также весьма существенным для понимания низкотемпературных свойств модели, рассматривавшейся в первых двух разделах этой главы. Любопытно, что здесь переход в фазу с нарушенной репличной симметрией происходит весьма нетрадиционным способом, с конечным скачком параметра порядка, причем решение с нарушением репличной симметрии на один шаг здесь является точным [10], [11] (чего в спиновых стеклах, как правило, не происходит).

Используя реплично-симметричные решения теории среднего поля (раздел 2), можно вычислить, что в области А << ехр(— энтропия становится отрицательной при Т < Та{а), где

Однако, если параметр Л не слишком мал:

ехр(-^) « Л « 1 (42)

то поведение 2о(а) становится совершенно другим:

Г°М-1 + |Г-Ь(1/а) (43)

где Г* = щт/д) Таким образом, в области (42) Т0(а) стремится к нулю при а —> О логарифмически медленно: Г0 (а) ~ щ^у С другой стороны, анализ устойчивости найденного реплично-симметричного решения показывает, что также как и в модели Хопфилда, при а —► 0 температура ТАт(а), ниже которой возникает неустойчивость по отношению к нарушению репличной симметрии, экспоненциально мала:

ЗД=^ехр(-^) (44)

Рисунок 2: Линии устойчивости реплично-симметричного решения Таг (а) и нулевой энтропии То (а) в низкотемпературной области

Качественное поведение линий Тлт(а) 11 Т0[а) показано на Рисунке 2. Мы видим, что в области

Т<Т'^Щх)' а<а' - ЩГ/А) (45)

линия Г0(а) идет выше, чем Тлт(а) и поэтому в интервале температур ТЛт(а) < Т < То(а) мы наблюдаем удивительное явление: реплично-симметричное состояние еще устойчиво, а энтропия уже отрицательна. Связано это с тем, что в пространстве состояний на конечном расстоянии от устойчивого реплично-симметричного состояния возникает другое устойчивое состояние (с нарушенной репличной симметрией), которое и "отбирает" часть энтропии.

Детальное рассмотрение решений с нарушенной репличной симметрией приводит к следующим результатам. Оказывается, как и. следовало ожидать, вблизи ЛГ-линии в области а > а' решение имеет традиционный для спиновых стекол вид малой ступеньки, которая исчезает на ЛГ-линии. Однако при а > а' решений с нарушенной симметрией такого типа, т.е. представлющего собой малые отклонения от реплично-симметричного решения не существует. В этой области реализуются решения с нарушенной репличной симметрией на один шаг, в котором величина ступеньки конечна (Рис.3).

Величина "ступеньки"' в этом решении получается малой:

= (46)

(здесь <у.= ехр(—2/Т)), однако она остается конечной во всей области существования решения.

Аналогичное решение с нарушением репличной симметрии на один

(а) Неаг Г,.,1«1

Рисунок 3: Решение с нарушенной репличной симметрией на один шаг в области а < а": (а) вблизи линии перехода; (б) при а -»О

шаг (которое также возникает в области, где реплично-симметричное решение еще устойчиво, а его энтропия уже отрицательна), известно для проблемы Гарднер с бинарными связями [47].

Заметим также, что для рассмотренной здесь проблемы, устойчивость найденного решения с нарушением репличной симметрии на один шаг можно доказать точно [48].

Глава 10. Иерархические модели нейронных сетей

До сих пор мы рассматривали модели, в которых запоминаемые образы были либо полностью некоррелированными, либо имели корреляции, которые можно было представить в виде общей ненулевой намагниченности. Особый интерес, однако, представляет случай, когда запоминаемые образы скоррелированы иерархическим образом (как, например, состояния спинового стекла), когда они могут быть сгруппированы в семейства, подсемейства внутри семейств , и т.д., в соответствии с величиной их взаимных перекрытий.

10.1. Структурная иерархическая модель

Идея этой модели состоит в том, чтобы ввести пространственную иерархическую структуру в определение самих спин-спиновых взаимодействий [12], [13].

Представим систему из N изинговских спинов в виде иерархии пространственных спиновых кластеров. Пусть каждый кластер {П} содержит | П | спинов, причем в каждом кластере 1-го уровня имеется ка подклас-теров (I — 1)-го уровня (Рис.4). При этом в кластерах самого нижнего уровня имеется ка спинов, а число уровней иерархии п = (1п.ЛГ)/(1пА0)-Промежуточный 1-й иерархический уровень характеризуется семейством кластеров | (!„,...а, |. где индексы ар = 1 ,...,к0 (р = 1,...,п) нумеруют кластеры р-го уровня.

Пусть запоминаемые образы также имеют пространственную струк-

Рисунок 4: Упорядоченная иерархия спиновых кластеров для ка = 4

туру, которая состоит в следующем. На самом нижнем уровне иерархии в каждом спиновом кластере существует Р0 некоторых фиксированных спиновых конфигураций £,■ , которые обладают тем свойством, что величина намагниченности в каждом кластере:

Е (1"} = м.,— (47)

■ЕП.,,...,

одинакова во всех этих состояниях (не зависит от ßi).

На втором уровне иерархии запоминаемые образы отличаются знаками намагниченностей {Ма1...а„}, но имеют одинаковые модули | Ма,...а„ | этих намагниченностей. Будем считать, что подобная организация повторяется на каждом уровне иерархии.

Таким образом может быть построено полное дерево состояний. Для запоминания этого, дерева предлагается следующий алгоритм. Зададим сначала взаимодействия между спинами внутри кластеров первого уровня таким образом, чтобы подобразы, заданные в этих кластерах были (как в модели Хопфилда) основными состояниями. Для этого, согласно правилу Хебба, определим спиновые взаимодействия внутри кластеров следующим образом:

= Е (48)

Эти взаимодействия задают основные состояния в каждом кластере, но не их взаимную ориентацию.

Соответственно на 1-м уровне задаются взаимодействия между спинами кластеров" | Л <,,_,...„„ | внутри кластеров следующего уровня | Па,...а, |:

W=1

где «' € Па,.,.....; У е ... ; (О) £ П.. ....

Заметим, что рассмотренная модель по своему устройству назначению существенно отличается от модели Хопфилда. Если в модели Хопфилда реконструируется конкретный образ из набора существенно различных (некоррелированных) образов, то здесь восстанавливается один из множества подобных (существенно скоррелированных) образов. Существенной особенностью этой модели является то, что запоминаемые образы по самому устройству модели должны быть сконструированы из одинаковых блоков-элементов.

10.2 Слоистая иерархическая модель

В этом разделе рассматривается другая модель, построенная по тому же принципу. Конструкция ее намного проще и позволяет явно "видеть" генеалогическое дерево" запоминаемых состояний [14], [15]. Кроме того, она интересна тем, что во многом аналогична иерархической структуре зрительной коры головного мозга [50].

Пусть имеется система из Ь слоев изинговских спинов. В каждом слое имеется N1 спинов (/= 1 ,...,Ь). Разобьем спины в слоях на кластеры П„ так что в каждом кластере 1-го уровня будет П( спинов. Взаимодействие между слоями устроим таким образом, чтобы все спины, принадлежащие одному кластеру (( - 1)-го слоя взаимодействовали с одним и только одним спином 1-го слоя. Таким образом, в каждом следующем слое число спинов уменьшается: N¡/N¡+1 = П|. Спин 1-го слоя взаимодействует ферромагнитным образом с суммарным моментом кластера (I — 1)-го слоя таким образом, что их знаки совпадают:

вгдп[ £ = ач (50)

Запоминаемые образы строятся на нижнем слое (/ = 1),и классифицируются в виде иерархического дерева. А именно, некоторое семейство состояний принадлежит одному "предочному" состоянию на следующем (втором) уровне иерархии, если во всех этих состояниях знаки намаг-ниченностей спиновых кластеров {О,-,} одни и те же. То есть, "предо-чное" состояние такого семейства дается некоторой спиновой конфигурацией на втором слое. Переходя от слоя к слою, таким образом может быть построено полное дерево специальным образом скоррелированных состояний. Число уровней иерархии равняется числу слоев.

Алгоритм запоминания состоит в следующем. Введем спиновые взаимодействия в каждом слое только внутри кластеров:

= ¡7 Е ; (ч) е п., (51)

Здесь {{''*'} (м = 1,...,Р|) - запоминаемые спиновые конфигурации в

кластерах 1-го слоя. Следует отметить, что запоминаемые таким образом спиновые состояния, конструируются из одного и того же набора блоков

- фиксированного набора состояний кластеров. Разумеется, в каждом кластере и в каждом слое этот набор может быть своим. На верхнем слое кластеров нет, и спиновые состояния запоминаются также, как и в модели Хопфилда.

Для того, чтобы предложенная модель работала, нужно чтобы число блоков в каждом кластере было не слишком большим: Р| < аеП|, где ае

- критическое значение емкости модели Хопфилда. При этом, разумеется, имеется в виду, что все размеры кластеров П( - макроскопически большие. г Процесс узнавания предложенного образа начинается с верхнего слоя, где хранится наиболее общая информация - огрубленные образы. Затем, в каждом следующем слое выбирается правильная ветвь дерева, и так -вплоть до последнего нижнего слоя, где устанавливается точное состояние.

Глава 11. Инвариантное распознавание образов

Как правило, в статистических моделях нейронных сетей ключевыми параметрами, которые описывают пространство образов, являются их взаимные перекрытия:.

Ч*" = (52)

Динамическими параметрами, которые описывают, как близка текущая спиновая конфигурация <г< (4) к заданному образу, являются перекрытия:

Процесс восстановления данного образа состоит в максимизации перекрытий (53) путем минимизации энергии.

В этой главе рассматривается проблема инвариантного распознавания образов; которая не может быть решена прямой минимизацией перекрытий (53). Дело в том, что любые два образа, которые с точки зрения здравого смысла являются идентичными (или близкими), но отличаются простым пространственным сдвигом (или поворотом, или масштабным преобразованием), с точки зрения перекрытий (52)-(53) являются совершенно различными.

Здесь рассматривается модель, предложенная в работе [16], в которой рассматривается проблема распознавания изинговских образов, которое инвариантно по отношению к трансляциям, вращениям и масштабным преобразованиям.

Идея состоит в использовании нейронных порогов (внешних магнитных полей) в качестве дополнительных степеней свободы. Введем в рассмотрение дополнительные "медленные" динамические переменные: векторный

параметр, который описывает глобальный пространственный сдвиг образов а, угол (или матрицу) глобальных пространственных поворотов образов в и параметр масштабного преобразования образов Л. Пусть наша система представляет собой двумерный "экран" - поэтому в дальнейшем для обозначения координат изинговских спинов, которые расположены на таком экране, вместо индексов («,у) будем использовать (дискретный) двумерный вектор г. После применения преобразования трансляции, вращения и масштабного преобразования имеем: г -» [Авг] + а, где [...] обозначает целую часть.

Модель устроена таким образом, что после предъявления данного образа а'°>(г), сначала должна происходить минимизация перекрытий:

М"( А,в,а) = ¿Ы(г)о(0)([Мг] + «) (54)

по отношению к параметрам А,9, а. И только после этого должен происходить обычный процесс восстановления образа как в модели Хоп-филда, где начальными спиновыми конфигурациями должен быть оптимальный по отношению к указанным выше преобразованиям образ ст(°)([А'й'г] + а*), где параметры А',В',а* должны находиться путем минимизации величины (54).

Используя нейронные пороги, эти две стадии распознавания образа можно устроить в рамках одной модели. Для простоты рассмотрим случай трансляций - обобщение для вращений и масштабных преобразований будет не сложным.

Модель описывается следующим гамильтонианом:

Н = -|£./(г,г'МгМг') - ЛЕ^Нг + аИг) (55)

* ' У '

Здесь J(r,т') - это взаимодействия, задаваемые по правилу Хебба, Л -это некоторый параметр и а'°'(г + а) - это некоторый начальный образ, который нужно распознать. Предполагается, что этот образ похож на один из образов, хранящихся в памяти, скажем, образ р*, отличаясь от него при этом на некоторый общий пространственный сдвиг а*.

Будем считать, что переменные а являются "быстрыми", а переменная а - медленной, т.е. характерное время изменения а много больше характерного времени релаксации переменных а. При некотором фиксированном значении а движение изинговских переменных описывается обычной дискретной релаксационной динамикой.

Дискретная динамика для переменной а задается следующим образом. Вероятность того, что а принимает некоторое новое значение (отличающееся от прежнего на один решеточный размер) а' имеет вид:

р(а) " Е..«р[АЯ(.-)1 (56)

где Е(а) - это равновесная энергия спиновой системы для фиксированной величины а:

Е(в) = £ т» - Ь£о<°>(г + а) < а(г) > (57)

(1=1 Г

Суммирование в уравнении (56) идет по сдвигам на один решеточный размер: а" = а ± с,, а ± е„. Кроме того, в этом уравнении вводится новая температура /?„ для переменной а, которая вообще говоря, может отличаться от температуры спиновой системы.

Предположим, что для некоторого значения а* начальный образ {ст'0'} имеет конечное перекрытие с одним из образов, хранящихся в памяти, скажем с образом номер д0 и имеет исчезающие (в пределе N—>00) перекрытия со всеми остальными образами.

Очевидно, что пока все в уравнении (57) малы, то второй член в уравнении (57) доминирует, и все спины выстраиваются по локальному полю Л«г(°'(г):

< ст(г) <т(0)(г + а) 1апЬ(/?Л) (58)

Поэтому, эффективный потенциал для переменной а имеет вид:

Е( а) = г(/?Л)£М» (59)

Заметим, что для того, чтобы существовало эффективное притяжение сдвигаемого образа к "правильному" положению, важно предполагать, что все образы, имеющиеся в памяти рассматриваемой системы, имеют конечную пространственную корреляционную длину Яс. В этом случае эффективный потенциал в окрестности правильного положения а" будет иметь вид "гладкой" ямы.

Таким образом, первую фазу восстановления "правильного" образа в рассматриваемой модели можно представить как поиск этого образа путем блуждания по состояниям в ЛГ-мерном гиперкубе в пределах некоторого 21) "подпространства", которое ¡задается спиновой конфигурацией <т'°'(а). При некотором а' (правильная величина сдвига) в этом подпространстве имеется самая глубокая потенциальная яма, в которой величина достигает максимума!

Рассмотренная выше схема легко обобщается на случай вращений и масштабных преобразований.

Глава 12. Модели памяти для конфигураций полимерных цепочек

Традиционная проблема физики белковых глобул состоит в том, чтобы предсказать естественную форму белковой цепочки, исходя из "первых

принципов", т.е. из вида заданных взаимодействий мономеров между собой и с окружающей средой. Поскольку большинство белков имеют одну или несколько равновесных конфигураций глобулы, то можно было бы попытаться "построить" гетерополимер путем адекватного подбора взаимодействий между мономерами, который имел бы много наперед заданных равновесных (метастабильных) совершенно различных конфигураций. В этой главе показано, что, по крайней мере для полимеров, находящихся в бесконечномерном пространстве, с помощью специального подбора взаимодействий между парами мономеров можно "запомнить" множество наперед заданных конфигураций для одной полимерной цепочки [17]. Идея состоит в использовании известного их теории нейронных сетей правила Хебба для определения потенциала взаимодействия между парами мономеров.

12.1. Модель

Как это часто бывает в статистической механике, для изучения сложной проблемы полезно понять свойства какой-нибудь "игрушечной" модели, которая сохраняя наиболее общие свойства исходной системы, допускала бы аналитическое (нетривиальное) решение .в рамках простой теории среднего поля. В данном случае, поскольку реальная проблема конфигураций полимерных цепочек в пространстве конечной размерности чрезвычайно сложна, мы хотим изучить свойства системы в пределе бесконечной размерности.

Пусть пространство состоит из N точек, которые будут обозначаться индексом I, 1 = 1,.Полимерная цепочка, которая полностью заполняет собой это пространство (без пустот), состоит из такого же числа N "мономеров", которые будут нумероваться индексом г, т = 1,..., ТУ. Каждой данной конфигурации, заданной положением всех мономеров в узлах пространства г.= г(»), можно привести в соответствие определенную пермутацию ж индексов «'. Каждая такая пермутация х может быть описана с помощью матрицы пермутаций 5,', элементы которой принимают значение 0 или 1, причем

= = 1. (во)

I г

Задача состоит в том, чтобы с помощью некоторого гамильтониана, зависящего от переменных 5,г, запомнить некоторый набор Р наперед заданных случайных пермутаций, которые будут обозначаться матрицами ££ д = 1, ...,р. Очевидно, что полное число таких пермутаций равно ТУ!. По аналогии с нейронными сетями, гамильтониан системы будет выбран в виде:

В = Е ¿¡¡8*8^ (61)

а матрицу взимодействий J¡f мы определим согласно правилу Хебба: 7,™ = А Таким образом, гамильтониан рассматриваемой модели

имеет вид:

я = (62)

Заметим, что константа А в этом гамильтониане должна зависеть от N таким образом, чтобы энтропия и энергия были одного порядка. Поскольку общее число конфигураций равно N1, энтропия зависит от N как ~ ЛПпЛ?. Поэтому, чтобы энергия была того же порядка, зависимость А от N нужно определить как А = \nNf2N.

12.2. Запоминание одной конфигурации

Рассмотрим сначала ситуацию, когда запоминается одна конфигурация. В этом случае простым переобозначением мономеров мы всегда можем выбрать £,> — £1Т и для гамильтониана (62) получим:

Эту задачу можно решить точно для любого N. результат для статистической суммы имеет вид:

г = [ Г а(е-«{( _ ! + (64)

1 у^г/Д/УЫУ ■

В пределе N —► оо, результат для статсуммы можно получить находя перевал по т и Перевальная точка т = 0 существует всегда и дает Z = ЛП, и соответственно, для свободной .энергии находим: = -тыг/тъи = -Т.

Однако, в области 4 < Л^"1 существует другая седловая точка т ф О. В этой области уравнения на седловую точку по т дают т = 1 и поэтому < < В противоположном случае ( > Л^ предположение т ^ 0 не

проходит. Таким образом, мы находим, что решение т = 1 существует лишь при Т < 1.

Для свободной энергии в состоянии т = 1 находим ^ = -1/2. Сравнивая этот результат со свободной энергией состояния с т = О, мы видим, что состояние с т = 1 становится глобальным минимумом свободной энергии при Т < 1/2.

12.3. Запоминание макроскопического числа конфигураций Рассмотрим модель, в которой запоминается Р случайных пер-

мутаций. Легко видеть, что максимальное число конфигураций, которые можно запомнить в рассматриваемой модели зависит от N как Лг3/1пЛг. Действительно, число параметров взаимодействия, с помощью

Рисунок 5: Фазовая диаграмма на плоскости (Г, а). Р обозначает парамагнитную фазу, ЯС? - спин-стекольную и Я - фазу с памятью

которых осуществляется запоминание порядка ТУ4, а информационное содержание одной конфигурации равно 1п//! ~ Поэтому, предпо-

лагая конечность информационной емкости одного параметра, для числа Р конфигураций, которые можно запомнить, получаем следующее ограничение: РЫЫЫ < Л'4, которое и приводит к результату, упомянутому выше.

Для усреднения по случайным вмороженным конфигурациям можно пользоваться стандартными методами репличной теории спиновых стекол. Предполагается, как и при рассмотрении нейронных сетей, что конечное перекрытие термодинамического состояния происходит (если происходит) только с одной из вмороженных конфигураций.

Вычисления показывают, что состояние с памятью является абсолютным минимумом свободной энергии Г в области параметров:

О <Т < 1/4 а < ¿Г(1/2 - Г) 1/4 < Т < 1/2.

Заметим, что при нулевой температуре решение с т = 1 является глобальным минимумом свободной энергии вплоть до а < 1/22 и продолжает существовать как' метастабильное состояние до а < 2/13. Спин-стекольное состояние всегда оказывается состояние с нарушением репличной симметрии на один шаг, причем /3„4 = даь для всех аЬ. Это означает,' что для различных индексов » матрицы Я?, реплики ориентированы одинаковым образом, т.е. равно 0 или 1 независимо от ». Фазовая диаграмма модели показана на Рис.5.

12.4. Одномерные ориентированные полимеры

Рассмотрим одномерную систему, в которой последовательность из N различных мономеров отражается на цепочку также состоящую из N узлов со взаимодействием ближайших соседей:

я = -ЕЕ^тЛ,,. (ев)

I Г.г'

Поскольку запоминаемая конфигурация ([ может быть произвольной, выберем ее в виде: {¡т = <51Г. Матрица взаимодействий в данном случае имеет вид:

Л,,. = Е = . (67)

*

Такое определение взаимодействий отличается от общего правила, поскольку мы рассматриваем ориентированную цепочку, в которой порядок мономеров фиксирован: мономер т в узле г взаимодействует с мономером т + 1 в узле х + 1, но не взаимодействует с тем же мономером в узле »' - 1.

Для статистической суммы вычисления в главном порядке по NlnN дают:

2 ~ехр(0ЛПоеЛГ), /?> 1

г ~ехр(ЛПо8Л0, /Э<1 1 ;

Соответственно для параметра порядка

т = А Е,> < £757« >= ттЬт^г (69)

находим следующий простой результат:

( 1 ит< 1

т = (о ¡ГГ> 1

Этот результат показывает, что поведение одномерной системы аналогично свойствам бесконечномерной модели. Единственное отличие состоит в том, что при низких температурах в одномерной системе существует только одно термодинамическое состояние, имеющее идеальное перекрытие с заданной конфигурацией, а неупорядоченное состояние отсутствует.

12.5 Модель с конечным числом видов мономеров

Можно также рассмотреть модель, в которой полимерная цепочка длины N—>00 состоит из конечного числа М различных мономеров [18].

Как й раньше, конфигурация полимера в "пространстве" будет описываться матрицей пермутации 5'. Однако теперь цепочка длины N образована из М различных видов мономеров. Положение этих мономеров

вдоль цепочки описывается матрицей принимающей значения 0 или 1, где индекс т = 1,2,...,М нумерует виды мономеров. Если, скажем, матричный элемент равен 1, то это значит, что в узле номер т вдоль полимерной цепочки находится мономер вида т. По определению:

м .

X! = 1 для всех т (71)

т=1

т.е. в любом узле цепочки может находиться только один мономер. Мы рассматриваем случай, когда М « N, поэтому мономер каждого вида повторяется вдоль цепочки много раз:

N ДГ

Ц$Г = 77 для всех ш (72)

1=1 м

Таким образом, положение мономеров в пространстве для полимерной цепочки конфигурация которой в пространстве описывается матрицей 5(г, можно описать следующей матрицей:

"Г = £¿"5; (73)

Г=1

элементы которой также принимают значения 0 или 1.

Гамильтониан такой системы имеет вид:

" = (74)

В рассматриваемой модели запоминаются некоторые случайные матрицы пермутации {И (д = 1,2,...,Р). Взаимодействия З^1 между мономерами задаются в следующем виде:

(75)

Вычисление термодинамики той модели оказывается во многом аналогичным случаю М = N, рассмотренному выше. Эти вычисления приводят к следующим результатам [18]:

1) Поскольку характерная величина энтропии в данной системе порядка N 1пМ, а энергия (74), согласно (75), порядка N, то характерные температуры оказываются порядка (1пМ)-1.

2) Максимальная емкость памяти а = Р/М оказывается порядка М*/1пМ. Действительно, число параметров J™k, с помощью которых осуществляется запоминание - порядка ИгМг\ информация, содержащаяся в Р конфигурациях - порядка 1п(М")р = РЫ\пМ\ поэтому PN\nM < ЛГ'М1, откуда следует, что а <

0.5

Тс(оЧ

0 25

05

a

Рисунок б: Фазовая диаграмма модели с конечным числом типов мономеров на плоскости (Т,а). Р обозначает парамагнитную фазу, 5С? -спин-стекольную и М - фазу с памятью

3) В случае М » 1 (M/N —» 0) фазовая диаграмма на плоскости (Г, а) (после замены Т —> Г(!пЛ/)-1) оказывается во многом аналогичной полученной выше фазовой дааграмме для случая M = N (Рис.6).

Глава 13. Нейронные сети с подвижными образами

Введение "подвижности" образов в нейронных сетях означает, что параметры, которые описывают эти образы, становятся медленными переменными. Такие системы интересны, поскольку они представляют собой своего рода термодинамическую модель часто рассматривающихся итерационных процедур "обучения", при которых происходит стохастическая модификация синаптических взаимодействий [52].

В частности, если температура в системе образов X" отрицательна, то оказывается, что эти образы двигаются таким образом, чтобы стать по возможности максимально ортогональными друг другу. При этом уменьшается их взаимная интерференция, и тем самым существенно увеличивается емкость памяти. По всей видимости, модель с отрицательной температурой Т' в некотором смысле описывает хорошо известную империческую процедуру "разобучения", при которой, путем стохостического уменьшения интерференции между образами, емкость памяти существенно увеличивается [53].

Результаты вычислений этой главы показывают, что при отрицательном п в пределе нулевых температур критическое значение емкости памяти оказывается равным ас = 1 (в отличие от модели Хопфилда, где ас = 0.14). В области конечных температур на фазовой диаграмме в плоскости (Г, а) область фазы с памятью также существенно увеличи-

п: (а) |n| » 1 ;• (6) |n| « 1.

вается [2] (Рис.7).

Отличие этой фазовой диаграммы от соответствующей фазовой диаграммы модели Хопфидла состоит в том, что линия фазового перехода (первого рода) в фазу с памятью начинается в точке ас = 1 при Т = О, а не в точке а = 0.138, как в модели с вмороженными образами. Это остается универсальным свойством модели при любом ненулевом значении

М-

Условие, при котором реплично-симметричное решение становится неустойчивым по отношению к нарушению репличной симметрии, можно вычислить точно также, как это . делается в спиновых стеклах и в нейронных сетях с вмороженными образами [19], [40]. В рассматриваемом случае, когда репличный параметр п остается конечным, это условие выглядит следующим образом:

(Г - 1 + ,)» < q« +

v ' «(coshß(m + y/äfz))" » v '

Граница области устойчивости реплично-симметричного решения (когда знак "<" в этом условии заменяется на "=") дает на фазовой диаграмме линию Гаг (<*>»»)•

Существенно также, что при любом |п| в низкотемпературной части фазы с памятью, в том числе и на нуль-температурном интервале 0 < а < 1 реплично-симметричное решение всегда устойчиво.

References

[1] В.С.Доценко "Физика спин-стекольного состояния", УФН 163(6), 1 (1993)

[2] V.S.Dotsenko, S.Franz and M.Mezard, J.Phys. Л27, 2351 (1994)

[3] V.S.Dotsenko, J.Phys. C20, 5473 (1987)

[4] V.S.Dotsenko, J.Phys.: Condens.Matter 2, 2721 (1990)

[5] V.S.Dotsenko, J.Phys. C18, 6023 (1985)

[6] V.S.Dotsenko, J.Phys. A2T (1994) 339 Y

[7] G.Parisi and V.S.Dotsenko, J.Phys. A25, 3143 (1992)

[8] V.Dotsenko, N.Yarunin and E.Dorotheyev, J.Phys. A24, 2419 (1991)

[9] R.Der, V.Dotsenko and B.Tirozzi, J.Phys. A25, 2843 (1992)

[10] V.Dotsenko and B.Tirozzi, J.Phys. A24, 5163 (1991)

[11] V.Dotsenko and B.Tirozzi, Physica A185, 385 (1992)

[12] V.Dotsenko, J.Phys. C25, L1017 (1985)

[13] V.Dotsenko and B.Tirozzi, Int.J.Mod.Phys B3, 1561 (1989)

[14] V.Dotsenko, Physica 140A, 410 (1986)

[15] В.С.Доценко, Письма ЖЭТФ, 44, 151 (1986)

[16] V.Dotsenko J.Phys. A 21, L783 (1988)

[17] V.Dotsenko, S.Franz and M.Mezard, J.Phys. bf A25, 6631 (1992)

[18] E.A.Dorotheyev, V.S.Dotsenko and B.Tirozzi, Int.J.Mod.Phys., В T, 2509 (1993)

[19] M.Mezard, G.Parisi and M.Virasoro "Spin-Glass Theory and Beyond", World Scientific 1987

[20] K.Binder and A.P.Young "Spin Glasses: Experimental Facts, Theoretical Concepts and Open Questions", Rev.Mod.Phys. 58, 801 (1986).

[21] G.Toulouse, Commun.Phys. 2, 115 (1977).

[22] S.F.Edwards and P.W.Anderson, J.Phys. F5, 965 (1975).

[23] D.S.Fisher and D.A.Huse, Phys.Rev. B38, 373 (1988); Phys.Rev. B38, 386 (1988).

[24] R.Rammal, G.Toulouse and M.A.Virasoro, Rev.Mod.Phys. 58, 765 (1986).

[25] D.Sherrington and S.Kirkpatrick, Phys.Rev.Lett. 35, 1972 (1975)

[26] J.R.L. de Almeida and D.J.Thouless, J.Phys. All, 983 (1978) [27J M.Mezard et al, J.Physique 45, 843 (1984)

[28] M.Mezard and M.A.Virasoro, J.Physique 46,1293 (1985)

[29] M.Lederman et al, Phys.Rev. B44, 7403 (1991);

E.Vincent et al, "Slow Dynamcs in Spin Glasses and Other Complex systems", Saclay Report SPEC/91-080;

J.Hammann et al, "Barrier Heights Versus Temperature in Spin Glases", Preprint 23/0016;

F.Lefloch et al, "Can Aging Phenomena Discriminate Between the Hierarchical and the Droplet model in Spin Glasses?", Saclay Report SPEC/91-098.

[30] M.Alba et al, J.Phys. C15, 5441 (1982); E.Vincent and J.Hammann, J.Phys. C20, 2659 (1987).

[31 [32 [33 [34 [35 [36 [37

[38 [39 [40 [41 [42 [43

M.Alba et al, Europhys.Lett. 2, 45 (1986).

L.Lundgren et al, Phys.Rev.Lett. 51, 911 (1983)

I.Kondor J.Phys. A16, L127 (1983)

Y.Imry and S.-K.Ma, Phys.Rev.Lett. 35, 1399 (1975)

A.P.Young, J.Phys. C 10, L257 (1977)

G.Parisi and N.Sourlas, Phys.Rev.Lett. 43, 774 (1979)

G.Parisi "Quantum Field Theory and Quantum Statistics" (Bristol: Adam Hilger) (1987)

R.B.Griffith, Phys.Rev.Lett. 23, 17 (1969)

U.Nowak and K.D.Usadel, Phys.Rev. B 43, 851 (1991)

D.Amit, H.Sompolinsky and H.Gutfreund, Ann.Phys. 173, 30 (1987)

D.Amit, "Modeling Brain Function" (Cambridge, Univ.Press, 1989) J.Hopfield, Proc.Natl.Acad.Sci.USA 79 2554 (1982)

E.Gardner Europhys.Lett. 4, 481 (1987) E.Gardner J.Phys. A21, 257 (1988)

[44] D.Kleinfeld and D.B.Pendergraft Biophys.J. 51 47 (1987)

J.L.van Hemmen, L.B.Ioffe, R.Kuhn and M.Vaas, Physica 163A 386 (1989)

[45] L.Personaz, I.Guyon and G.Dreyfus, J.Physique Lett. 46 L359 (1985) I.Kanter and H.Sompolinsky, Phys.Rcv.A. 36 380 (1987)

[46] Tsodyks M.V. and Feigelman M.V. Europhys.Lett. 6 101 (1988)

[47] E.Gardner and Derrida, J.Phys. A21, 271 (1988) ; W.Krauth and M.Mezard, J.Physique 50, 3057 (1989); H.Gutfreund and Y.Stein J.Phys. A23, 2613 (1990)

[48] E.Dorotheyev, J.Phys. A 25, 5527 (1992)

[49] N.Parga and M.A.Virasoro J.de Physique 47,1857 (1986)

H.Gutfreund Phys.Rev. A37, 570 (1988) M.Feigelman and L.Ioffe, Int.J.Mod.Phys. Bl, 51 (1987)

[50] D.H.Hubel and T.N.Wiesel, Proc.Royal.Soc.London, B108,1 (1977)

[51] R.Kree and A.Zippelius, J.Phys. A 21, L813 (1988); C. von der Malsburg and E.Bienenstock, Europhys.Lett 3, 1243 (1987); D.Horn "Shift-invariant multi-connected neural networks", Preprint (1988)

[52] K.Y.M.Wong and D.Sherrington "Neural Networks Optimally Trained with Noisy Data", University of Oxford Preprint OUTP-93-16S (1993).

[53] Kleinfeld D. and Pendergraft D.B. Biophys.J. 51 47 (1987) van Hemmen J.L., Ioffe L.B., Kuhn R. and Vaas M. Physica 163A 386 (1989)

[54] Personaz L., Guyon I. and Dreyfus G. J.Physique Lett. 46 L359 (1985) Kanter

I. and Sompolinsky H. Phys.Rev.A. 35 380 (1987)