Модифицированные алгоритмы стохастической аппроксимации тема автореферата и диссертации по математике, 01.01.09 ВАК РФ



л'1 " и_

САНКТ-ПЕТЕРБУРГСКИИ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

На правах рукописи

КОМАРОВ Сергей Витальевич МОДИФИЦИРОВАННЫЕ АЛГОРИТМЫ СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ

01.01.09 - математическая кибернетика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Санкт-Петербург - 1993

Работа выполнена на кафедре теоретической кибернетики матема-тико-механического факультета Санкт-Петербургского государственного университета.

Научный руководитель - кандидат физико-математических наук,

старший научный сотрудник Т. П. КРАСУЛИНА

Официальные оппоненты: доктор технических наук, профессор

0. Ю. КУЛЬЧИЦКИИ

кандидат физико-математических наук, доцент О.Н. ГРАНИЧИН

Ведущая организация: Математический институт РАН им. В.А. Стек-

лова (Санкт-Петербургское отделение)

Защита состоится " /е " 199?г. в часов на

заседании Специализированного совета К 063. 57.49 по присуждение ученой степени кандидата физико-математических наук в Санкт-Петербургском государственном университете по адресу: Санкт-Петербург, Старый Петергоф, Библиотечная площадь, дом 2.

С диссертацией можно ознакомиться в библиотеке имени М. Горького Санкт-Петербургского государственного университета по адресу: Санкт-Петербург, Университетская набережная 7/9.

Автореферат разослан " нио.^^Л 199/г. Ученый секретарь

Специализированного совета А. И. Шепелявый

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.

Актуальность темы. Алгоритмы стохастической аппроксимации и их модификации продолжают активно изучаться и по сей день. Они широко используются в задачах оценивания, идентификации, фильтрации, обучения и различных задачах адаптации. Процессам стохастической аппроксимации и их пременениям к указанным выше задачам посвящена обширная литература как в нашей стране так и за рубежом. Хорошо известны работы по этой тематике таких авторов как Я. 3 Цып-кин, Б. Т. Поляк, А. Н. Бородин, А. П. Коростелев, Т. П. Красулина* Ю. М Ермольев, 0. Ю. Кульчицкий. Из зарубежных авторов можно отметить Д. Анбара, Г. Кушнера, Л. Льюнга, Д. Рупперта и др. В последнее время, особенно за рубежом, возрос интерес к задаче нахождения непрерывных точек различных непрерывных отображений. Различные рекуррентные алгоритмы для решения этой задачи, имеющие много общего с процессами стохастической аппроксимации предлагались и исследовались в работах С. Ишикавы, Д. Манна, Л. Кихоу.

Важным преимуществом рассматриваемых алгоритмов (особенно проявляющимся при реализации их на ЭВМ) является их рекуррентность и достаточно простой вид, что влечет ослабление требований к рабочей памяти и вычислительным мощностям используемых компьютеров. В связи с этим большой интерес представляют условия применимости алгоритмов стохастической аппроксимации и их модификаций, предназначенных для практических приложений. В ряде задач, в частности, в медицинских и биологических исследованиях, требуется обеспечить сходимость алгоритма стохастической аппроксимации к корню уравнения регрессии снизу. При генетических исследованиях возникает необходимость оценки вероятность вырождения того или иного генетического фактора. Кроме того, для практической реализации алгоритма на вычислительных машинах, важное .значение имеет быстрота сходимости того или иного процесса стохастической аппроксимации. Поэтому разработка и исследование методов решения указанных задач, а также изучение скорости сходимости процессов стохастической аппроксимации, имеют большое научное и практическое значение.

Цель работы. Целью настоящей работы является - разработка и обоснование алгоритмов нахождения неподвижных точек различных случайных отображений; применение этих алгоритмов к задаче оценивания вероятности вырождения ветвящегося процесса;

различных случайных отображений; применение этих алгоритмов задаче оценивания вероятности вырождения ветвящегося процесса;

- разработка и исследование процессов стохастической аппроксима ции, обладающих свойством односторонней сходимости;

- исследование скорости сходимости некоторых алгоритмов стохасти ческой аппроксимации.

Методика исследования. В качестве основного метода исследова ния используется аппарат теории случайных процессов и стохастичес ких дифференциальных уравнений. Для доказательства сходимости ах горитмов используются мартингальная теория, схема, использованная Д. Анбаром (Anbar D.A. A modified Robbins-Monro procedure approximating the zero of a regression function from below. - Ann. Statist., 1977, v.5, p.229-234.), и метод, предложенный Майором v Ревесом (Major P., Revesz P. A limit theorem for the Robbins-Monro approximation. - Z. Wahrsch. Verw. Geb., 1973, 27, p.79-86. и развитый затем в работах JI. Гольдстейна и Т. П. Красулиной. Последний метод используется также при исследовании скорости сход! мости процессов стохастической аппроксимации

Научная новизна и практическая ценность. В диссертации доказаны следующие теоремы:

- теоремы о сходимости стохастических рекуррентных процедур к неподвижной точке в одномерном и многомерном случаях;

- теорема о сходимости стохастической рекуррентной процедуры к значению вероятности вырождения ветвящегося процесса;

- теорема об односторонней сходимости модифицированного непрерывного процесса стохастической аппроксимации к корню уравнения регрессии;

- теорема об односторонней сходимости модифицированной процедуры стохастической аппроксимации в дискретном случае при новом выборе констант, определяющих процесс.

Исследована скорость сходимости процессов стохастической аппроксимации в неисследованных ранее случаях.

Полученные в диссертации теоретические и практические резул] результаты позволяют обосновать применение стохастических реку] рентных процедур в различных задачах адаптации и обу-гн::я Кроме того, процессы, обладающие свойством односторонней сходимости мо гут применяться в медицинских и биологических исследованиях.

алгоритмы оценивания вероятности вырождения ветвящегося процесса -в генетических исследованиях.

Апробация работы. Результаты диссертационной работы докладывались на 5 Ленинградском международном симпозиуме по теории адаптивных систем, а также на научных семинарах кафедры теоретической кибернетики Санкт-Петербургского университета и опубликованы в работах [1-4].

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения и списка литературы. Объем диссертации составляет 116 страниц. Библиография содержит 75 наименований.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ.

ВО ВВЕДЕНИИ обосновывается актуальность выбранной темы, делается краткий обзор истории и современного состояния вопроса, излагается суть решаемой проблемы. Формулируются основные положения, выносимые на защиту.

В ПЕРВОЙ ГЛАВЕ диссертации рассматривается применение стохастических рекуррентных процедур к задаче нахождения неподвижных точек различных случайных функций как в одномерном, так и в многомерном случае. Кроме того, решается задача нахождения вероятности вырождения ветвящегося процесса по наблюдениям его первого поколения. Связь этой задачи с проблемой нахождения неподвижной точки заключается в том, что значение вероятности вырождения является наименьшей неподвижной точкой производящей функции ветвящегося процесса. В силу того, что производящая функция может иметь более одной неподвижной точки, для этого случая было проведено отдельное доказательство, не сводящееся к ранее доказанным результатам.

В §1.1 предлагается рекуррентная стйхастическая процедура для нахождения неподвижных точек непрерывных отображений, которые могут наблюдаться лишь с некоторой аддитивной помехой. Причем рассматриваются пять наиболее популярных в теории неподвижных точек видов таких отображений. Напомним соответствующие определения.

Пусть Б с 1Н — некоторое компактное подмножество гильбертова пространства !Н. Т: Е—- непрерывное отображение множества Б в себя. Точка реБ называется неподвижной точкой отображения Т, если

ослабленным сжатием, если найдется 0^к<1 такое, что

11ТагрП2^11(Е-р112+к11Тж-<с112, V хеВ. реПТ), где Г(Т) - множество неподвижных точек отображения Т; полусжимающим, если

II Т<с- р IIII р II2+II Т*с- <с112, V аэеБ, реГ(Т); квазисжимающим, если найдется 0^к<1 такое, что

ИТагТ^И* к тшс||1аг</11, ПатТ^Н, IIу-Т//11, НагТуИ, Ну-Т<с1|} V а. <¿6О

обобщенным сжатием, если

11ТагТ^тал:{|1<с-у11, НагМ, Иу-Ту11. 11<с-Ту11 . Пу-Т<с1|}- V а, уеБ.

Для нахождения неподвижных точек указанных-пяти видов отобр; жений применяются в основном две рекуррентных процедуры. Это дву: шаговая схема Ишикавы и процесс Манна, которые более подробно ра! сматриваются в параграфе. В параграфе далее рассматривается качестве 1Н пространство К и предполагается, что значения Нес) м< гут наблюдаться лишь с некоторой аддитивной помехой 7.(<с), для ю торой выполнено следующее:

а) Е г(<с)=0,

б) Е I < а>.

Для нахождения неподвижной точки отображения Т( предлагается следующая процедура:

X ,=1иХ (1-а )+а (Т(Х ) ( X ))], (

п+1 и п п п. п п

где Пп - операция проектирования на множество Б.

Теорема 1.2.

Пусть Б - компактное подмножество множества вещественных ч сел К, Т: В—»Б - непрерывное отображение Б б себя. Предположим, ч множество неподвижных точек отображения Т состоит из единственн неподвижной точки р, причем р - внутренняя точка множества Б.

Пусть аддитивная помеха наблодения удовлетворяет условиям и б), а положительные константы ап - следующим соотношениям:

оо га

У а =га, Г а <00.

" п г»

, П , п

П=1 П=1

Тогда, если

1 ) Т - псевдосжатие, или

2) Т - ослабленное сжатие, или

3) Т - полусжатие, или

4) Т - квазисжатие, или

5) Т - обобщенное сжатие,

то процесс (1) сходится к точке р с вероятностью 1.

Затем рассматривается характер сходимости соответствующим образом нормированного процесса к неподвижной точке. Доказана следующая теорема, в предположении, что выполнены условия теоремы .

А

1.2, а константы а имеют вид —.

п II

Теорема 1.3.

Пусть функция Т(£) допускает представление

Т(а;)-р=а(<с-р)+о( I а>р| ) и а<1- ^

Пусть, кроме того, существует конечный предел

Um. Е Z2(<с) = Е Z2(p) = о2 х->р

и для некоторого 8>0 выполнено соотношение

Um. ьир Г |Z(x) |2P(du)=0

R->m IÍC—рI<0 |Z(¿) |>R

Тогда n1/2(Xn-p) ~ mo,I^¡[).

Далее рассматривается аналогичная задача для случая, когда множество D является подмножеством пространства IR". Предлагается процедура, аналогичная процессу (1), но предполагается, что оператор проектирования П0 определяется специальным, хотя в каком-то смысле естественным, образом. А именно,

П у = адд. min llx-yll. 0 xeD

Для этого случая также доказывается сходимость предложенного процесса к неподвижной точке с вероятностью 1.

В §1.2 решается задача нахождения вероятности вырождения ветвящегося процесса Гальтона-Ватсона. Напомним некоторые определения, касающиеся этой задачи.

Однородная цепь Маркова (1=0,1,...) с неотрицательными

целочисленными значениями называется ветвящимся процессом с одним типом частиц (процессом Гальтона-Ватсона), если ее переходные

вероятности Р^Ч = Р { | 0) =1 | за время I удовлетво-

ряют условиям

Рит =

> .р (ир (1)...Р (и.

О!4"- • • ^ 2

Производящей функцией случайной целочисленной неотрицательной величины у с распределением вероятностей рк = Р-|у=к|- называется ряд ,

Пг) = Е г" = У гкр , \г \ £ 1 . к=0 К

Из определения ветвящегося процесса видно, что аппарат производящих функций вполне применим для изучения его свойств.

Пусть = Р{ £(1) = 3 | €<0) = 1 },

р^Ш = Р{?(1) = j | £(0) = 1 }; Ф(д) = Е{^(1)| £(0)=1 } и Ф4(й) = е{<£Ш| £(0)=1 }--

производящие функции этих"распределений, то есть

4>(л) = 7р,ь(Ь)лк , ФЫ = Ф,Ы .

1 к=о 11с 1

Функцию Фь(<0 называет производящей функцией ветвящегося процесса

Если в ветвящемся процессе £(1) для некоторого 10>0 £(10)=0, то говорят, что .процесс выродился к моменту 10- Величину

Я = р| £(П=0 для некоторого 1>0 | £(0)=1 }-

называют вероятностью вырождения процесса. Если я = 1, то процеа называется вырождающимся. Известно, что вероятность вырождения яв ляется наименьшим неотрицательным корнем уравнения Ф(д) = В диссертации доказана следующая теорема. Теорема 1.8.

Пусть £(1) - ветвящийся процесс, ~ семейство

реализаций первого поколения процесса при условии £(0)=1;

последовательность положительных констант, удовлетворя-

ы-

ющих условиям

га 00

а<1, У"а=оо, У"а<ш.

П 4-, П 1-, П

П=1 П=1

Пусть, кроме того Е £2(1) = К < <о .

Тогда случайный процесс, задаваемый рекуррентно формулой

о. , = л + а ( - л ) , 0 < л '< 1 ,

п+1 п п п п О

сходится с вероятностью 1 к наименьшему корню уравнения

Ф(л) = л ,

а следовательно и к значению вероятности вырождения ветвящегося процесса .

Далее в параграфе предлагается рекуррентный процесс, являющийся некоторой модификацией исходного процесса, обеспечивающей "отталкивание" процесса от 1 в случае, когда вероятность вырождения далека от 1, и не нарушающей сходимости процесса в случае, когда вероятность вырождения равна 1.

ВТОРАЯ ГЛАВА диссертации посвящена процессам стохастической аппроксимации, обладающим свойством "односторонней" сходимости. При этом впервые рассмотрен непрерывный вариант процесса стохастической аппроксимации, которому посвящен §2.1. В этом параграфе предлагается модифицированное стохастическое дифференциальное уравнение, решения которого обладают свойством "односторонней" п. н. сходимости к корню уравнения регрессии. При доказательстве основного результата применена схема, использованная Д. Анбаром в его работе для доказательства аналогичного результата для дискретного процесса стохастической аппроксимации. Однако, в силу специфики непрерывного процесса, все вспомогательные результаты доказаны заново и в несколько ином виде. В частности, заново доказан "закон повторного логарифма" для непрерывного процесса стохастической аппроксимации. Сформулируем основные результаты этого параграфа.

Непрерывный аналог процесса Роббинса-Монро представляет

собой следующее дифференциальное уравнение

d¿¿¿)- ait) Yt(X(í),u)

Известно, что решение этого дифференциального уравнения сходится к 0 с вероятностью 1 при некоторых предположениях относительно функции ait) и семейства случайных величин Yt, а именно:

Yt(XU),w) = M(<t) + <r(í.

где ÇU) - гауссовский белый шум;

00 00

aU)*0, Ja(í)dí=oo, Ja2U)dt<oo. (21

Тогда дифференциальное уравнение = ait)Yfc(X(í), и) можнс

интерпретировать как стохастическое дифференциальное уравнение

dXU) = aU)M(XU) ) + a(i)<r(í, <c)dÇ(t).

По аналогии с процессом Д. Анбара предлагается следующая модификация исходного дифференциального уравнения:

ait) (Yt(XU),u) - &(Ш,

где Mt) - некоторая борелевская функция. Соответствующе! стохастическое дифференциальное уравнение будет иметь вид

dXU) = ait) (M(XU)) - hit)) * ait)trit, x)dÇit). (3

Теорема 2.1.

Пусть (rit, x)=<rix) и M(a:) - измеримые функции и выполнен! следующие условия:

1) Hzix)+ozix) £ К(1+а?);

2) Шх)1х - 0) < 0;

00

3) выполнены соотношения (0.18) и JaU)&U)dt < со .

Тогда любое решение стохастического дифференциальног уравнения (3) сходится к в при i —* m с вероятностью 1.

Теорема 2.2.

Предположим следующее. 1) Выполнены условия Теоремы 2.1. и условия а) существуют константы К^О и К2>0 такие, что

|<п|< JM(ûc) |<К2|гс| для всех х

tí) ait) = j н ZAK^l;

2) Функция cría:) удовлетворяет условиям а' ) tim <r(<c) = <r

X->00

tí') Iсг(ж) - ir I s Ç |¡c|a, для некоторого 0<asl.

3) Mía:) = -ccx + 5(<r), где 5(<c) = a1a;2+ ójía:), S^œ) = oía?) при <c—Ю, 2aA > 1.

4) Функция Mt) равна ГО, tse

&U) = где D >

D t 1/2v2 In in. t , в противоположном случае •

°*o

/ 2аА-1 Тогда выполнено следующее

а) X(-> Ос вероятностью 1;

¿->00

б) обозначим Т - случайный момент такой, что Хи)<0 при всех ¿>Т. Тогда Р | и) : Т(и) < оо = 1.

В §2.2 рассматривается дискретный вариант модифицированного процесса Роббинса-Монро при другом, нежели у Д. Анбара, выборе констант и функции регрессии, не удовлетворяющей условию 7) теоремы 2 в работе Д. Анбара.

Пусть процесс Д. Анбара определяется следующим рекуррентным соотношением

X ,= X - а (У(Х ) - /3 - & ) , (4)

п+1 п п п п

тогда имеет место следующая теорема. Теорема 2.3.

Пусть для процесса (4) выполнены условия

1) Е 22 (гс) * С < со , где 21 <с) = У(<с) - М(<с);

2) |М(сс) - £ 01<х -0| для некоторого Б > 0;

3) Ш |М(х)| > 0 для любого 0 < е < 1; с<|<Е-0|<1/С

4) (<с - 0)М(гс) > 0 для любого х * 8;

5) М(гс) дважды дифференцируема в точке 0;

6) а = £ , 2AD < 1;

П Ii

7) & = -4 , & > 0, < ß < Act, где а = M' (0).

n n? *

Тогда

p | xn-> e, n oo j = i,

P Xn > 0 лишь конечное число раз j- = 1.

В ТРЕТЬЕЙ ГЛАВЕ исследуется скорость сходимости процессов стохастической аппроксимации для неисследованных ранее видов функции регрессии.

В §3.1 изучается многомерный процесс Роббинса-Монро. который в векторной записи имеет вид:

X ,= X - a f R(X ) + Y(X ) 1,

n+1 n n ^ n n J

где E(Y(Xn) |Xn.....Xx) =0, XQ - произвольный случайный вектор

размерности т, а - последовательность положительных констант, R(<e) - неизвестная векторнад функция размерности т.

При изучении скорости сходимости многомерного процесса Роббинса-Монро предполагается, что

R(x) = В-(х - 0) + б0(х,е), (5)

где 5Q(x, 6) = o(llx-9ll) при х -> 0. Далее изучается специальный случай многомерного процесса Роббинса-Монро, когда

Io матрица (-В) - гурвицева ( т.е. вещественные части ее собственных чисел отрицательны),

2° константы а имеют вид ^ я ^•Re X, < к . i=l, 2,.... а, а ^ т n n i ¿

(Xj- различные собственные числа матрицы В).

Условие 2° (учитывая Io) эквивалентно тому, что

A-mcuc Re %i < Ранее же изучался случай, когда А-яим. Re Х4 > jj. i i

Пусть собственные числа матрицы В упорядочены по возрастанию

их вещественнх частей, то есть

0 < Re X, £ Re X, £ ... Re X < L

L ¿ Г C.

Предположим далее, что выполняются следующие условия.

1) Существуют такие положительные константы а и Ь, что Шх)Н £ а + №11.

2) ЕПУ(х)Н2 < К < со для всех векторов х.

3) 0Ш1 (х, И(х)) > 0.

Е< IIXII <1 /С

4) 2Ие X, > Яе X .

1 г

я2п

5) Существуют —,,. , .. . 1^=1,2.....а.

д<с дх

Без потери общности далее полагаем 6=0, А = 1.

Обозначим Л.=Яе X., р.- кратность собственного числа А.,

Будем также далее обозначать через о(1) вектор (или матрицу) с элементами, зависящими от п и стремящимися к 0 при п->оо, через 0(Ьп> вектор (или матрицу) с элементами, зависящими от п и стремящимися к 0 при п->ю не медленнее, чем Ь^.

Теорема 3.1.

При условиях 1°, 2°, 1)-5) и функции регрессии вида (5) существует случайный вектор 2 такой, что

Хп = ЙВ(2 + 0(Ш

с вероятностью 1.

В §3.2 рассматривается процесс Кифера-Вольфовица для нахождения минимума неизвестной функции М(а:). Известно, что процесс Кифера-Вольфовица, то есть процесс, удовлетворяющий следующему рекуррентному соотношению

X ,= X - ^ Г М(Х +с ) - М(Х -с ) + У (X ) 1, (6)

п+1 п с I пп пп п п I

п

сходится при определенных предположениях к точке минимума функции М(ж) с вероятностью 1.

В дальнейшем, не умаляя общности, можно считать, что минимум М(гс) достигается в точке к = 0 и М(0) = 0.

Скорость сходимости данной процедуры исследовалась для случая М"(0) > 1/4. В данной работе исследуется скорость сходимости процесса (6) для неисследованного случая при условии М"(0X1/4.

Пусть выполнены следующие условия:

1) E [Yn(6C> | ícj = О V п;

2) |М(<г*1) - M(¡c) | í о ♦ &|<с|, а а 0, & > 0;

3) Е [Y^ía:) | <с] < К2 < и V n; í

4) 3 М"'(х) ограниченная в окрестности 0;

5) Константы а^ и сп равны соответственно и -^у, .

6) М'(<с)а > 0 при <с*0.

Эти условия обеспечивают сходимость процесса (6) с вероятностью 1 к 0 - точке минимума функции М(<с).

Теорема 3.2.

Обозначим а2 = М"(0) и пусть 2ocz<mifi(y,ír - к). Тогда существует такая случайная величина Z, что

2 ОС »

П Xn С вероятностью 1.

Далее в параграфе получены уточненные оценки скорости сходимости процесса (6) при более жестких условиях на функцию регрессии, в частности в предположении существования производных высшего порядка.

В ЗАКЛЮЧЕНИИ сформулированы основные результаты работы.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ.

1. Изучены стохастические рекуррентные алгоритмы нахождения неподвижных точек различных случайных функций:

а) доказана сходимость с вероятностью 1 стохастической рекуррентной процедуры, представляющей собой модифицированную процедуру стохастической аппроксимации, к неподвижной точке для различных видов непрерывных отображений;

б) доказана асимптотическая нормальность соответствующим образом нормированного процесса в одномерном случае;

в) рассмотрена и решена задача нахождения вероятности вырождения ветвящегося процесса путем определения неподвижной точки его производящей функции.

2. Изучены алгоритмы стохастической аппроксимации, обладающие свойством односторонней сходимости:

а) доказана сходимость с вероятностью 1 модифицированной

2. Изучены алгоритмы стохастической аппроксимации, обладающие свойством односторонней сходимости:

а) доказана сходимость с вероятностью 1 модифицированной непрерывной процедуры стохастической аппроксимации и показано, что значения процесса могут менять знак не более чем конечное число раз на почти каждой его реализации;

б) получен аналогичный результат для дискретного модифицированного процесса Роббинса-Монро при другом, нежели в классическом случае, выборе констант, определяющих процесс.

3. Исследована скорость сходимости с вероятностью 1 процессов стохастической аппроксимации в неисследованных ранее случаях;

а) получена оценка скорости сходимости многомерного процесса Роббинса-Монро для случая слабо устойчивой матрицы производных функции регрессии;

б) получена оценка скорости сходимости процесса Кифера-Воль-фовица для случая малой по абсолютной величине второй производной функции регрессии в ее корне.

Список работ, опубликованных по теме диссертации

1. Комаров C.B., Красулина Т.П. Исследование многомерного процесса Роббинса-Монро. Вестник ЛГУ. Сер. 1, 1988, вып. 1 (№ 1 ), с. 113-114.

2. Комаров С. В. Исследование скорости сходимости многомерного процесса Роббинса-Монро. - № 4994-В-90. Деп. от 11.09.90, ВИНИТИ, 9 с.

3. Комаров С. В. 0 скорости сходимости многомерных стохастических рекуррентных процедур. - в кн. I 5-го Ленинградского симпозиума по теории адаптивных систем. Тезисы доклада, с. 102103, 1991.

4. Комаров С. В. О нахождении неподвижных точек случайных отображений методом стохастической аппроксимации. - Вестник СПбГУ. Сер. 1, 1992, вып. 1 (№1), с. 108-110.

;

Подписано к печати

зак. тир. 100, объем 1 п. л.

Бесплатно. Типография ЛКБТО

197342, Санкт-Петербург, ул. Белоостровская, 28