Некоторые модификации процедур стохастической аппроксимации тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

Введение,.

I. Исследование процедуры Кифера-Вольфовица для нахождения точки экстремума функции регрессии с оцениванием 2п второй производной •

§ I. Основные леммы

§ 2. Описание исследуемой процедуры и условий на тунк-цию регрессии

§ 3. Сходимость процедуры поиска минимума ,с оцениваниг ог. ем второй производной

§ 4. Сходимость с вероятностью I последовательности случайных величин Вп к значению второй производной функции регрессии в точке экстремума

§ 5. Скорость сходимости процедуры и последовательноети Аа оценок второй производной FM( в)

§ 6. Асимптотические свойства процедуры с оцениванием 42 второй производной. Оптимальность процедуры

П. Процедуры поиска экстремума функции регрессии с исполь- 47 зованием метода наименьших квадратов и сплайнов

§ I. Необходимые сведения •.••••. ;

§ 2. Построение процедуры поиска экстремума функции регрессии с использованием метода наименьших квадратов . ои

§ 3. Сходимость процедуры с вероятностью I

§ 4. Поведение процедуры с использованием метода наименьших квадратов при невыпуклых функциях регрес- ftr,

СИИ . у

§ 5. Минимизация функции регрессии с использованием со интерполяционных и сглаживающих сплайнов . ьа

§ 6. Некоторые результаты экспериментального исследо- вания алгоритмов на ЭВМ . . . . . '<

Настоящая работа посвящена исследованию процедур стохастической аппроксимации.

Постановка задачи. Цусть ( f (X (К , слТе семейство случайных величин, заданных на некотором вероятностном пространстве ( Q, tL, Р ) и отвечающих действительному параметру tX€ /R} - соответствующее семейство функций расцределения. функция F(X) -PlffX, их) (здесь и далее М обозначает математическое ожидание) называется функцией регрессии. Задача состоит в решении уравнения

F(X) -cL (0.1) при некотором фиксированном & или в отыскании точек экстремумов функции F СX) . При этом предполагается, что функции распределения Н (у/*) неизвестны, но зато для всех значений параметра X (или для некоторого подмножества, на котором решается задача) можно производить независимые наблюдения случайной величины f (К) (мы часто будем опускать знак бс*- при написании величины £(хгиу). Это позволит упростить запись форцул и не приведет к недоразумениям).

Многие идеи метода стохастической аппроксимации были обсуждены еще в 1941 г. в статье Х.Хотеллинга /I/. Примерно в это же время появились родственные результаты и в работах других авторов. Но лишь Роббинс и Монро в 1951 г. /2/ в своей основополагающей работе дали формальную математическую трактовку этого вопроса. Они предложили метод решения уравнения (0.1) при довольно общих цредположениях о функции F(x) и функциях распределения Н (у/00 . Предложенная ими процедура (под процедурой в стохастической аппроксимации понимается способ построения последовательности случайных величин, сходящихся к искомому значению в каком-плибо вероятностном смысле) называется именем своих авторов. Она состоит в следующем: пусть Г(Х)> oi при X > В и РСЮ ^ <*-цри Х^ & ; тогда определим последовательность с.в. рекуррентной формулой

Х^а^и-и, (0.2) где CL^ - действительные числа, CLh ?- О , a f^ - случайная величина с распределением H(jf/Xh) •

В 1952 году Кифер и Вольфовиц /2/ предложили процедуру для нахождения точки максимума функции регрессии, которая записывается в виде

J „ и -f v П I tv

-A +ah —

0.3) где а^ и С^ - положительные числа, а Д и имеют распределения Н (у / Хь+Ск ) и Н (у / Xh-Cп.) соответственно.

Авторами процедур (0.2) и (0.3) были получены доказательства их сходимости (т.е. сходимости X*. к искомой точке) в среднеквадратичном. Впоследствии /3/ была доказана для них и сходимость почти наверное (п.н.). Свойства процедур Роббинса-Монро и Кифера-Вольфовица стали предметом изучения большого числа исследователей, в основном специалистов в области прикладных вопросов теории вероятности и статистики. Вольфовиц в работе /5/ уточнил условия, которым должны удовлетворять функция регрессии и семейство случайных величин Н(у/Х) • В /6/ процедуры (0.2) и (0.3) были обобщены на многомерный случай (для решения систем уравнений и минимизации функций регрессии, зависящих от нескольких переменных). Вьфаботке общего подхода к процедурам стохастической апцроксимации и их классификации посвящены работы /7/, /8/.

Большое значение с прикладной точки зрения имеют вопросы асимптотического поведения рассматриваемых процедур. Свойства уклонений оценок от оцениваемых величин изучались в работах /4/ и /9/, их моментов в /10/-/12/, воцросы их асимптотического распределения в /13/ и /14/, а также в работе Гладышева /15/, содержащих усиление полученных ранее результатов,

В /16/ был предложен способ ускорения сходимости методов стохастической апцроксимации, который впоследствии уточнил Аведьян /17/.

К настоящему времени уже имеется большое число модификаций процедур (0.2) и (0.3), расширяющих область их применения или приспосабливающих их к решению какого-либо конкретного класса задач. Некоторые из этих модификаций не имеют теоретических преимуществ, но, как правило, позволяют достаточно быстро и с меньшими вычислительными и материальными затратами решать практические задачи.

Существующие методы решения задач стохастической аппроксимации и тесно связанные с ниш вопросы изложены в монографиях /18/-/21/, /38/, в обзорах /22/ и /23/. Связь этих методов с задачами адаптации и обучения обсуждалась в книге Цыпкина /24/. Подход к процедурам стохастической аппроксимации (в том числе и их непрерывным вариантам) с точки зрения теории марковских процессов и их изучение с помощью метода функций Ляпунова нашел отражение в книге /25/. Некоторые модификации процедур рассмотрены в /40/-/42/.

Отметим некоторые свойства процедур стохастической аппроксимации, которые важны в приложениях и которые послужили отправной точкой исследований.

1°. Представленные классические алгоритмы стохастической аппроксимации формируют я -ый шаг по предыдущему (одно-шаговая процедура). Это свойство имеет несомненные достоинства с прикладной точки зрения (нет необходимости хранить предысторию процесса), и одновременно это же свойство означает неиспользование всей полученной в результате цроведен-ных экспериментов информации о процессе.

2°. Классические алгоритмы стохастической аппроксимации являются бесконечно-шаговыми и в конкретных приложениях всегда стоит задача об остановке процесса.

3°. В качестве отдельного пункта выделим связанное с 2° свойство, по которому, по крайней мере в теоретических рас** смотрениях, можно сравнивать конкурирующие процедуры. К таким свойствам относятся скорость сходимости и асимптотические характеристики процедур.

Настоящая работа посвящена исследованию модификаций цроцедур стохастической аппроксимации, связанных со стремлением использовать при построении последовательности оценок точки минимума функции регрессии наблюдения, выполненные на предшествующих этапах поиска. Отметим, что применение предлагаемых алгоритмов не требует значительного увеличения памяти. Диссертация состоит из двух глав,, и Приложения.

В 1-ой главе, состоящей из шести параграфов рассматривается модифицированная процедура с оцениванием 2-ой производной функции регрессии в точке минимума.,

Впервые процедуру с оцениванием производных предложил Вентер /9/. Он исследовал процедуру Роббинса-Монро с введением дополнительного случайного коэффициента в последовательность Ct*, в (0.2), вычислил скорость сходимости и ее асимптотические свойства.

В настоящей работе изучаются аналогичные свойства для модифицированной процедуры Кифера-Вольфовица, устанавливаются условия ее сходимости, вычисляется скорость сходимости процедуры и оценок второй производной функции регрессии, обосновывается ее оптимальность в смысле асимптотических свойств.

§ I носит вспомогательный характер, в нем собраны леммы, использующиеся при доказательствах теорем этой главы.

В § 2 формулируются условия на функцию регрессии Р(Х) и семейство { Н М)}, а также определяется цроцедура: 9

0.4) отличающая от обычной введением случайной оценки 2-ой производной .

В § 3 доказывается Теорема 3,1. Последовательность случайных величин XЛ , определяемая (0,4), при предположениях § 2 сходится с вероятностью I к точке $ , являющейся точкой минимума функции F&1 Отличие способа доказательства от стандартного обусловлена наличием неизмеримого относительно случайных величин коэффициента Ап . В § 4 доказана

Теорема 4.1. При предположениях § 2 последовательность А* сходится к п.н.

Она означает, что мы, не зная точного значения cL , ввели в процедуру (0.4) последовательность А п., являющуюся при больших гъ близкой к -значению второй производной исследуемой функции в точке минимума с вероятностью I.

§ 5 посвящен вычислению скорости сходимости последовательностей Хк. и Ак • В нем доказаны следующие теоремы. Теорема 5.1. Цусть

0<y<lf, 0<Л<т1п(Ц, f-j,, 1-цу и выполнены условия предыдущих теорем. Тогда

Теорема 5.2. Если к предположениям теоремы 5.1. добавить условие

О < уК < f > +0(п. /+0(к J п.н,

В § 6 с использованием теорем § 5 доказывается Теорема 6.1, Если где то случайная величина i-i х„ - в) асимптотически нормально распределена со средним 0 и дисперсией б" У а*?).

Теорема 6.1. вместе с теоремой об асимптотической нормальности стандартной процедуры Кифера-Вольфовица /13/ со средним 0 и дисперсией

JUL- , а l(l/\d-l) прц cLn= УС означает, что рассматриваемая процедура (0.4) является оптимальной в следующем смысле: наш выбор последовательности коэффициентов A L обеспечивает предельному распределению величины ^

- ю минимальную из всех возможных при различных А дисперсию.

Во П главе, состоящей из шести параграфов предлагается процедура поиска экстремума функции регрессии, использующая метод наименьших квадратов. В пункте 1° уже отмечалось то обстоятельство, что классические процедуры стохастической аппроксимации (0.2) и (0.3) не используют на /ъ-ом шаге предыдущих наблюдений величин f (X) . Однако в целом ряде практических задач, в которых осуществление эксперимента, необходимого для наблюдения случайной величины рСХ), связано с большими материальными или временными затратами, представляется целесообразным использование хотя бы части накопленной информации о процессе. Следует отметить что в рассмотренной в I главе процедуре (0.4) эта информация использовалась, но только при оценке второй производной.

В процедуре же, исследуемой во П главе, конечное фиксированное число измерений случайных величин f(xS-A/*t )j ■••■> /(Xs) используется для оценки производной функции F(X) в точке Xs , которая позволяет оцределить точку Х5+1 .

Надо отметить, что учет предыдущих наблюдений производится лишь в том случае, если точки , . . , Х5 не очень близки друг к другу. В этом случае в качестве оценки цроизводной РЫ в точке Х$ берется угловой коэффициент прямой, построенной по методу наименьших квадратов на основании наблюдений f , . 9 f (Х5)ъ точках ^s-A/i-i у • • •, Л* . Естественно ожидать, что при этом можно получить более достоверную оценку производной (особенно на тех участках, где функция FfX) близка к линейной) чем в классических процедурах, использующих лишь два наблюдения в точках XS'CS и Xs +CS . В предлагаемую процедуру можно

- II ввести также и оценку второй производной функции регрессии подобно тому, как это делалось в 1-ой главе.

Далее предлагается использовать для оценки производных построение интерполяционных и сглаживающих сплайнов по наблюдениям функции регрессии, выполненным в некоторой совокупности оценок точки минимума.

В § I второй главы приводятся сведения о случайных ква-зифейеровских последовательностях и их свойства, используемых в доказательстве теоремы о сходимости рассматриваемых процедур. Эти понятия и свойства впервые были введены и доказаны в работе /26/, обобщающей понятие фейеровской последовательности, рассмотренное в /27/.

В § 2 содержится построение процедуры поиска минимума функции регрессии. Оценка производной выполняется в соответствии с вышеприведенными замечаниями с использованием метода наименьших квадратов. Приводятся условия, которым должны удовлетворять функция регрессии и ошибки (помехи) при ее измерениях. Приводимый набор условий является, в общем-то, стандартным для такого рода процедур. Помехи предполагаются ограниченными на каждом конечном отрезке (но не обязательно на всей прямой), что выполняется для большинства практических задач. Кроме того, следует отметить, что в приложениях сходимость процедур стохастической аппроксимации имеет место, как правило, и цри более слабых условиях чем те, при которых она доказана теоретически, что является, по-видимому, следствием недостаточного совершенства применяемых методов доказательства. Рассматриваемая в работе процедура определяется формулой

0.5)

Здесь - нормирующий множитель,

У* - действительное число (величина шага), Д.- оценка цроизводной функции регрессии, вычисляемая следующим образом

Л, „если 9 .- , - { (0.6) Г , 0„. где с1) s = 2L JXi-Xjj*

0.7) j f2) tfXs*ct)~Fq(sL ^

Знак s означает суммирование по двум индексам L и J , причем а /И - некоторое фиксированное натуральное число.

Cs t - J - положительная числовая последовательность.

В § 3 обсуждается воцрос сходимости предложенной процедуры. G использованием свойств случайных квазифейеровских последовательностей доказывается

Теорема 3.1. Построенная в § 2 цроцедура (то есть последова

0.5)—(0,7)) сходится к точке минимума функции регрессии с вероятностью I.

Отметим, что функция регрессии здесь предполагается выпуклой и дважды дифференцируемой.

В конце параграфа указана скорость сходимости рассматриваемой цроцедуры.

В § 4 рассматривается вопрос о возможности применения процедуры (0.5)-(0.7) с использованием для оценки производных метода наименьших квадратов в случае минимизации невыпуклых функций регрессии. Для решения этой задачи достаточно лишь немного модифицировать построенную в § 2 процедуру. Предположим, что задача минимизации решается на некотором множестве х : /ХЫ а} . Тогда определим последовательность случайных величин f/j, } при

3 >/У формулой тельность случайных величин Xs , определяемая соотношениями е ® если Х5 £ А , (0.8) где определяются как в (0.5), # - подмножество множества А , такое, что max PCX) $ Lhf PM ,

- произвольная точка множества В .

В § 4 доказано, что верна следующая Теорема 4.1. Если последовательность случайных величин Xs(ux) определяется формулой (0.7), то все предельные точки последовательности { , - ■ •} принадлежат множест

Ж / ву X ~ (Х - F fxj ~0] для почти всех ; последовательность F(Xs (и?)) сходится с вероятностью I.

При доказательстве этой теоремы были использованы условия сходимости процедур стохастического программирования, сформулированные в работе /28/.

Основная задача стохастической аппроксимации, состоящая в определении точек уровня и точек экстремумов неизвестной функции регрессии на основании результатов измерений близка задаче интерполирования функции по ее значениям, заданным в некоторой совокупности точек. Поэтому представляется целесообразным использовать интерполяционные методы при исследовании свойств функции регрессии. При этом, естественно, предпочтение следует отдавать тем методам, которые позволяют достаточно точно оценивать не только значения самой интерполируемой функции, но и значения ее производных.

В § 5 второй главы настоящей работы рассматриваются алгоритмы минимизации функций регрессии с использованием получивших в последние годы широкое применение интерполяционных и сглаживающих сплайнов, представляющих собой кусочно-полиномиальные функции, доставляющие минимум некоторым функционалам в специально выделенном для интерполяции классе функций /29/-/32/.

Построение наиболее распространенных кубических сплайнов требует лишь решения систем линейных уравнений, что при небольших размерностях не составляет большого труда при решении задач с помощью вычислительных машин.

Сходимость интерполяционных сплайнов и их производных к интерполируемой функции и ее производным для широкого класса последовательностей сеток установлена в работе /33/, там же приведены оценки соответствующих уклонений. В настоящей работе предлагается использовать сплайны для оценки производных функции регрессии. В процедуре Xs (0.9) полагаем если rrvitb IXi'Kjl в остальных случаях . (0.10)

Здесь <fs > J°s> определены в (0.5)-(0.7), a

U,(К) - интерполяционный сплайн, построенный по наблюдениям функции регрессии f(XS-A/h - - • > f(Xs) » выполненным в точках Xs-a/j • • • , , то есть функция, минимизирующая функционал

9(H) = fi l^"(KJ]Zdx7 (O.II) a где a. = rrUn. fxc : . . , sj, = таж fXi : L =S > Mi в классе функций I

LLe wz Lgl^J , LLCXt)=fCXk),Ic*sw9.,s.

Через w;Та, Si обозначается множество функций, заданных на отрезке £ а, В ] и имеющих на нем суммируемые с квадратом вторые цроизводные.

Построенная так последовательность случайных величин Xj/Wсходится с вероятностью I к точке минимума функции регрессии.

Учитывая, что значения функции регрессии определяются со случайными ошибками, оценивание ее производных естественнее цроизводить с помощью сглаживающих сплайнов, для которых значения в узлах сетки уже не являются заданными заранее.

В этом случае в соотношении (0.10) в качестве L следует брать функцию, минимизирующую в классе И4 [(),<&] функционал // -t(xw)l* (ола>

Здесь pi некоторые положительные числа, называемые весовыми коэффициентами. Чем больше весовые коэффициенты, тем больший вклад в функционал вносят отклонения от заданных значений, тем ближе к ним проходит сглаживающая кривая. Отметим, что алгоритмы построения одномерных кубических сглаживающих сплайнов подробно рассмотрены для широкого класса граничных условий в работе /34/. Там же предлагаются алгоритмы определения весовых коэффициентов.

В нашем случае при исследовании функции регрессии, если имеются предположения о характере распределения случайных величин { f(X) , X е (R ] , в качестве /V вполне естественно брать величины, обратно пропорциональные дисперсиям величин -pCXs-A/tc) , причем, если для некоторых i эти дисперсии будут слишком малы, то соответствующие слагаемые в выражении для fy СUJ следует исключить, добавив при этом условия d (Xs-A/*L ) = f (Xs-A/+i).

Тогда коэффициенты рс можно будет считать ограниченными.

При отсутствии сколько-нибудь надежных предположений о распределениях ошибок измерений функции регрессии можно считать pi постоянными, либо пользоваться рекомендациями вышеупомянутой работы /34/.

Упомянем еще один тип сплайнов, который можно использовать в процедуре (0.9), (0.10). Если возможные ошибки наблюдений функции регрессии ограничены и их максимальные значения известны, в качестве LLCX) можно брать сплайн, являющийся решением задачи минимизации функционала (0.11) при условиях U.(Xi)-f(Xc) / при

Решение этой задачи подробно обсуждалось в работе /35/. Предлагаемый там метод основан на построении последовательности сглаживающих сплайнов, минимизирующих (0.12), сходящейся к искомому решению. Автором /35/ составлена программа для реализации этого метода на ЭВМ, приведены данные численного моделирования ряда конкретных задач, демонстрирующие хорошие возможности сплайнов рассматриваемого типа при восстановлении функций, заданных с ошибками в конечном числе точек, и, что особенно важно для нахождения экстремумов, при оценивании производных этих функций. Это указывает на целесообразность применения упомянутых сплайнов при решении задачи минимизации функции регрессии.

В заключение отметим кажущиеся весьма перспективными для исследования функций регрессии так называемые локальные методы интерполяции, интенсивно разрабатываемые в последнее время /36/-/38/. Локальные интерполяционные кривые характеризуются отсутствием "лишних" экстремумов и точек перегиба, сохранением свойств интерполируемых функции, например, выпуклости, монотонности и т.д. Эти методы могут быть полезны при интерполировании функций регрессии, некоторые свойства которых являются известными экспериментатору. Так для выпуклых функций регрессии, довольно часто встречающихся в приложениях, можно использовать построение выпуклого кубического сплайна, рассмотренное в работе /36/; при наличии у функции регрессии прямолинейных участков полезными окажутся локальные методы, основанные на полиномах Бернштейна, разработанные в /37/ и т.д.

- 19

Замечание: во все рассмотренные во П-ой главе процедуры можно ввести дополнительный коэффициент, являющийся оценкой второй производной исследуемой функции подобно тому, как это делалось в 1-ой главе.

В § 6, завершающем вторую главу настоящей работы, указывается скорость сходимости модифицированных процедур, приводятся данные сравнения рассмотренных модификаций со стандартной процедурой Кифера-Вольфовица, полученные в результате моделирования задачи минимизации функции регрессии на ЭВМ. Эти данные указывают на целесообразность применения модифицированных процедур при решении задач стохастической аппроксимации.

В Приложении рассматривается конкретная прикладная задача, при решении которой были использованы рассмотренные в настоящей диссертации модифицированные алгоритмы стохастической аппроксимации. Применение этих алгоритмов позволило получить достаточно хорошие для практических целей результаты цри относительно небольшом числе экспериментальных данных.

Заключение.

Подведем основные итоги настоящей работы.

Во-первых, рассмотрен модифицированный алгоритм Киюера-Вольфовица с оцениванием второй производной функции регрессии; указаны условия его сходимости, проведено доказательство его оптимальности; вычислена скорость сходимости.

Во-вторых, предложена модификация процедуры поиска экстремума функции регрессии, использующая оценивание производной с помощью метода наименьших квадратов и сплайн-интерполяции; установлена сходимость этой процедуры при различных предположениях относительно исследуемой функции; указана скорость сходимости; приведены результаты экспериментального исследования алгоритмов на ЭВМ, свидетельствующие о целесообразности их применения при решении практических задач.

На перспективность рассмотренных процедур исследования функций регрессии указывает и пример решения конкретной прикладной задачи с их использованием (см. Приложение).

Основной результат диссертации - теоретическое обоснование вышеупомянутых модифицированных алгоритмов стохастической аппроксимации, ориентированных на более полное использование данных, получаемых в результате эксперимента.

- 80

1. Hotel lint. H. Experimental determination of the Maximum of a FunctionAnn. Math. Statistics, V il , p. ZO-t/6.

2. Rolbins H.} Monro S. A stochastic Approximation Method." Ann. Mottii. Statistics, ±9Z±}я Kiefer J., Wolfowitz

3. J. Stochastic Estimation of the Moiximum of a Regression Function.-Ann.

4. Dvoretzky A. On Stochastics Approximation.- pГОС. Ш Berkeley Symp. Moitk.Sbx-tistics and pf*oScL$ility , i956,v 1, p 39-5~5Г.

5. В urkhotder £). a о/ StochaS —- 90 tic Approximation Processes. Ann. Math. Statistics, V*itpJOH4'l059.

6. Venter J.H. Arc Extension of the. ко Ibins Monro Procedure . — Ann. Math. Statistics , v.32 , p. 121 '190.

7. Sacks 3. Asymptotic distribution of stochastic approximations. — Ann.

8. Statistics , 1358, v. ZS, А/ Я t p.

9. Chung K. On a Stochastic Approximation Method.—Ann. Math. Statistics , , v. ZSt л/3 , p. </63-483.

10. Гладышев Е.Г. 0 стохастической аппроксимации. Теор. вероятн. и ее примен., 1965, т.10, № 2, с.297-300.- 91

11. К ester* Н. Acce^er-ate^ Stochastic Approximation. Ann. AfatA. Statistics , 1958, v. 29 , д/ i , p' И-59.

12. Аведьян Э.Д. К одной модификации алгоритма Роббинса-Монро. Автоматика и телемеханика, 1967, № 4, с.165-167.

13. Вазан М. Стохастическая.аппроксимация. -М., Мир, 1972. 295с.

14. Растригин Л.А. Теория статистических методов поиска.- М., Наука, 1968. 376с.

15. Ермольев Ю.М. Методы стохастического программирования.- М., Наука, 1976. 240с.

16. Катковник В.Я. Линейные оценки и стохастические задачи оптимизации. -М., Наука, 1976. 488с.

17. Красулина Т.П. О стохастической аппроксимации.

18. В кн.: Тр. У1 Всесоюзного совещания по теории вероятностей и математической статистике, Вильнюс, Госполит-научиздат, 1962.

19. Логинов Н.В. Методы стохастической аппроксимации. -Автоматика и телемеханика, 1966, JS 4, с.185-204.

20. Цбшшн Я«9- Адаптация и обучение в автоматических системах'. -М.» Наука, 1968. 399с.

21. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. М., Наука, 1972.- 304с. с илл.

22. Ермольев Ю.М.» Туниев А.Д. Случайные фейеровские и квазифейеровские последовательности. В сб.: Теория- 92 оптимальных решений, 2, Киев, ИК АН УССР, 1968, с.76-83.

23. Еремин И. И. Методы фейеровских приближений в выпуклом программировании. Матем. заметки, 1968, т.З, JS 2, с.217-234.

24. Нурминский Е.А. Условия сходимости алгоритмов стохастического программирования. Кибернетика, 1973, № 3, с. 84-87.

25. Алберг Дк., Нильсон Э., Уолш Дк. Теория сплайнов и ее приложения. М.;, Мир, 1972. - 316с.

26. Стечкин С.Б., Субботин Ю.Н. Сплайны в вычислительной математике. М., Наука, 1976. - 248с.

27. Гребенников А.И. Метод сплайнов в численном анализе.- М., изд-во МГУ, 1979. 99с.

28. Лоран П.-Ж. Аппроксимация и оптимизация. М., Шр, 1975, 496с.33." Зматраков Н.Л. Сходшдость интерполяционных сплайнов и их производных. Автореф. «Лис. канд. физ.-мат. наук- Свердловск, 1979. -12с.

29. Колобов Б.П., Жибинов С.Б. Об одномерных кубических сглаживающих сплайнах. Новосибирск: ИТШ, 1980. -32с. (Препринт/АН СССР. Сиб. отд-ние, Ин-т теорет. и прикл. механики; & 19) .

30. Вершинин В.В. 0 сглаживающих сплайнах и их производных.- Новосибирск, 1980- 20 с. (Препринт/АН СССР. Сиб. отд-ние, Ин-т математики).

31. Клименко В.Г. Построение выпуклых кубических сглаживающих сплайнов. В сб.: Сплайны в задачах аппроксимации и сглаживания, Кйев, 1978. - 48с.' (Препринт/АН УССР, Ин-т математики) .

32. Румянцев И.А. Локальные методы интерполяции. М., 1979.- 48о. (Сообщ. по вычисл. математике/АН СССР, ВЦ).

33. Юдин Д. Б. Задачи и методы стохастического программирования. М., Сов.радио, 1979. - 392с.

34. Верченко П.И. Предельные задачи стохастического программирования. Автореф. кацц.физ.-мат.наук. -Киев, 1977. - 17с.

35. Марчук Г.И. Методы вычислительной математики. 2-е изд., дополн. и перераб. М., Наука, 1980. 536с.

36. Дэнков Г.Ю., Бургете-аяла P.P., Кукушкин А.В., Бики-тенко В.Г., Огнев Ю.А. О методе стохастической аппроксимации. В сб.: Оптимальное управление. Математические вопросы управления производством, вып. 7, М., МГУ, 1977, с.53-61.

37. Никитенко В.Г. Алгоритмы поиска экстремума функции, искаженной случайными помехами, использующие метод наименьших квадратов и сплайны. Автоматика и телемеханика, 1981, II, с. 90-95.

38. Никитенко В.Г. Об одном алгоритме поиска экстремума функции, искажённой случайными помехами. В сб.: Некоторые вопросы математики и механики, м.» МГУ, 1981, с.65-66.

39. Никитенко В .Г. Соловейчик В.М. Об одном применении метода стохастической аппроксимации. Деп. в ВИНИТИ 9.01.1984, В 269-84.