Стохастическая оптимальность в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ИНСТИТУТ ЭЛЕКТРОНИКИ и МАТЕМАТИКИ (ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ)

На правах рукописи

Лёвочкина Мария Сергеевна

СТОХАСТИЧЕСКАЯ ОПТИМАЛЬНОСТЬ В ЗАДАЧЕ ЛИНЕЙНОГО РЕГУЛЯТОРА, ВОЗМУЩЕННОГО ПОСЛЕДОВАТЕЛЬНОСТЬЮ ЗАВИСИМЫХ СЛУЧАЙНЫХ ВЕЛИЧИН

01.01.05 - Теория вероятностей и математическая статистика

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Москва, 2006

Работа выполнена в Московском государственном институте электроники и математики

Научный руководитель - к.ф-м.н. Белкина Татьяна Андреевна

Официальные оппоненты:

д.ф.-м.н., в.н.с. Пресман Эрнст Львович

к.ф.-м.н., доцент Шнурков Петр Викторович

Ведущая организация - Вычислительный центр РАН

Защита состоится «12» сентября 2006 г. в _ ч. на заседании

диссертационного совета К 212.133.01 в Московском государственном институте электроники и математики.

Адрес института: 109028, Москва, Б.Трехсвятительский пер., д. 1-3/12, стр.8

С диссертацией можно ознакомиться в библиотеке Московского государственного Института электроники и математики

Автореферат разослан «_»_2006 г.

Ученый секретарь

диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Диссертация посвящена исследованию стохастической оптимальности в задачах динамического управления, возникающих, в частности, в некоторых экономических приложениях.

Рассматривается линейная динамическая система управления с квадратичным целевым функционалом, возмущенная последовательностью определенным образом зависимых случайных величин.

Для исследования стохастической оптимальности используются вероятностные критерии, с помощью которых определяется более сильное в некотором смысле свойство оптимальности по сравнению с оптимальностью в среднем, когда минимизируется математическое ожидание целевого функционала. Исследованию в этой области посвящены работы П-Мандла, В.Боркара, АЛейзаровитца и др. В данной работе используется концепция «асимптотической оптимальности почти наверное и по вероятности», предложенная ВЛ.Ротарем, и развитая затем в работах Ю.МКабанова, ЭЛ.Пресмана, ТА.Белкиной и связанная с изучением асимптотического поведения разности значений функционалов для оптимального в среднем и произвольного управления. Положительная часть указанной разности называется процессом дефекта оптимального в среднем управления. Такой подход, обобщая и улучшая многие другие, позволяет также расширить постановку задачи, введя понятие чувствительных вероятностных критериев, и рассматривая оценки скорости роста для процесса дефекта, которые могут иметь порядок стремления к бесконечности гораздо меньший, чем у длины интервала планирования. При этом чувствительность критерия определяется соответствующей (неслучайной) весовой функцией от горизонта управления, при умножении на которую гарантируется стремление процесса дефекта к нулю по вероятности или почти наверное.

Модель линейного регулятора, исследуемая в данной работе, является обобщением классической модели стохастического линейного регулятора. Это обобщение классической модели возникло из потребностей, связанных с экономическими приложениями. В классических задачах возмущения обычно описываются белым шумом, что в случае дискретного времени соответствует

последовательности независимых случайных величин. Однако в ряде экономических приложений наблюдается зависимость возмущающих переменных в разные моменты времени. Например, в рассматриваемой в диссертации модели финансирования пенсионного фонда состояние системы (величина резерва пенсионного фонда) формально описывается линейной управляемой системой, возмущенной последовательностью случайных величин, образующих случайный процесс типа авторегрессионного (этот процесс описывает пенсионные выплаты), и некоторой неслучайной функцией времени. Соответствующую задачу оптимального управления можно охарактеризовать как задачу линейного регулятора, возмущенного последовательностью зависимых случайных величин.

С помощью введения расширенного вектора состояния данная задача сводится к классической задаче линейного регулятора большей размерности. Однако, в общем случае параметры возмущающего процесса могут быть такими, что соответствующая классическая модель обладает некоторой спецификой по сравнению со стандартной ситуацией. Указанная особенность состоит в том, что может не существовать установившейся оптимальный закон управления при стремлении горизонта планирования к бесконечности. Кроме того, ранее для линейного регулятора с дискретным временем исследовалась только стохастическая оптимальность, соответствующая делению процесса дефекта на дайну интервала планирования. Таким образом, задача линейного регулятора' возмущенного последовательностью зависимых случайных величин, требует отдельного рассмотрения.

Целью диссертации является исследование стохастической оптимальности в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин, а также применение полученных результатов в теории пенсионного финансирования.

В соответствии со сформулированной целью задачи диссертации можно определить следующим образом:

1. Найти управление, оптимальное в среднем в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин;

2.. В указанной задаче исследовать условия, при которых управление, оптимальное в среднем, является оптимальным по вероятности и почти наверное с различными весовыми функциями;

3. Выяснить возможный порядок стремления к нулю весовых функций;

4. Применить полученные результаты к модели пенсионного финансирования.

Методы исследования. Используются различные методы теории вероятностей и стохастической теории управления. Для исследования стохастической оптимальности применяется мартингальный подход. В частности, после приведения изучаемой модели к классическому виду дефект целевого функционала представляется как величина, включающая значение некоторого мартингала и его квадратической характеристики. Далее проводится исследование асимптотического поведения этого процесса с применением предельных теорем теории вероятностей.

Новизна полученных результатов.

1. Для классической модели линейного регулятора в дискретном времени:

1.1. Улучшен порядок весовой функции, при которой имеет место оптимальность почти наверное и по вероятности по сравнению с известными результатами.

1.2. Для весовой функции Т~1 (где Г - горизонт планирования) ослаблены условия на моменты случайных возмущений, полученные ранее, при которых соответствующая стохастическая оптимальность имеет место.

2. Результаты, полученные для линейного регулятора, возмущенного последовательностью зависимых случайных величин, рассматриваемого как классический линейный регулятор большей размерности, являются новыми как в силу вышеуказанного п. 1.1, так как и в силу того, что они остаются справедливыми и в случае, когда не выполнены условия, гарантирующие существование установившегося при Т —> со оптимального закона управления.

3. Для получения результатов не требуется ограниченность неслучайной функции времени, входящей в «возмущение», в то время как в полученных ранее результатах эта ограниченность являлась одним из существенных условий при доказательстве стохастической оптимальности.

4. В используемой нами постановке модель пенсионного финансирования до сих пор, насколько нам известно, не рассматривалась, при этом исследование стохастической оптимальности по отношению к модели пенсионного финансирования как модели оптимального динамического управления проводилось впервые.

Практическая ценность. Большинство практических задач оптимального управления составляют задачи, в которых возмущения действуют на систему непрерывно и стремятся вывести систему из нулевого состояния. (Например, в задаче пенсионного финансирования нулевое состояние рассматривается как совпадение реальной траектории с планируемой). При наличии постоянно действующего возмущения решение задачи оптимального регулятора позволяет с максимальным быстродействием снизить начальные отклонения, а также, насколько это возможно, компенсировать воздействие возмущений в установившемся состоянии.

В некоторых экономических приложениях возмущения системы не являются независимыми. При этом одним из способов учета коррелированности возмущающих переменных в разные моменты времени является описание возмущения в виде процесса авторегрессионного типа, что приводит к необходимости рассмотрения модели линейного регулятора, возмущенного последовательностью зависимых величин.

Для традиционного решения задач стохастической оптимизации можно говорить лишь об оптимальных в среднем характеристиках, соответствующих случайному процессу. Результаты работы, связанные со стохастической оптимальностью в таких задачах, позволяют получить при некоторых естественных условиях на параметры управляемого процесса асимптотические вероятностные оценки дефекта оптимального в среднем управления, которые можно рассматривать в определенном смысле как асимптотические оценки риска при использовании указанного управления.

Апробация работы. Основные результаты диссертации опубликованы в восьми работах, в том числе в журналах «Дискретная математика», «Обозрение прикладной и промышленной математики» и сборниках статей ЦЭМИ РАН и МИЭМ. Эти результаты докладывались на Десятой Всероссийской школе-

коллоквиуме по стохастическим методам (2003г.), Шестой Международной Петрозаводской конференции «Вероятностные методы в дискретной математике» (2004г.), V Международной ферганской конференции «Предельные теоремы теории вероятностей и их приложения» (Ферганском коллоквиуме) (2005г.), а также на ежегодных научно-технических конференциях студентов, аспирантов и молодых специалистов МИЭМ. В 2002 г. научная работа, представленная на научно-технической конференции МИЭМ, посвященной 40-летию МГИЭМ, была признана лучшей в своей секции.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Объем диссертации - 86 страниц. Список литературы включает 51 наименование.

СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность темы, приводится краткое изложение основных результатов диссертации, формулируется их новизна.

В главе 1 приводятся необходимые сведения из теории линейных систем управления, а также обсуждаются некоторые результаты по стохастической оптимальности для задач линейного регулирования.

В §1 рассматриваются линейные дискретные системы и их свойства, важные для анализа систем в установившемся состоянии: экспоненциальная устойчивость, управляемость, восстанавливаемость, стабилизируемость, обнаруживаемость, а также равномерная полная управляемость и равномерная полная восстанавливаемость. Заметим, что эти свойства связаны только с матрицами, описывающими систему, поэтому можно говорить одновременно об этих свойствах как для линейной системы, так и для набора матриц, определяющих эту систему (в случае постоянных параметров). В §2 дается общее описание задачи построения линейного оптимального регулятора, описывается ее решение при конечном горизонте планирования, а также рассматривается установившееся решение при стремлении горизонта планирования к бесконечности. В §3 особое внимание уделяется известным результатам по стохастической оптимальности для задач линейного регулирования.

Рассмотрим определение стохастической оптимальности, используемое в данной работе. Пусть управляемая марковская цепь х,, / = 0,1,2,..., со значениями в Дописывается следующим рекуррентным соотношением:

х,-к, (1)

где ~ независимые случайные величины (с.в.), щ ' элемент пространства

^и /г,: И х и' х К™ —> р/, ( = 1,2,..., - некоторые измеримые функции. Будем интерпретировать а, как решение, принимаемое в момент /. Ниже для любой последовательности элементов а\,аг>— положим а' — (агь—.аг/)-

Пусть хо = х ~ начальное состояние цепи, которое в дальнейшем будем считать фиксированным. Для любого целого Г > 1 рассмотрим функционал

МаТ) = '£д1(х„а1), (2)

где х1 удовлетворяет (1) при хо = х, а измеримая функция ^определяет цену управления в момент времени ?.

В качестве класса Ц допустимых управлений будем рассматривать класс всевозможных неупреждающих управлений, т.е. случайных процессов м],М2»—> где и, — с. в., измеримая относительно сг-алгебры = А™

Т > 1 будем обозначать {О, Т) интервал времени {г: / = 0.....Г}.

Управление {¡т называется оптимальным в среднем на интервале {0,7"},

если е(/7-(иг)}=^е(/г(«7')}.

и

где тГ берется по множеству ЦТ- множеству всех сужений иТ управлений {ацыг.—} из Ы. Ясно, что и , если оно существует, может зависеть от Т, так что, рассматривая последовательность {¿?г}, мы имеем дело со схемой серий {йцч—>ыгг}-

Для любого действительного числа (1 обозначим — Л, если ¿1 £ 0, и ¿+ = 0, <¿<0.

Определение. Пусть ё = ~ некоторая положительная

невозрастающая последовательность чисел. Последовательность управлений (п.у.) и* — \и'Т]. иТ 6 ЦТ, называется

1) оптимальной почти наверное (п.н.) с весовой функцией g, ми g-оптгшальной п.н., если для любой п.у. и = {и7}. иТ е 1/Т> "Ри Г —> оо

£т{Ми'т}-Мит))+ п.н.;

2) оптимальной по вероятности с весовой функцией или оптимальной по вероятности, если для любого е>0 и любой п.у. и = {иТ}> и е ЦТ, при Т —»с»

В главах 2,3 исследуется ^-оптимальность п.н. и по вероятности в задаче линейного регулятора, возмущенного последовательностью определенным образом зависимых случайных величин.

Рассмотрим соответствующую постановку задачи. Пусть х< - случайный процесс со значениями в пространстве = 0,1,..., и

+ + + (3)

где 4*1» ' = 1,2,..., — некоторый (описанный ниже) случайный процесс со значениями в пространстве И1'; случайный вектор щ со значениями в Кт-неупреждающее управление в момент /; 1 = 1,2..., - некоторая

последовательность неслучайных векторов в К"; А,,В,,(?, — матрицы соответствующих размеров. Начальное состояние фиксировано.

Пусть случайный процесс С,. ' = '.2,..., описывается соотношением

С, = Ли С-1+ С,-2 + - + Я*, + 4, > <4>

где > * —1,2..., - независимые случайные векторы со значениями в Л*, такие что = 0, матрицы ковариаций = , <*-1._>, - некоторые матрицы

размера ¿х«/; ^^р—.С-^-о — заданные неслучайные векторы.

Для каждого натурального Т определим целевой функционал:

т

Л(г/) = £(х',С,;с, + и',£>,ы,), (5)

/=1

где СмА> ' = 1,2..., - симметрические матрицы соответствующих размеров, причем матрицы С/ — неотрицательно определенные, а матрицы /), -положительно определенные.

Для того, чтобы определить вид оптимального в среднем управления в задаче (3)-(5), рассмотрим сначала ее частный случай, представляющий собой классическую задачу линейного стохастического регулятора. Пусть в (3) Ст/> / = 1,2... — единичные матрицы, / = 1...*, д^ 7 = 1,2..., - нулевые матрицы. Тогда задача (3)-(5) превращается в стандартную задачу стохастического регулятора с переменными параметрами:

= + + (б) г

Мит) = ^(х',С1х, + и'10,и1). (7)

1=1

Известно, что оптимальное в среднем управление в задаче (6)-(7) имеет вид: й1 = й/,г~Р1,гх/-}> (8)

где х, = хц-, ? = ..,7', определяется соотношением(6) при и< = й/,

а д,-7. - такие симметрические неотрицательно определенные матрицы, что для 1 = 1,..„Г :

Лн,г = А', А,,г А, ~ А'Л^В^П^ВЛиВ^ * в\А,,тА, + С,-\, Ат.т = Ст- (9) Заметим, что в случае постоянных параметров матрицы Л,.г и р, г зависят только от Г-(, т.е. для любого Г

Аг-«,7- = А<, Рт-,,т = Р,- (1°)

С помощью введения расширенного вектора состояния у, = (х, С, См ••• 1») (где 1„ - единичная строка длины и), задача

линейного регулятора, возмущенного последовательностью зависимых случайных величин, описываемая соотношениями (3)-(5), сводится к стандартной задаче

линейного регулятора большей размерности вида (6)-(7). Управление, оптимальное в среднем в полученной стандартной задаче (и тем самым в исходной задаче (3)-(5)) можно найти используя соотношения (8)-(9) для соответствующих расширенных матриц.

В главе 2 исследуется задача линейного регулятора, возмущенного последовательностью зависимых величин в случае, когда в (3)-(5) параметры Цц, / = 1,2,...,у, д,, 1,,, I = 1,2..., зависят от времени, остальные являются постоянными:

х, = АХ1-\ + Ви, + С£, + Ч,, (11)

С, = Ки + Яг, С,-2 + - + ЯнС,-* + £ • (12)

Мит)^{х'£х,+и'Ри,). (13)

Ниже |-| - спектральная норма. Приведем предположения, использующиеся в формулировках теорем.

Предположение 2.1. Пусть пара матриц (А, В) - стабилизируема, (А, О) -восстанавливаема, (где Q - такая матрица, что £)'£)-С). Пусть также матрицы X,, 1 = 1,2.....невырождены и образуют ограниченную последовательность.

Известно, что в рамках предположения 2.1 (точнее, условий относительно матриц А,Б,(2) при /—>оо р, —»Р„ Д>Л, где имеют место (10),(9), а Л -единственная неотрицательно определенная матрица, являющаяся решением уравнения:

Л = А'АА - А'АВ( £) + в'АвУ^'АА + С,

Р -- (/З+В'ЛВ)"1 В'АА, причем ¡А + < 1.

Предположение 2.2.Пусть для некоторого числа Л>0

¡ЛйЦйЛ, / =

и выполнены соотношения:

(1+Л)|Л + ЯР||<1, при^>1, Д|]Л + йР|<1, при 5 = 1.

Ниже [-| обозначает обычную норму в подходящем евклидовом пространстве. Следующие два утверждения касаются последовательности управлений й = {йг}, оптимальных в среднем управлений в задаче (11)-(13).

Теорема 2.1. Пусть выполнены предположения 2.1, 2.2 и случайные векторы п.н. равномерно ограничены, т.е. существует число у, такое что

(ЕГф/лн. Тогда

1) п.у. и ' {иТ} является оптимальной по вероятности для любой функции gT такой, чmogT = o(i) при Т—>оо;

2) п.у. й = {г?г} является ^-оптимальной п.н. для любой функции gT такой, что gГ = o(l/lnT) при Т-»со.

11р

для некоторого р> 2. Тогда

1) и.у. й — {ыг} является g-onmuмaльнoй по вероятности для любой функции gT, вида gT — Т~3 при любом 8 таком, что р8> 2;

2) п.у. и = {йг} является ^-оптимальной п.н. для gT = Т~г при любом 8 таком, что р8 > 4.

В главе 3 исследуется задача линейного регулятора, возмущенного последовательностью зависимых случайных величин с переменными параметрами

-(3)-(5).

Нижеследующее предположение 3.1. определяется свойствами соответствующей невозмущенной системы

х, = А,х,-\ + В,и,, (14)

с выходной переменной

да

Предположение 3.1. Пусть матрицы АпВ^СпИпСоТ.!, < = 1,2,... ограничены, матрицы £), ><57, где <5 >0, I - единичная матрица, матрицы невырождены. Кроме того,

1) система (14) равномерно полностью управляема или экспоненциально устойчива,

2) система (14)-(15) равномерно полностью восстанавливаема

В рамках предположения 3.1. известно, что Р,_т ~> Р, , Л/.г —> А, при Г—»со, где

Р, = -(£>, + ВЛ.В.У'В'^А,,

и Л< удовлетворяют рекуррентному соотношению < = 1,...,Т:

Лл = АЛ, А, - аА,Б,{о, + ВЛ,В,)'ВА,А, + См. Ат~Ст-

Причем установившейся закон управления является экспоненциально устойчивым, т.е. существуют константы а>0, /?е(0,1), такие что для любых <о»< > to выполнено:

|Пи + АЛ) <а/Г'\

II '-'о I

Предположение3.2. Пусть /?„, (" = 1,2,...,^г, / = 1,2...,-нулевыематрицы.

Предположение-3.3. Пусть

п = с1 — тп~\, £ В., / = 1,2,...,для некоторого числа Я & О и существуют константы а> 0, /? е (ОД), такие что для любых /0,г > /0 выполнены неравенства:

р

1) Щл, + АЛ)| < ) ■ при ^ > 1,

2) Т\\{А, + В>Р,)\<а[^ , при 5 = 1.

Пусть последовательность й = {й7} - п.у. оптимальных в среднем в задаче (ЗМ5).

Теорема 3.1. Пусть

1) выполнено предположение 3.1;

2) выполнено предположение 3.2 или 3.3;

3) случайные векторы '£JU2gl п.н. равномерно ограничены, т.е. существует число у, такое что ^ 7 п-н- Тогда

1) п.у. й = является g-оптимальной по вероятности для любой функции gT такой, что gT — o(l) при Т —» оо;

2) п.у. й = {йт\ является g-оптимальной почти наверное для любой функции gT такой, что gT = o(l/lnТ) при Т—Юо.

Теорема 3.2. Пусть

1) выполнено предположение 3.1;

2) выполнено предположение 3.2 или 3.3;

3) выполнено соотношение SupEj£71/2£,| <°° для некоторого Тогда

1) п,у. й — {появляется g -оптимальной по вероятности для функции gT вида gT = T~S при любом 5 таком, что р8 >2;

2) п.у. S = является g -оптимальной почти наверное для gT = T~s при любом 5таком, чторд>4.

Глава 4 посвящается применению исследуемой модели линейного регулятора, возмущенного последовательностью зависимых случайных величин, в теории пенсионного финансирования.

В §1 дается обзор основных понятий пенсионного страхования и методов актуарных исследований. Рассматривается классическая модель деятельности пенсионного фонда, предложенная Троубриджем, а также приводится обзор различных моделей финансирования пенсий как моделей с динамическим управлением. В §2 описывается модель пенсионного финансирования, которая приводится к виду модели линейного регулятора, возмущенного последовательностью зависимых случайных величин (3)-(5). Исследуемая модель

наиболее близка к дискретной модели со случайной инвестиционной доходностью, предложенной Хэберманом и Сунгом.

Пусть задана планируемая траектория развития фонда, описываемая соотношением:

/Г^О+^/й+с!"-^, (16)

где /^.с^ — так называемые целевые (рассчитанные с помощью какого-либо актуарного метода) значения размера фонда и суммарных пенсионных взносов на основе прогнозируемых суммарных пенсионных выплат / = 1,2,..., р, —

(неслучайная) ставка инвестиционной доходности в периоде /¿г) = /„известное начальное состояние. В реальности за счет колебаний случайных факторов (инфляции, инвестиционной доходности, смертности) происходит отклонение траектории развития фонда от планируемой. Предположим, что суммарные пенсионные выплаты р{ ¿ = 1,2,..., удовлетворяют соотношению

Р, - а\, р,_х + аг, р,_г + • ■ ■ + а* р,.а + %„ (17)

где яй ¿0,2 =1...^, ~ независимые с.в., Е£, = 0, = сп >

р0,р_г.....Р-($-1) ~ фиксированные (неслучайные) числа. Тогда динамика

реального размера фонда описывается соотношением

/, = (1 + + (18) где а, {= 1,2,..., - суммарные пенсионные взносы, рассматриваемые как неупреждаюгцее управление, /0 — указанное выше начальное состояние.

Целевой функционал имеет следующий вид:

мст)=е|;(/-/Г)2+*,(с,-/<г>)2, (19)

где£,>0, / = 1,2,....

Задача (1б>(19) представима в виде линейного регулятора, возмущенного последовательностью зависимых случайных величин в одномерном случае. Результаты относительно стохастической оптимальности, полученные в главе 3, применяются к модели пенсионного финансирования (16)-(19).

Пусть далее с ~ {с'г} - последовательность управлений, оптимальных в среднем в задаче (1б)-(19).

Предположение 4.1. Последовательности коэффициентов pt,<j,iA к, ограничены и, кроме того, последовательности kt и о"/ равномерно отделены от нуля.

Предположение 4.2. Пусть а„ й а для некоторого числа а> О и существуют константы Л> О, ß е (ОД), такие что для любых to,t>to выполнены неравенства:

2> * nPHi=1'

где S, = -(l+£i+/fciT'(l + L,Xl + Р,)> L, = lim L,,T,

4 ' Г-ко

a Lt,r> * = 0,1.....T, удовлетворяют рекуррентному соотношению:

/+i(l+Zi+i,r+i(+i) » Lt,t - 0 • Теорема 4.1. Пусть выполнены предположения 4.1 и 4.2 и с.в. п.н. равномерно ограничены, т.е. существует число у, т.ч. п.н. Тогда

1) п.у. с* = {с*г} является g-оптимальной по вероятности для любой функции gT такой, что gT = о( 1) при Т —> ад;

2) п. у. с" — {с*7} является g-оптимальной почти наверное для любой футарт gT такой, что gr = о(1/1пГ) при Т —> оо.

Теорема 4.2. Пусть выполнены предположения 4.1 и 4.2 и supEj^^ < со

для некоторого а >2. Тогда

1) п.у. с : {с*г} является g -оптимальной по вероятности для функции gT

вида gT = T~s при любом S таком, что ад > 2;

2) п.у. с = {с*7} является £ -оптимальной почти наверное для gT = T~S

при любом д таком, что а.8 >4.

Рассмотрим также более простой случай, постоянных параметров р,а и к. Теоремы 4.1 и 4.2 верны при выполнении предположения 4.3.

Предположение 4.3. Пусть выполнены следующие соотношения: аы<а<(1 +рУ\ + Ь)Г1-\ , / = 1,2,...,я прил>1, аи < а < (1 + р)(1 + 1)1ГХ при я = 1, где Ь - наибольший корень уравнения Щ + Ь + к) - (1 + р)2( 1 + Ь)к.

В главе 4 приводится также пример модели (16)-(19), которая сводится к классической трехмерной модели линейного стохастического регулятора. В классической модели не выполнена стабилизируемость, тем не менее выполнены условия, сформулированные в предположении 4.3, следовательно справедливы утверждения теорем 4.1 и 4.2.

Основные результаты диссертации опубликованы в следующих работах:

1. Белкина Т.А., Лёвочкина М.С. Исследование модели оптимального управления негосударственным пенсионным фондом. - В сб. «Математические модели экономики», М.:МИЭМ, 2002, с. 36-44.

2. Белкина ТА., Лёвочкина М.С. Применение методов динамического управления в задаче определения пенсионных взносов. - В сб. «Моделирование механизмов функционирования экономики России на современном этапе», вып. 6. М.:ЦЭМИ РАН, 2002, с.99-106.

3. Белкина Т.А., Лёвочкина М.С. О вероятностном критерии оптимальности в задаче управления негосударственным пенсионным фондом. - Обозрение прикладной и промышленной математики, т. 2, вып. 2, М.: «ОПиПМ», 2003, с. 337338.

4. Белкина Т.А., Лёвочкина М.С. О стохастической оптимальности в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин. - Обозрение прикладной и промышленной математики, т.11, вып. 2, М.: «ОПиПМ», 2004, с. 234-236.

5. Белкина ТА., Лёвочкина М.С. О стохастической оптимальности в задаче определения пенсионных взносов. - В сб. «Анализ и моделирование экономических процессов», вып. 1, М:ЦЭМИ РАН, 2004, с.81-94.

6. Лёвочкина М.С. Об асимптотической оптимальности по вероятности в задаче управления негосударственным пенсионным фондом. - Тезисы научно-технической конференции студентов, аспирантов и молодых специалистов института МИЭМ, М.-.МИЭМ, 2004, с.529-530.

7. Белкина ТА., Лёвочкина М.С. Об асимптотических вероятностных критериях оптимальности в задаче управления пенсионным фондом. — Материалы V Международной ферганской конференции «Предельные теоремы теории вероятностей и их приложения» (Ферганского коллоквиума), Ташкент, 2005, с.82-86.

8. Белкина Т.А., Лёвочкина М.С. Стохастическая оптимальность в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин. - Дискретная математика, т.18, вып.1,2006, с.12б-145.

ИД № 06117 от 23.10.2001

Подписано в печать 27.06.2006. Формат 60x84/16. Бумага типографская № 2. Печать - риэография. Усп. печ. л. 1,1 Тираж 100 экз. Заказ 870.

Московский государственный институт электроники и математики 109028, Москва, Б.Трехсвятительский пер., 1-3/12.

Центр оперативной полиграфии (095) 916-88-04, 916-89-25

ВВЕДЕНИЕ.

ГЛАВА 1. Предварительные сведения из теории линейных систем управления и понятие оптимальности почти наверное и по вероятности.

§ 1. Линейные дискретные системы управления: основные понятия.

§ 2. Задача оптимального регулирования.

§ 3. Оптимальность по вероятности и почти наверное в задачах динамического управления.

ГЛАВА 2. Задача линейного регулятора, возмущенного последовательностью зависимых случайных величин, для случая постоянных параметров.

§ 1. Постановка задачи.

§ 2. Основные результаты по стохастической оптимальности.

§ 3. Вспомогательные утверждения.

§ 4. Доказательства основных результатов.

ГЛАВА 3. Задача линейного регулятора, возмущенного последовательностью зависимых случайных величин, для случая переменных параметров.

§ 1. Постановка задачи.

§ 2. Основные результаты по стохастической оптимальности.

§ 3. Доказательства.

ГЛАВА 4. Применение полученных результатов к задаче пенсионного финансирования.

§ 1. Оптимальное финансирование пенсий как задача динамического управления.

§ 2. Стохастическая оптимальность в задаче пенсионного финансирования.

1. Описание области исследования. Диссертация посвящена исследованию стохастической оптимальности в задачах динамического управления, возникающих, в частности, в некоторых экономических приложениях.

Рассматривается линейная динамическая система управления с квадратичным целевым функционалом, возмущенная последовательностью определенным образом зависимых случайных величин. Для исследования стохастической оптимальности используются так называемые вероятностные критерии, связанные с изучением асимптотического поведения (в некотором вероятностном смысле) интегрального целевого функционала, когда горизонт планирования стремится к бесконечности.

Известно, что традиционные подходы в теории стохастической динамической оптимизации основаны на исследовании математических ожиданий (м.о.) указанных целевых функционалов. Точнее, если задача рассматривается на фиксированном конечном интервале времени, то сравниваются м.о. функционала для разных управлений.

В случае, если система может рассматриваться на бесконечном интервале времени, сравнивается асимптотическое поведение м.о. функционала, когда горизонт планирования стремится к бесконечности. Управления, являющиеся решением соответствующих экстремальных задач, если они существуют, в дальнейшем называются управлениями, оптимальными в среднем (на конечном или бесконечном интервале времени). В частности, управлением оптимальным в среднем на бесконечном интервале времени обычно называется управление, минимизирующее верхний предел среднего по времени м.о. целевого функционала.

С помощью вероятностных критериев определяется более сильное в некотором смысле свойство оптимальности по сравнению с оптимальностью в среднем. Точнее, исследуются управления, доставляющие экстремум не только м.о. целевого функционала, но и самому функционалу (при некоторой нормировке, зависящей от длины интервала планирования) с вероятностью, асимптотически близкой к единице при больших интервалах.

Исследованию в указанной области посвящено большое количество работ, в которых рассматриваются некоторые частные модели, такие как линейная система с квадратичным функционалом (линейный регулятор - см. [42],[34],[38], [14], [37] для случая дискретного времени, [48],[1], [32], [17] для случая непрерывного времени) или ARMAX-модель ([30]), так и управляемые процессы достаточно общего вида ([18],[21], [23],[И],[12],[40], [31]).

2. Постановка задачи исследования стохастической оптимальности для управляемой марковской цепи. Пусть управляемая марковская цепь xt, t = 0,1,2,., со значениями в И1 описывается рекуррентным соотношением xt = ht(Zhxt-i,at), (1) где • • • - независимые случайные величины (с.в.), - элемент пространства Rm и ht : R х R/ х Rm Rl,t = 1,2,., - некоторые измеримые функции. Будем интерпретировать at как решение, принимаемое в момент t.

Ниже для любой последовательности элементов ai, с*2,. положим а1 = («!,., а().

Пусть xq = х - начальное состояние цепи, которое в дальнейшем будем считать фиксированным. Для любого целого Т > 1 рассмотрим функционал

MaT) = Y,qt(xt,at), (2) t=1 где Xt удовлетворяет (1) при xq = х, а измеримая функция qt определяет цену управления в момент времени t.

В качестве класса U допустимых управлений будем рассматривать класс всевозможных неупреждающих управлений, т.е. случайных процессов ui,u2,., где щ - с.в., измеримая относительно <т-алгебры

Ft-1 = 1}

Для Т > 1 будем обозначать {0,Т} интервал времени {t: t = 0,1, .,Т}. Управление йт называется оптимальным в среднем на интервале {0,Т}, если

E{Jr(nT)} = infE{JT(UT)}, и1 где inf берется по множеству ЫТмножеству всех сужений ит управлений {u\,ii2,.} из U. Ясно,что йт, если оно существует, может зависеть от Т, так что, рассматривая последовательность {йт}, мы имеем дело со схемой серий {щт,

В случае, когда горизонт планирования неограниченно возрастает (Т —> оо), классической является постановка задачи минимизации ожидаемых средних за единицу времени потерь (долговременного среднего): limsup ^Е Jt(u) min. т^оо т W пей

Аналогичная постановка рассматривается также в случае непрерывного времени, в частности для управляемых диффузионных процессов.

Концепция стохастической оптимальности как в случае дискретного, так в случае непрерывного времени возникает в задаче на бесконечном интервале времени. В различных работах на эту тему наблюдается различие в терминологии и определениях - это "оптимальность в смысле закона больших чисел"([45]), "в смысле центральной предельной теоремы", или "по распределению" ([10], [46]), "асимптотическая оптимальность по вероятности и п.н."([14], [15]), "overtaking" оптимальность п.н. ([39]) и др.

При этом многие определения стохастической оптимальности связаны с предположением эргодичности процесса, соответствующего оптимальному в среднем управлению. Так как для этого процесса эргодическое среднее сходится к ожидаемому среднему значению, и это значение минимально, то можно сравнивать его, в частности, с любым конкурирующим эргодическим, также и в стохастическом смысле. (При отсутствии эргодичности у конкурирующего процесса обычно рассматривается верхний предел среднего по времени значения функционала).

Соотвествующее понятие стохастической оптимальности в рамках описанной выше, а также аналогичных других постановок связано с определением, при котором:

1)существует управление й и число 0, такие что:

Шп Г"17г(«) = е, (3)

2)для любого допустимого управления и: limsupT"1 Jt{u) > Э. (4)

Г-юо

Заметим, что данное определение является достаточно ограничительным. В общем случае, например для неоднородных схем, предел в левой части (3) может не существовать или может равняться не числу, а случайной величине. Если все же для управления й условие (3) выполнено, то из (4) следует неравенство: limsupT-1 Jt (и) > lim Т"1 Jt (й) •

Т-» оо оо

Ясно, что более строго и желательно, если это возможно, иметь дело с liminf , а не с limsup, как в данном неравенстве.

Указанная постановка задачи, а так же и некоторые другие постановки, связанные с исследованием стохастической оптимальности, либо накладывают исходные ограничения на свойства процесса, (например, однородность, ограниченность множества состояний), либо приводят к сильным ограничениям на класс допустимых управлений (см. [45], [46], [23]).

В данной работе мы будем придерживаться концепции "асимптотической оптимальности почти наверное и по вероятности", предложенной В.И.Ротарем в [18], и развитой затем в работах [21, 32, 17, 1], связанной с изучением асимптотического поведения разности значений функционалов для оптимального в среднем и произвольного управления. Положительную часть указанной разности в дальнейшем будем называть процессом дефекта оптимального (в среднем) управления.

Соотвествующее определение стохастической оптимальности обобщает многие другие постановки и позволяет избежать многих ограничений, таких как однородность, эргодичность и т.д.

Для любого действительного числа d обозначим d+ = d, если d > 0, и d+ = 0, если d < 0.

Определение. Пусть g = {дт}т=о ~ некоторая положительная невозрастающая последовательность чисел. Последовательность управлений (п.у.) и* = {и*Т}, и*т £ Ыт, называется

1) оптимальной почти наверное (п.н.) с весовой функцией д, или д-оптимальной п.н., если для любой п.у. и = {иТ}, ит £ Ыт, при Т —> со дт{Ыи*Т) - МиТ))+ 0 п.н.; (5)

2) оптимальной по вероятности с весовой функцией д, или д-оптимальной по вероятности, если для любого £ > 0 и любой п.у. и = {иТ}, ит £ Ыт, при Т -> оо р (iдт(Ми*т) - Jt(ut)) > е) о. (6)

Данное определение введено В.И.Ротарем ([21]) для случая 9т = Т~г и обобщено Di Mazi G.B. и Ю.М.Кабановым ([32]) на случай произвольных

9т, имеющих скорость стремления меньшую Т-1 (соответствующие вероятностные критерии были названы "чувствительными").

Заметим, что управления с указанным свойством существуют при более слабых условиях, чем в (3)-(4). Кроме того, данный подход позволяет изучать более тонкие свойства оптимальных управлений, рассматривая верхние функции (или оценки скорости роста) для процесса дефекта, которые могут иметь порядок стремления к бесконечности гораздо меньший, чем у длины интервала планирования ([1],[17]).

Отметим также, что введенное определение включает в себя многие определения, встречающиеся в литературе. Если весовая функция равна константе в (5), то получается "оуейа1аг^"оптималыюсть п.н., если 9т = f в (5) - асимптотическая оптимальность п.н., если 9т = Ь в (6) - асимптотическая оптимальность по вероятности, если 9т = -оптимальность по распределению.

3. Связь чувствительных вероятностных критериев стохастической оптимальности и верхних функций для процесса дефекта. В большинстве задач динамической оптимизации кандидатом на роль асимптотически оптимального в том или ином вероятностном смысле управления выступает управление, оптимальное в среднем. Тогда при рассматриваемой нами постановке задача исследования стохастической оптимальности может ставиться как задача получения асимптотических верхних оценок 1гт (различных типов) для скорости возрастания процесса дефекта оптимального в среднем управления при стремлении горизонта планирования Т к бесконечности.

Тип оценки связан с типом критерия, или исследуемой оптимальности - g-оптималыюсти по вероятности или п.н., где дт - функция, некоторым образом связанная с Ду.

Оценка при исследовании ^-оптимальности по вероятности гарантирует стремление к нулю вероятности выхода за границу кт процесса дефекта. При исследованиии ^-оптимальности п.н. соответствующая функция дает асимптотическую верхнюю оценку с вероятностью единица для скорости роста того же процесса дефекта (является для него верхней функцией).

Соответствующая ^-оптимальность в обоих случаях тогда имеет место по крайней мере для функции вида 9т = о( 1/ Jit), что означает стремление к нулю (по вероятности или почти наверное) процесса дефекта, умноженного на функцию д.

Получение наилучших оценок указанных типов связано с понятием таких чувствительных вероятностных критериев, при которых скорость возрастания процесса дефекта оценивается с максимально возможной точностью. При этом чувствительность критерия определяется соответствующей (неслучайной) весовой функцией от горизонта управления, при умножении на которую гарантируется стремление процесса дефекта к нулю по вероятности или почти наверное.

Для модели линейного регулятора с непрерывным временем в ([1]) была получена наилучшая оценка при исследовании ^-оптимальности п.н. Было показано, что для процесса дефекта, соответствующего оптимальному в среднем на бесконечном интервале управлению, такой оценкой является функция Нт = Ь In Т, где Ь - некоторая константа, что соответствует р-оптималыюсти п.н. для функции вида 9т = о(1/1пТ).

Кроме того, в ([17]) было показано, что оценкой при исследованиии д-оптимальности по вероятности в той же модели является любая функция hx, стремящаяся к бесконечности, что соответствует ^-оптимальности по вероятности указанного управления для любой функции вида 9т — о( 1).

4. Модель линейного регулятора и стохастическая оптимальность. Обобщение модели, рассматриваемое в данной работе. Модель линейного регулятора с дискретным временем исследовалась относительно стохастической оптимальности в [15], [14], где были получены результаты для случая дт = Т~1. Стохастическая оптимальность для линейных управляемых систем обсуждалась также в [11] (а для случая непрерывного времени в [12]), где рассматривается более общий случай и для управляемой марковской цепи, а также для общей схемы динамической оптимизации приводятся некоторые условия, при которых п.у. й = {ит} является Т~^оптимальной по вероятности и почти наверное. В силу общности постановки задачи эти условия являются достаточно ограничительными, например, в случае линейных систем они приводят к требованию ограниченности цены управления, что не имеет место в случае линейного регулятора.

Приведем здесь обобщение модели линейного регулятора с дискретным временем, которое рассматривается в данной работе.

Пусть Xt - случайный процесс со значениями в пространстве Rп, t = 0,1,2,. и xt = At xt! +Bt щ +Gt Сt + % (7) где (t, t = 1,2,. - некоторый (описанный ниже) случайный процесс со значениями в пространстве Rd; случайный вектор щ со значениями в Rm - неупреждающее управление в момент t; qt, t = 1,2,. - некоторая последовательность неслучайных векторов в Rn; At,Bt,Gt - матрицы соответствующих размеров. Начальное состояние хо фиксировано.

Пусть случайный процесс (t, t = 1,2,. описывается соотношением:

Ct = Rit Ct-i + Rat Ct-2 +••• + Rat Ct-s + (8) где t = 1,2,. - независимые случайные векторы (с.век.) со значениями в Rd, такие что = 0, матрицы ковариаций = Е^^'; Ru, i = l,.,s - некоторые матрицы размера d х d\ CojC-ь C-(s-i) " заданные неслучайные векторы.

Для каждого натурального Т определим целевой функционал:

МиТ) = Е (x'tCtXt + u't Dtut), (9) t=i где Ct,Dt, t = 1,2,. - симметрические матрицы соответствующих размеров, причем матрица Ct - неотрицательно определенные, a Dt -положительно определенные.

Модель (7)-(9) представляет собой модель линейного регулятора, возмущенного последовательностью зависимых случайных величин. При этом классическая модель линейного стохастического регулятора получается из описанной, если в (7) использовать следующие параметры: Gt, t = 1,2,., - единичные матрицы, Rn, г = 1,s, qt, t = 1,2,., -нулевые матрицы.

С помощью введения расширенного вектора состояния данная задача может быть сведена к классической задаче линейного регулятора большей размерности. Однако специфика полученной таким образом задачи регулятора состоит в том, что в общем случае не выполнены некоторые стандартные условия на параметры модели (в частности, стабилизируемость), которые, с одной стороны, обеспечивают существование установившегося оптимального управления при стремлении горизонта планирования к бесконечности, а с другой стороны, существенно используются при доказательствах утверждений, связанных со стохастической оптимальностью (см.пример в главе 4). Кроме того, для линейного регулятора с дискретным временем исследовалась только стохастическая оптимальность, соответствующая делению процесса дефекта на длину интервала планирования. В данной ситуации с учетом излагаемых ниже потребностей, связанных с экономическими приложениями, задача линейного регулятора, возмущенного последовательностью зависимых (описанным выше образом) случайных величин, требует отдельного рассмотрения.

В классических задачах возмущения обычно описываются белым шумом, что в случае дискретного времени соответствует последовательности независимых случайных величин. Однако в ряде экономических приложений наблюдается зависимость возмущающих переменных в разные моменты времени. В частности, это имеет место в приведенной в главе 4 модели финансирования пенсионного фонда. Задача оптимального финансирования рассматривается как задача динамического управления (обзор подобных постановок можно найти, например, в [20]), где изменение состояние системы (величина резерва пенсионного фонда) формально описывается линейной управляемой системой, возмущенной последовательностью случайных величин, образующих случайный процесс типа авторегрессионного (этот процесс описывает пенсионные выплаты), и некоторой неслучайной функцией времени.

5. Описание модели пенсионного финансирования. Пусть задана планируемая траектория развития фонда, описываемая соотношением л(г, = (1+р,)№+4г)-Р?\ (ю) где , с[г) - так называемые целевые (рассчитанные с помощью какого-либо актуарного метода (см, например, обзор в [20])) значения размера фонда и суммарных пенсионных взносов на основе прогнозируемых суммарных пенсионных выплат p[r\ t = 1,2,., pt - (неслучайная) ставка инвестиционной доходности на периоде [t — l,t), ffl = /о - известное начальное состояние. В реальности за счет колебаний случайных факторов (инфляции, инвестиционной доходности, смертности) происходит отклонение траектории развития фонда от планируемой. В качестве источника неопределенности будем здесь рассматривать колебания численности популяции участников пенсионной схемы, в частности, за счет смертности (этот риск особенно важен для схем, небольших по числу участников). Точнее, предположим, что суммарные пенсионные выплаты pt, t = 1,2,., удовлетворяют соотношению pt = auPt-l + a2tPt-2 + . + CletPt-a -f (И) где ац > 0, i = l,.,s, £i,£2>-- - независимые с.в., Е& = 0, = of, po,p-i, .,p(si) — фиксированные (неслучайные) числа. Тогда динамика реального размера фонда описывается соотношением ft = (1 + pt)ft-1 + <н- pt, (12) где ct, t = 1,2,., - суммарные пенсионные взносы, рассматриваемые как неупреждающее управление, /о - указанное выше начальное состояние.

Актуарные методы финансирования пенсий предполагают создание механизма коррекции отклонений от планируемой траектории развития фонда. Чтобы поставить задачу выбора оптимального способа такой коррекции как задачу оптимального динамического управления, выделим, следуя [33], два основных риска, с которыми сталкивается пенсионная схема: риск размера вклада (характеризует стабильность) и риск платежеспособности (характеризует безопасность). Тогда целевой функционал, учитывающий оба вида риска, имеет вид

Мст) = hft- fh2+Hot - 4r))2, (is) t=i где kt > 0, t = 1,2,.

Задача (10)-(13) сводится к одномерному линейному регулятору, возмущенному последовательностью зависимых случайных величин, тем самым представляет частный случай модели (7)-(9).

6. Цели и задачи работы. Краткое описание методов и основных результатов.

Целью диссертации является исследование ^-оптимальности по вероятности и п.н. в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин, описываемой соотношениями (7)-(9), а также применение полученных результатов в теории пенсионного финансирования.

В соответствии со сформулированной целью задачи диссертации можно определить следующим образом:

1. Найти управление, оптимальное в среднем в задаче (7)-(9);

2. Исследовать условия, при которых управление, оптимальное в среднем, является ^-оптимальным по вероятности и п.н.;

3. Выяснить возможный порядок стремления к нулю весовых функций g;

4. Применить полученные результаты к модели пенсионного финансирования (10)-(13).

Методы, используемые при решении поставленных задач, кратко можно охарактеризовать следующим образом.

Прежде всего, исследуемая задача линейного дискретного регулятора, возмущенного последовательностью зависимых случайных величин, приводится к виду классического регулятора. Далее доказательство стохастической оптимальности основывается на представлении (для каждого фиксированного Т) процесса дефекта, включающем некоторый мартингал (точнее, значение некоторого мартингала в момент Т) и его квадратическую характеристику. Указанное представление является дискретным аналогом предложенного в [17] и используемого также в [1] представления для линейного регулятора с непрерывным временем.

Однако исследование асимптотического поведения этого процесса в дискретном случае оказалось в некотором смысле более сложным по сравнению с аналогичным исследованием в случае непрерывного времени. Это потребовало разработки нового подхода, использующего свойства некоторого специального преобразования для мартингалов с равномерно ограниченными мартингал-разностями в сочетании со специфическим методом усечения для мартингала, участвующего в указанном представлении процесса дефекта, и применению предельных теорем для зависимых слагаемых.

Кроме того, следует заметить, что в силу специфики рассматриваемого приложения задача не свелась к исследованию стохастической оптимальности для классической модели линейного регулятора в обычной ситуации, когда существует установившийся оптимальный закон управления.

Это, с одной стороны, является обоснованием того, что в диссертации исследуется стохастическая оптимальность только в рамках схемы серий оптимальных в среднем управлений. С другой стороны, при построении упомянутых выше усечений это потребовало дополнительного изучения свойств некоторых функций от параметров модели в рассматриваемом специфическом случае, в частности, свойств, связанных с параметрами регрессии в исходной постановке. При этом наряду с методами теории мартингалов использовались также методы динамического программирования.

В работе получены следующие основные результаты:

1. Для модели линейного стохастического регулятора, возмущенного зависимыми случайными величинами, описываемой соотношениями (7)-(9), был получен вид оптимального в среднем управления.

2. При исследовании д-оптималыюсти по вероятности и п.н. в модели (7)-(9) с постоянными и с переменными параметрами определен порядок стремления к нулю весовых функций д и тем самым получены оценки скорости роста процесса дефекта оптимального управления. Показано, что эти оценки связаны с параметрами возмущающего процесса. При этом исследованы следующие ситуации:

1) случайные величины "возмущений", входящих в описание процесса авторегрессионного типа, являются независимыми равномерно ограниченными с вероятностью единица случайными величинами с нулевым математическим ожиданием;

2) случайные величины "возмущений", входящих в описание процесса авторегрессионного типа, являются независимыми с нулевым математическим ожиданием и конечными моментами различных порядков.

3. Полученные результаты относительно стохастической оптимальности в задаче линейного стохастического регулятора, возмущенного зависимыми случайными величинами (7)-(9), использованы в модели пенсионного финансирования как задаче оптимального динамического управления (10)-(13).

Новизна полученных результатов состоит в следующем:

1. Для классической модели линейного регулятора в дискретном времени:

1) улучшен порядок весовой функции дт , при которой имеет место д-оптималыюсть п.н. и по вероятности по сравнению с известными результатами ( см.[14],[15]).

2) Для дт = Т~1 ослаблены условия на моменты случайных возмущений, полученные ранее в [14]-[15], при которых соответствующая стохастическая оптимальность имеет место.

2. Результаты, полученные для линейного регулятора, возмущенного последовательностью зависимых случайных величин, рассматриваемого как классический линейный регулятор большей размерности, являются новыми как в силу вышеуказанного п. 1, так как и в силу того, что они не опираются на существование установившегося при Т оо оптимального закона управления.

3. Для получения результатов не требуется ограниченность неслучайной функции времени входящей в "возмущение", в то время как в полученных ранее результатах (см. [1] для случая непрерывного времени) эта ограниченность являлась одним из существенных условий при доказательстве стохастической оптимальности.

4. В используемой нами постановке модель пенсионного финансирования до сих пор, насколько нам известно, не рассматривалась, при этом исследование стохастической оптимальности по отношению к модели пенсионного финансирования как модели оптимального динамического управления проводилось впервые.

7. Описание содержания диссертации. Диссертация состоит из введения, четырех глав, заключения и списка литературы.

ЗАКЛЮЧЕНИЕ

В диссертации было проведено исследование стохастической оптимальности в модели линейного регулятора с дискретным временем, возмущенного последовательностью определенным образом зависимых случайных величин.

Для исследования стохастической оптимальности были использованы вероятностные критерии, с помощью которых определяется более сильное в некотором смысле свойство оптимальности по сравнению с оптимальностью в среднем, когда минимизируется м.о. целевого функционала. Точнее, была использована концепция "асимптотической оптимальности почти наверное и по вероятности", предложенная В.И.Ротарем, и развитая затем в работах Ю.М.Кабанова, Э.Л.Пресмана, Т.А.Белкиной и связанная с изучением асимптотического поведения разности значений функционалов для оптимального в среднем и произвольного управления. Положительная часть указанной разности называется процессом дефекта оптимального в среднем управления. Такой подход, обобщая и улучшая многие другие, позволяет также расширить постановку задачи, введя понятие чувствительных вероятностных критериев, и рассматривая оценки скорости роста для процесса дефекта, которые могут иметь порядок стремления к бесконечности гораздо меньший, чем у длины интервала планирования. При этом чувствительность критерия определяется соответствующей (неслучайной) весовой функцией от горизонта управления, при умножении на которую гарантируется стремление процесса дефекта к нулю по вероятности или почти наверное.

Модель линейного регулятора, исследуемая в данной работе, является обобщением классической модели стохастического линейного регулятора. Однако, в общем случае параметры возмущающего процесса могут быть такими, что соответствующая классическая модель большей размерности, получаемая из исходной введением расширенного вектора состояния, обладает некоторой спецификой по сравнению со стандартной ситуацией. Указанная особенность состоит в том, что может не существовать установившейся оптимальный закон управления при стремлении горизонта планирования к бесконечности. Кроме того, ранее для линейного регулятора с дискретным временем исследовалась только стохастическая оптимальность, соответствующая делению процесса дефекта на длину интервала планирования.

Необходимость рассмотрения такого обобщения классической модели возникла из потребности, связанной с экономическими приложениями. В классических задачах возмущения обычно описываются белым шумом, что в случае дискретного времени соответствует последовательности независимых случайных величин. Однако в ряде экономических приложений наблюдается зависимость возмущающих переменных в разные моменты времени. Например, в рассматриваемой в диссертации модели финансирования пенсионного фонда состояние системы (величина резерва пенсионного фонда) формально описывается линейной управляемой системой, возмущенной последовательностью случайных величин, образующих случайный процесс типа авторегрессионного (этот процесс описывает пенсионные выплаты), и некоторой неслучайной функцией времени. Соответствующую задачу оптимального управления можно охарактеризовать как задачу одномерного линейного регулятора, возмущенного последовательностью зависимых случайных величин.

В общем многомерном случае для исследования стохастической оптимальности был использован мартингальный подход. После приведения исследуемой модели к классическому виду дефект целевого функционала представляется как величина, включающая некоторый мартингал и его квадратическую характеристику. Исследование асимптотического поведения этого процесса в дискретном случае является в некотором смысле более сложным по сравнению с аналогичным исследованием в случае непрерывного времени. Это потребовало разработки нового подхода, использующего с использованием различных приемов и методов теории вероятностей и стохастической теории управления.

В диссертации для модели линейного стохастического регулятора, возмущенного зависимыми случайными величинами были получены оценки скорости роста процесса дефекта и установлена соответствующая оптимальность по вероятности и почти наверное оптимального в среднем управления при больших временных горизонтах. Показано что эти оценки связаны с параметрами возмущающего процесса.

При этом исследованы следующие ситуации:

1) случайные величины "возмущений", входящих в описание процесса авторегрессионного типа, являются независимыми равномерно ограниченными с вероятностью единица случайными величинами с нулевым математическим ожиданием;

2) случайные величины "возмущений"входящих в описание процесса авторегрессионного типа, являются независимыми с нулевым математическим ожиданием и конечными моментами различных порядков

Как частный случай, эти полученные оценки скорости роста процесса дефекта включают оценки для классического линейного регулятора с дискретным временем и они имеют лучший порядок по сравнению с известными результатами. Кроме того, указанные оценки остаются справедливыми и в случае, когда не выполнены условия, гарантирующие существование установившегося при стремлении горизонта планирования к бесконечности оптимального закона управления.

Следует также отметить, что в полученных ранее результатах при исследовании стохастической оптимальности одним из существенных условий является ограниченность неслучайной функции времени, входящей в возмущение. Однако, для результатов, полученных в диссертации, эта ограниченность не требуется.

Полученные результаты относительно стохастической оптимальности в задаче линейного регулятора использованы в модели пенсионного финансирования как задаче оптимального динамического управления. В используемой нами постановке модель пенсионного финансирования до сих пор, насколько нам известно, не рассматривалась, при этом исследование стохастической оптимальности по отношению к модели пенсионного финансирования как модели оптимального динамического управления проводилось впервые.

1. Белкина Т.А., Кабанов Ю.М., Пресман Э.Л. О стохастической оптимальности для линейно-квадратического регулятора. Теория вероятностей и ее применения, 2003, т. 48, вып. 4, с. 661-675.

2. Белкина Т.А., Лёвочкина М.С. Исследование модели оптимального управления негосударственным пенсионным фондом. В сб. "Математические модели экономики", М.:МИЭМ, 2002, с. 36-44.

3. Белкина Т.А., Лёвочкина М.С. Применение методов динамического управления в задаче определения пенсионных взносов. В сб. "Моделирование механизмов функционирования экономики России на современном этапе", вып. 6. М.:ЦЭМИ РАН, 2002, с.99-106.

4. Белкина Т.А., Лёвочкина М.С. О вероятностном критерии оптимальности в задаче управления негосударственным пенсионным фондом. Обозрение прикладной и промышленной математики, т. 2, вып. 2, М.: "ОПиПМ", 2003, с. 337-338.

5. Белкина Т.А., Лёвочкина М.С. О стохастической оптимальности в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин. Обозрение прикладной и промышленной математики, т.11, вып. 2, М.: "ОПиПМ", 2004, с. 234-236.

6. Белкина Т.А., Лёвочкина М.С. О стохастической оптимальности в задаче определения пенсионных взносов. В сб. "Анализ и моделирование экономических процессов", вып. 1, М.:ЦЭМИ РАН, 2004, с.81-94.

7. Лёвочкина М.С. Об асимптотической оптимальности по вероятности в задаче управления негосударственным пенсионным фондом. -Тезисы научно-технической конференции студентов, аспирантов и молодых специалистов института МИЭМ, М.:МИЭМ, 2004, с.529-530.

8. Белкина Т.А., Лёвочкина М.С. Стохастическая оптимальность в задаче линейного регулятора, возмущенного последовательностью зависимых случайных величин. Дискретная математика, т.18, вып.1, 2006, с.126-145.

9. Белкина Т.А., Пресман Э.Л. Асимптотически оптимальные по распределению управления для линейной стохастической системы с квадратичным функционалом. Автоматика и телемеханика,1997, т.58, в.З, с. 106-115

10. И. Белкина Т. А., Ротарь В. И. Об оптимальности по вероятности и почти наверное для процессов со свойством связности. I. Случай дискретного времени. Теория вероятностей и ее применения, 2005, т. 50, вып. 1, с. 3-26.

11. Белкина Т. А., Ротарь В. И. Об оптимальности по вероятности и почти наверное для процессов со свойством связности. II. Случай непрерывного времени. Теория вероятностей и ее применения, 2005, т. 50, вып. 2, с. 209-223.

12. Квакернаак X., Сиван Р. Линейные оптимальные системы управления. М.: Мир, 1977. 9. Касимов Ю.Ф. Введение в актуарную математику (страхование жизни и пенсионных схем). - М.: Анкил, 2001

13. Конюхова (Белкина) Т.А. Асимптотически оптимальные по вероятности управления в задаче о линейном регуляторе с переменными параметрами. Автоматика и телемеханика, 1994, т.55, в. 2, с. 110-120.

14. Конюхова (Белкина) Т. А., Ротарь В. И. Управления, асимптотически оптимальные по вероятности и почти наверное в задаче о линейном регуляторе. Автоматика и телемеханика, 1992, в. 6, с. 65-78.

15. Мельников А.В., Волков С.Н., Нечаев МЛ. Математика финансовых обязательств. М.: ГУ ВЭШ, 2001

16. Пресман Э.Л. Оптимальность почти наверное и по вероятности для стохастического линейно-квадратического регулятора. Теория вероятностей и ее применения, 1997, т.42, в.2, с.627-632

17. Ротарь В.И. Некоторые замечания об асимптотической оптимальности.- Исследования по вероятностным проблемам управления экономическими процессами. М.:ЦЭМИ РАН, 1986, с. 93-116. 15. Ширяев А.Н. Вероятность М: Наука, 198919 202122 23 [24 [2526