Об оптимальном управлении полумарковскими процессами двумя игроками с противоречивыми интересами тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Введение.

Глава 1. Исследование «игры» неравноправных противников.

1. Введение.

2. Исследование минимаксных стратегий и величины выигрыша в «игре» неравноправных противников.

3. Исследование минимаксных стратегий и величины выигрыша в «игре» неравноправных противников, когда сообщается часть информации.

Глава 2. Управление при неполной информации случайными процессами в условии неравноправия.

1. Введение.

2. Управляемые полумарковские процессы.

3. Построение зависимых минимаксных (максиминных) стратегий управления и определение значений минимакса (максимина) при исследовании дробно-линейного целевого функционала.

Глава 3. Полумарковское преобразование времени.

1. Введение.

2. Функционал накопления.

3. Пример.

4. Функционал достижения.

Настоящая работа посвящена проблемам управления полумарковскими процессами при неполной информации. Разработаны новые постановки задач управления ПМП и методы их решения. Управляемые ПМП широко используются при исследовании моделей надежности и массового обслуживания.

Постановка любой конкретной задачи оптимального управления включает в себя ряд факторов: математическую модель управляемого объекта, цель управления (именуемую иногда критерием качества), различного рода ограничения на траекторию системы, управляющее воздействие, длительность процесса управления, класс допустимых управлений и т.д.

Многочисленные методы управляемых систем массового обслуживания, модели управления запасами, контроля, детерминированные и вероятностные модели развивающейся экономики вкладываются в абстрактную модель управляемой системы, обладающей марковским свойством. Это свойство заключается в том, что будущее поведение системы полностью определяется ее состоянием в настоящий момент времени и управлением, принятом в этот момент времени. Связь с прошлым определяется только через управление, которое может выбираться на основе всей истории системы до настоящего момента.

Исследование управляемой системы сводится к исследованию управляемого случайного процесса. Классификация моделей в зависимости от случайных процессов приведена в [19].

При исследовании управляемой системы нужно знать вероятностные характеристики случайного процесса. Вероятностные характеристики процесса зависят от вероятностных характеристик случайных величин. В моделях надежности - это случайная величина времени безотказной работы элемента (системы), доля времени нахождения объекта в исправном состоянии, случайное время от начала эксплуатации до момента наступления предельного состояния объекта и т.д. В системах массового обслуживания -это интенсивность прихода требований в систему, случайная величина длительности обслуживания требования, количество мест в очереди.

Достаточно часто эти характеристики случайных величин не известны. Для их получения проводят статистические испытания, на основании которых строятся интервалы для этих характеристик. Так как по статистическим данным получили множество характеристик, то получаем множество процессов, соответствующих множеству характеристик. Тогда исследование управляемой системы сводится к исследованию множества случайных процессов.

Одной из основных особенностей класса полумарковских процессов является замкнутость класса относительно преобразования замены времени достаточно общего вида, которое не сохраняет марковость. Одной из основных проблем теории полумарковских процессов является представление любого такого процесса в виде марковского процесса, преобразованного заменой времени [55, 56].

В работах [62, 68, 70, 87, 88, 94, 102, 71, 74, 76, 95] приведены, результаты исследования различных задач для марковских цепей с конечным множеством состояний. Доказаны теоремы об асимптотическом поведении характеристик, построенных на траекториях марковских цепей, и приведены примеры их применения.

Для управляемого полумарковского процесса динамика процесса описывается полумарковским ядром, зависящего от стратегии управления. Стратегия управления, в общем случае, зависит от выбранного управления в текущем состоянии системы.

Далее приводится обзор основных работ, посвященных проблемам и их решениям для марковских и полумарковских процессов.

В книге [57] изложены результаты исследований управляемых марковских цепей с конечным множеством состояний. Для построенной модели была предложена процедура целенаправленного поиска оптимальной стратегии, максимизирующей функционал дохода, построенный на траекториях марковской цепи.

Майн, Осаки [37] изучали марковские процессы принятия решений с конечным временем планирования. В этой работе авторы, для нахождения оптимальной стратегии, использовали принцип оптимальности и метод динамического программирования. С позиции линейного программирования предложенная процедура улучшения решения является таким расширением симплексного критерия, при котором последний используется одновременно во всех состояниях. Доказана теорема о сведении процедуры поиска оптимальной стратегии для дробно-линейного функционала к задаче линейного программирования при линейных ограничениях. Доказано, что алгоритм сходится к оптимальной стратегии за конечное число итераций.

Описываются управляемые полумарковские процессы с конечным множеством состояний [17] с конечным множеством управления. Джевелл привел алгоритмы поиска оптимальной однородной стратегии для задачи с бесконечным числом переходом и для задачи с бесконечным временем функционирования. Построенные алгоритмы последовательных приближений в пространстве стратегий для максимизации дохода остаются почти такими же, как и для марковских моделей, за исключением бесконечных случаев.

Авторы описывают [5] первые постановки минимаксных задач в теории надежности. Для конкретных моделей надежности ищутся минимаксные стратегии с некоторыми математическими ограничениями, например, известно математическое ожидание или фиксировано время проведения профилактик. Также могут существовать ограничения на вторые моменты. Приведены оценки для распределения с ограниченным математическим ожиданием.

В книге [3] доказана теорема о поведении оптимальной функции распределения для полумарковских процессов, ограниченная двумя другими функциями распределения. Теорема доказывает, что оптимальная функция 6 распределения, ограниченная снизу и сверху двумя другими функциями, скачет с нижней границы на верхнюю, или идет по прямой до «пересечения» с одной из двух ограничивающих функций.

В книгах [34, 35, 51] изложено обобщение достижений о марковских и полумарковских процессах на момент издания и приведены некоторые обобщающие теоремы.

В книге [24] доказана теорема о том, что максимум (минимум) функционала дохода достигается на вырожденном множестве функций распределения, при некоторых ограничениях на подынтегральные функции функционала дохода, построенного на траекториях полумарковского процесса.

Решается задача [2] поиска минимакса (максимина) для дробно-линейных функционалов по двум множествам. Доказана теорема о структуре мер, которые позволяют искать внешний и внутренний экстремум при ограничениях на подынтегральные функции дробно-линейного функционала, построенного на траекториях полумарковского процесса. Доказана лемма о совпадении множеств функций распределения, на которых достигаются экстремумы дробно-линейного и специально подобранного линейного функционала. Но эта лемма не позволяет определить распределение, на котором достигается экстремум дробно-линейного функционала, исследуя линейный функционал, поскольку в его определении фигурирует неизвестная константа. Однако, если удается определить, что множество, на котором достигается экстремум специально подобранного линейного функционала, содержит подмножество, обладающее некоторыми специальными свойствами, то тогда экстремум дробно-линейного функционала можно искать по более узкому множеству распределений, обладающих этими свойствами. Основной результат работы заключается в том, что внутренний экстремум достигается на множестве вырожденных функций распределения и, следовательно, можно искать внешний экстремум линейного функционала.

В работе [23] предложен алгоритм целенаправленного поиска оптимальной стратегии в классе однородных конечных марковских цепей с конечным множеством состояний. В отличии от предыдущих результатов, полученных Ховардом, Джевеллом и Майн, Осаки, изучаются задачи управления с неполной информацией марковскими цепями, это означает, что для каждой стратегии существует множество марковских цепей и ищется двойной экстремум, то есть либо минимакс, либо максимин.

Цель работы.

Развитие теории управления случайными процессами и системами массового обслуживания с неполной информацией, методы их анализа, разработка методов оптимизации управления, в зависимости от «количества» и «качества» неполноты информации.

Научная новизна работы.

Сформулированы новые постановки задач оптимального управления ПМП. Исследована структура оптимальных стратегий управления.-Исследовано предельное поведение нового класса функционалов, его структура в зависимости от вероятностных мер, определяющих марковскую однородную рандомизированную стратегию управления.

Далее кратко опишем результаты диссертации.

В главе 1 поставлена новая задача поиска экстремума минимакса или максимина для линейных функционалов. Эти задачи можно записать в виде двух «игр», заключающихся в определении стратегий, на которых достигаются экстремумы где функция Pj(u/uj) - есть условная вероятность принятия решения j-u игроком из множества Bj, Bj e<Bj при условии, что /-ый игрок принял решение щ ij=l,2 и величин этих экстремумов.

Тогда справедлива теорема.

Теорема 1.1.

Пусть для любых управлений щ eUi существуют такие и/иJ еЦ, ij=l,2, что А(и i(u2),u2)=minuieUjA(иltu2) nA(u1,U2(u1)) = maxU2eU2A(u1>u2), и пусть множества допустимых стратегий У/ и Uj eUj, ij=l,2, содержат все детерминированные стратегии, то есть ^/ujcr^/ui), ij=l,2, Щ.

Тогда minP j e^maxp^ue y2(u mCtXpjerjninpjfujeVjfuj JJ^OV"2)^2(^2)^1 idu\ /иг) > minPle^maxp^j)e^2(U]) \\А(щ,и2)Р^щ)P2(du2 /w,) =

UtxU2 inpjerjmaxptfujjertfu]) ЯA(ul,u2)P^du^P2(du2/u])=minujeU]A(u],u2(uI)),

U,xU2 maxp2er2minPj(U2)e<yl(u2) Jj^w,,u2)P2(,du2)Px(du{ tu2)

UyxU, maxp2£y»2minP](U2)еч»^ \\a(m,,u2)P2(du2)P,(dux /u2) =maxU2eU2A(u)(и 2),,

U,xU2 то есть экстремумы достигаются на более узких множествах детерминированных стратегий Ч*и 4*2(uj) и 4*2, 1(1*2) соответственно, и tninpjе4яjMaxp^uj)e4»2(иj) \\A(ux,u2)?!(dul)P2{du21щ)> икхиг maxp2e^2minpj(U2)e^j(U2) ^A(ul,u2)P2(du2)Pl(dul /u2).

U,xU2

Справедлива теорема о том, что расширение возможностей игрока, получающего информацию о решении, принятом другим игроком, не увеличивает его выигрыш (не уменьшает его проигрыш). Теорема 1.2.

Если выполняются условия теоремы 1, то экстремумы тахр2еу2ттр](и2)£(г1(и2)и>г]) JJA{ux,u2)P2(du2)Px(dux/и2),

U,xU2 minpjeYjinaxptfupe^uflvvj \\А{щ,и2)Р^щ)Р^и2/к,) и{хиг достигаются на вырожденных распределениях и выполняются равенства minpjeVjmaxptfujjef^utfUty {jА(их,u2)Px(dux)Р2(du2/щ)=А(и*,, и*2(и ,)), и,хЩ maxp2e>f'2minp1(U2)е(ч/1(и2)ич/1) \\а(щ,и2)Р2(du2)Р,(dux /и2)=А(и }(и 2), и 2).

U,x иг

В параграфе 3 главы 1 исследована «игра» двух лиц с противоречивыми интересами, в которой противники неравноправны и один # из них может сообщать другому не полностью принятое решение, а только его часть.

Тогда для игроков с противоречивыми интересами сформулированы две задачи, заключающиеся в определении стратегий, на которых достигаются экстремумы mmP]I е гf jminPl2 е^12(и1 j)maxp2(u }I)er2(UI р ,ul2,и2i, «22)PX, (du,,)Pn (dul2 /щ,)P2 (du2l, du22 /щ,)

UyxUj

Щ maxp2I e r2lmaxp22 e у22(u2])tnmP ](U2])e y](U2]) un,u2l,u22)P2l(du2l)P22(du22 /u2x)Px(duu,dun / u2l): и,хиг где функция Pi (иц, ип/щд - есть условная вероятность принятия решения 1-м игроком из множества В], Bje<Bj и 2-м игроком решения u2eB2 при условии, что 2-ый игрок принял решение u2i

Доказана теорема 1.3 о классе стратегий, на которых достигаются экстремумы линейных функционалов, если сообщается часть принятого решения.

Доказаны теоремы (теоремы 1.4-1.7) о величинах дохода для трех видов задач: классическая постановка задачи; задачи, когда один из противников сообщает полностью принятое решение и для задачи, когда один из противников сообщает только часть принятого решения и соотношение величин дохода для каждой постановки задачи.

В главе 2 сформулированы задачи поиска экстремума минимакса максимина) и функций распределения, на которых достигаются экстремумы

11 для полумарковских процессов с конечным множеством состояний £={1,2,., п). Множество управления U имеет вид U=U]xU2, где Ui=(U]], UJ2, . , uln), U2=(U21, u22, . , U2n). Функции A(U1,U2) и В(щ,ид будут функциями от многих переменных, то есть u]=(ujj, ип, ., M;J, u2-(u2i,u22, ., и2п). Далее для простоты будем писать A(uj,u2) и B(uj,u2). Тогда функционал дохода имеет вид . jA(ui,u2)Pu(duu).Pu(duJP2l(du21 / uu).P2n(du2n/и1п)

U^xU^x xUt„xUu

J .» \В{Щ ,u2)Pu(duu).Pln(duln)P2l(du2l /uu).P2n(du2n /uln)

OuxU2lx xUinxUln

J . jj(u„u2)P2l(du

U„xUltx x U,„xUu

UnxUux xUlnxUu

Обозначим

A{ux,u2)Px(dux)P2{du2lux) J . рСирМз)?,,^,,).^^)^,^,/!;,,).^^,,/!/^)

U,xU2— U„xU2,x xUuxU2,

JJ5(i/„i/2)P,(<ft/,)P2(<ft/2/Mi) J . |Б(м,,м2)Рп(с/«п).^я(£/м1л),Р2,(бГм2, /w,,).^^^»/wJ«) иххиг UuxUixx xUuxUu

U^Ui— Uuxultx xU,„xUu

B{uvu2)P2(du2)Px{duJu2) J . JB(u{,u2)P2l(du2x).P2n(du2n,(duxx!un).PXn(duXn /u2n) и?иг VnxUltx xUuxUln

Сформулированы задачи поиска экстремума минимакса (максимина) и функций распределения, на которых достигаются экстремумы и2)Р2(du2)P1 (dux /и2) 22 пуну ^B(ux,u2)P2(du2)Px(duxlu2)

U.xU,

А(щ,u2)Px{dux)P2([du2 /щ)

U,xU,

Доказана лемма 2.2 о совпадении множеств функций распределения, на которых достигаются внутренние экстремумы дробно-линейных функционалов и специально подобранных линейных функционалов. Приведено доказательство теоремы 2.2 о виде функций распределения, на которых достигаются экстремумы минимакс или максимин, если принятое управление сообщается полностью.

Проведены исследования и получены результаты для задачи с дробно-линейным функционалом дохода, когда один из противников сообщает только часть принятого решения.

Для функционалов справедливы представления

JJA(uxx,u]2.u2l,u22)P2X(du2X)P22(du22 / ulx)Px(dun,dun /и2Х) tw l\B(uxx,uX2,u2X,u22)P2x(du2X)P22(du22/u2])Px(dulx,duX2 /и2Х)

Ц,хиг х,Щ2,и2Х,и22)РХ,{dux,)Рп(dun /их,)Р2(du2X,du22 /ии)

U,*U,

JJj3(м,vux2,u2x,ип)РХ, (du,,)Рп(duX2 /щ,)Р2(du2x,du22 /ихх)

UtxU2

Обозначим

U(un>ux2,u2l,u22)Pxx(duxx)Px2(dux2 /uu)P2(du2X,du22 /«„) Ix(Pu,Pu(uxx),P2(uxx)) ujJu1 . h,ux2,u2x,u22)Pxx(duxX)PX2(duX2 /un)P2(du2X,du22 /uxx)

U,xU2 ffA(uu,ul2.u2x,u22)P2](du21)P22(du22 /u21)Px(dun,dul2 tu2X) IX(Px(u2X),P2UP22(u2x)) ^y^

12(p\m>p2\.p22("21)) \\B{uxx,ux2,u2x,u22)P2X{du2X)P22(du22 /щХ)РХ(duxx,dux2 /u2x)

UtxU2

Сформулированы две задачи, заключающиеся в определении функций распределения, на которых достигаются экстремумы

Р1 ]2е^12(и 1е{^2(и1>(М]]),(Ц]])) '

1ЛРЛи2ХР2Х,Р2Ли2Л) maxr2i ^21тахр22 e4,22(U2l)minPl(U2l) £^](U2]) JiJ^JL-^^ и величины этих экстремумов.

Доказана теорема (теорема 2.3) о виде функций распределения, на которых достигаются экстремумы дробно-линейных функционалов, когда сообщается только часть принятого решения.

Аналогично теоремам 1.4-1.7 главы 1, о величине дохода при различных постановках задач, справедливы неравенства для дробно-линейных функционалов jA(ux,u2)P2(du2X)Px(dux 1и2х) тахр]2 g v2maxP22 е^(U]2)mmP](u]2) ^](U]2) ^

A(ux,u2)Px(dux)P2{du2) maxP.£v minp e у ^-=

2 2 7 1 jjB(ux,u2)Px(dux)P2(du2) и ,xV, u2)Px(dux)P2(du2) tvu2

JJ^(m, , u2)i> (du{)P2 (du2 / щ)

У2

Для модели системы массового обслуживания Mi/Gk/1/l с неполной информацией, приведены численные результаты, показывающие работу теоретических результатов. В Приложении 1 приведено подробное построение аддитивного функционала дохода S(Z,G(t)). Изучается задача поиска экстремума тinjmaxc(t)S(X,G(t)).

По условиям примера известно, что параметр Х{ принадлежит некоторому интервалу значений Aie[cii,bJ, /=1,2.

Из приведенных результатов видно, на сколько отличаются значения функционала дохода в зависимости от «количества» информации. Также на величину дохода влияет, к какому классу функций распределения принадлежит параметр X (интенсивность потока входящих требований) и функция длительности обслуживания.

Величина дохода в случае, когда параметр X принадлежит классу функций распределений с равномерным законом, значительно меньше, чем в случае, когда параметр X принадлежит классу функций распределений с нормальным законом.

В Приложениях 4, 5 приведены численные значения функционала, из которых видно, на сколько увеличивается доход, если сообщаем решение полностью.

Наибольшую величину дохода можно получить, в случае сообщения принятого решения полностью. При сообщении части принятого решения или в случае определения величины экстремума функционала дохода, когда не известно принятое решение, значительно уменьшает величину дохода.

В главе 3 приведены результаты исследования задачи, поиска вида функционала, построенного на траекториях полумарковских процессов, если заданы функционал дохода и функционал ресурса. Изучается полумарковский процесс с конечным множеством состояний Е и два аддитивных функционала, построенных на его траекториях, которые обозначим {£(t), rj(t), S(t)J, где %(t) - полумарковский процесс, S(t) -функционал дохода и rj(t) - функционал ресурса.

Обозначим через Di(x) условное математическое ожидание дохода S(t) к моменту t при условии, что процесс %(t) стартовал из состояния / и к моменту t потрачен ресурс х, то есть Dt(x) =M{S(t)/%(0)=i, r\(t)-x}.

Доказаны теоремы о структуре условного математического ожидания дохода как для функционала накопления, так и для функционала достижения.

Практическая значимость.

Разработаны и доведены до реализации методы поиска максимина или минимакса в случаях, когда информация о принятом управлении неизвестна, известна частично или известна полностью. Для конкретной модели массового обслуживания написана программа поиска значений дохода дробно-линейного функционала, построенного на траекториях полумарковского процесса.

Апробация работы и публикации.

Основные результаты диссертации докладывались на конференциях IX Всероссийская школа-коллоквиум по стохастическим методам. 2002, Научно-технические конференции студентов, аспирантов и молодых специалистов МГИЭМ 2001-2003гг. и опубликованы в работах [25-27, 39-48].

1. Е.Ю. Барзилович, В.А. Каштанов. Некоторые математические вопросы теории обслуживания сложных систем. М.: Сов. радио, 1971.

2. Е.Ю. Барзилович, В.А. Каштанов. Организация обслуживания при ограниченной информации о надежности системы. М.: Сов. радио, 1975.

3. Е.Ю. Барзилович, В.А. Каштанов, И.Н. Коваленко. О минимаксных критериях в задачах надежности. Техническая кибернетика. 1971.

4. Е.Ю. Барзилович В.А. Каштанов и др. Вопросы математической теории надежности (под редакцией академика УССР Гнеденко Б.В.), Радио и связь, Москва, 1983.

5. Р. Барлоу, Ф. Прошан. Математическая теория надежности (перевод, 1969)

6. Г.П. Башарин, А.Д. Харкевич, М.А. Шнепс. Массовое обслуживание. М.: Наука, 1966.

7. Р. Беллман. Динамическое программирование. М. 1960.

8. А.А.Боровков. Курс теории вероятностей. 1972.

9. А.А.Боровков. Математическая статистика. г.М, Наука, 1984.

10. Р. Брейли, С. Майерс. Принципы корпоративных финансов .

11. Е.С. Вентцель, JI.A. Овчаров. Теория случайных процессов и ее инженерные приложения. М.: Наука, 1991.

12. П.Л. Виленский. Оценка эффективности инвестиционных проектов.

13. И.И. Гихман, А.В. Скороход. Управляемые случайные процессы. Наукова Думка, 1977.

14. И.М. Гихман, А.В. Скороход. Введение в теорию случайных процессов. г.М, Наука, 1965.

15. И.М. Гихман, А.В. Скороход. Теория случайных процессов. Т. 1-3, г.М, Наука, 1971-1975.

16. И.И. Гихман, А.В. Скороход. Стохастические дифференциальные уравнения и их приложения. К., Научное мнение, 1982.

17. В. Джевелл. Управляемые полумарковские процессы. Кибернетический сборник. Новая серия, вып. 4. М.: Мир, 1967.

18. Г. А. Евграфов. Аналитические функции. г.М, Наука, 1968.

19. Г.И. Ивченко, В.А. Каштанов, И.Н. Коваленко. Теория массового обслуживания. М.: Высшая школа. -1982.

20. Г.И.Ивченко, Ю.И.Медведев. Математическая статистика. г.М, Высшая школа, 1984.

21. Т.В. Капустина. Компьютерная система Mathematica 3.0 для пользователей. М., Солон-Р, 1999.

22. Л.В.Канторович, Г.П.Акимов. Функциональный анализ. г.М, Наука, 1984.

23. А.В. Карманов, В.М.Жуков. Управляемые конечные марковские цепи с неполной информацией и их приложения (минимаксный подход). М.: МГИЭМ, 2000.

24. В.А. Каштанов. Об одном классе оптимальных дискретных управлений полумарковским процессом. // Некоторые теоретические и прикладные вопросы теории вероятностей. М. - МИЭМ. -1975. в.44.

25. В.А. Каштанов, Е.Ю. Мерзлова. О случайном преобразовании времени. IX Всероссийская школа-коллоквиум по стохастическим методам. 2002.

26. В.А. Каштанов, Е.Ю. Мерзлова. Об оптимальном управлении полумарковским процессом двумя сторонами с противоречивыми целями. IX Всероссийская школа-коллоквиум по стохастическим методам. 2002.

27. В.А. Каштанов, Е.Ю. Мерзлова. Полумарковская модель анализа эффективности. Надежность и качество. Пенза, 2002.

28. Г. Кендалл, А. Стюарт. Многомерный статистический анализ и временные ряды. г.М, Наука, 1976.

29. Д. Кемени, Д. Снелл. Конечные цепи Маркова. М.: Наука, 1970.

30. А.Н. Колмогоров. Основные понятия теории вероятности. М.: Наука, 1971.

31. А.Н. Колмогоров, С.В. Фомин. Элементы теории функций и функционального анализа. г.М, Наука, 1968.

32. А.Н. Колмогоров. Основные понятия теории вероятностей, изд.2, г.М, Наука, 1974.

33. B.C. Королюк, А.Ф. Турбин. Полумарковские процессы и их приложения. Киев: Наукова думка, 1976.

34. B.C. Королюк, А.Ф. Турбин. Процессы марковского восстановления в задачах надежности систем. М. 1982

35. Т. Крамер. Математические методы статистики. г.М, Мир, 1975.

36. X. Майн, С. Осаки. Марковские процессы принятия решений. М.:Наука, 1977.

37. М. Мексон. Основы менеджмента. М., Дело, 1993.

38. Е.Ю. Мерзлова. Обобщение метода Ховарда-Карманова и управляемые полумарковские процессы. Научно-техническая конференция студентов, аспирантов и молодых специалистов. МГИЭМ, 2001.

39. Е.Ю. Мерзлова. О случайном преобразовании времени. Научно-техническая конференция студентов, аспирантов и молодых специалистов. МГИЭМ, 2002.

40. Е.Ю. Мерзлова. Полумарковское преобразование времени для функционала достижения. X Всероссийская школа-коллоквиум по стохастическим методам. 2002.

41. Е.Ю. Мерзлова. Полумарковское преобразование времени для дробно-линейных функционалов. Надежность и качество. М. 2002.

42. Е.Ю. Мерзлова. Об оптимальном управлении двумя сторонами с противоречивыми целями полумарковскими процессами. Научно-техническая конференция студентов, аспирантов и молодых специалистов. МГИЭМ, 2003

43. Е.Ю. Мерзлова. Две стороны с разными интересами и их оптимальное управление полумарковскими процессами. Научно-техническая конференция студентов, аспирантов и молодых специалистов. МГИЭМ, 2003.

44. Е.Ю. Мерзлова. Оптимальное управление полумарковскими процессами двумя игроками с противоречивыми целями. 2003.

45. Е.Ю. Мерзлова. О нахождении экстремума дробно-линейногофункционала дохода для игроков с противоречивыми интересами. Научно150техническая конференция студентов, аспирантов и молодых специалистов. МГИЭМ, 2004.

46. Е.Ю. Мерзлова. Оптимальное управление полумарковскими процессами двумя игроками с противоречивыми целями. Научно-техническая конференция студентов, аспирантов и молодых специалистов. МГИЭМ, 2004.

47. Е.Ю. Мерзлова. Исследование игры неравноправных противников при дробно-линейном целевом функционале. М. Надежность, 2006.

48. В.В. Рыков. Управляемые системы массового обслуживания. — В сб.: Теория вероятностей. Мат статистика. Теоретическая кибернетика. ВИНИТИ, 1975.

49. Е.А. Семина, Петросян JI.A. Теория игр М.: Высш. школа, 1998.

50. Д.С. Сильвестров. Полумарковские процессы с дискретным множеством состояний. М. 1980.

51. А.В. Скороход. Лекции о теории случайных процессов. К., Либидь, 1998.

52. В.И. Тихонов, М.А. Миронов. Марковские процессы. М.: Сов. радио, 1977.

53. Феллер. Введение в теорию вероятности и ее приложение. М.: Мир, 1984.

54. Б.П. Харламов. Случайная замена времени и непрерывные полумарковские процессы. Записки научн. семин. ЛОМИ. 1972.

55. Б.П. Харламов. Представление полумарковских процессов в виде преобразованного заменой времени марковского процесса. Теория вероятности и ее применение. 1982.

56. Р. Ховард. Динамическое программирование и марковские процессы. М.:IСов. радио, 1964

57. Е.М.Четыркин. Финансовый анализ производственных инвестиций.

58. А.Н. Ширяев. Вероятность. М.: Наука, 1980.

59. А.Н.Ширяев. Статистика случайных процессов. г.М, Наука, 1974.

60. У. Шарп. Инвестиции М. 1999

61. М. Abundo. On first-crossing times of one dimensional over two time dependent boundaries. Stochastic Anal. Appl. 2000, 2.

62. D.Aldous, S. Evans. Dirichlet forms on totally disconnected spaces and bipartite Markov chains. J. Theoret. probab. 1999,3.

63. Aspandiiarov, Sanjar, Roudolf Bernoulti. Asymptotic behaviour of stationary distributions for countable Markov chains, with some applications. J. Appl. Probab. 3, 1999.

64. K. Avrachenkov, I. Zasserre. The fundamental matrix of singularly perturbed Markov chains. Avd. in Appl. Probab. 3, 1999.

65. N. Battenberg, B. Falkowski. On saddlepoints of two-person zero-sum games with applications to data verifications tests. Internat. J. Game Theory, 1998,4.

66. P. Belleflamme, Stable coalition structures with open membership and asymmetric firms, games Econom. Behav. 2000, 1.

67. J. Bertoin, J. Pitman, J. Ruizde Chavez. Construction of a Brownian path with a given mimimum. Electron. Comm. Probab. 1999, 4.

68. Billera, Brown, Diaconis. Random walks and plane arrangements in three dimensions. Amer. Math. Monthky. 6, 1999.

69. N. Bingham, S. Pitts. Non-parametric estimation for the M\G\oo queue. Ann. Inst. Statist. Math. 1999, 1.

70. C. Borges, C. Petrs. Computing approximate stationary distributions for discrete Markov processes with banded infinitesimal generator. J. Appl. Probab. 1999,4.

71. P. Borm, F. van Megen, S. Tijs. A perfectness concept multicriteria games. Math. Methods Oper. Res., 1999, 3.

72. A. Brandt, M. Brandt. On a two-queue priority system with impatince and its application to a call center. Methodol. Comput. Appl. Probab. 2, 1999.

73. R. Bubley, M. Dyer, C. Greenhill, M. Jerrum. On approximately counting colorings of small degree graphs. J. Comput. 1999, 2.

74. Carette. Modelling hierarchical systems by a continuous time homogeneous Markov chain using two - wave panel data. J. Appl. Probab. 3, 1999.

75. M. Chen. Estimate of exponential convergence rate in total variation by spectral gap. Acta Math. Sinica. 1998. 1.

76. Cutoff for samples of Markov chains. ESAIM Probab. Statist. 1999.

77. K. Debicki, Z. Palmowsky. On-off fluid models in heavy traffic environment. Queueing Systems Theory Appl. 1999, 4.

78. E. Dekel, S. Scotcnmer. On the evolution of attitudes towards risk in winner-take-all games. J. Econom. Theory. 1999, 1.

79. D. Heath, S. Resnick, G. Samorodnitsky. How system performance is affected by the interplay of averages in a fluid queue with long range dependence induced by heavy tails. Ann. Appl. Probab. 1999,2.

80. E. Hopkins. A note on best response dynamics. Games Economic. Behav. 1999, 1.

81. A. Hoyland, M. Rausand. System Reliability Theory: Models and Statistical Methods.

82. P. Jelenkovic, A. Lazar. Asymptotic results for multiplexing subexponential on-off processes. Adv. in Appl. Probab. 1999, 2.

83. A. Karwowski, X. Zhao. Asymptotics and spectral results for random walks on p-adics. Stochastic Process Appl. 1, 1999.

84. M. Krapp. A cooperative approach to multiagent incentive problems. Operations research Proceedings. 1998.

85. Y. Li, R. Savit. Evolution in minority games.

86. Games with a fixed strategy space.

87. Games with variable strategy spaces. Phys. A. 2000, 1, 2.

88. Y.Mamontov, M. Willander. Modelling of high-dimensional difusion stochastic process with nonlinean coefficients for engineering applications.

89. Approximations for expectation and variance of nonstationary process.1.. Approximations for covariance and spectral density of stationary process.

90. C. Meise. On optimal gap estimates of a Markov chain via hitting times and coupling. J. Appl. Probab. 2, 1999.

91. К. Mitov. Limit theorems for regenerative excursion processes. Serbica Math. J. 1999, 1.

92. G. Moustakides. Extension of Wald's first lemma to Markov processes. J. Appl. Probab. 1. 1999.

93. C. Noquet. Local invariance principle for Markov chains. Probab. Math. Statist. 1999, 1.

94. L. Petrosjan. Characteristic functions of cooperative differential games. Vestnik St. Petersburg Univ. Math. 28 (1995), no. 1.

95. L. Petrosjan. Time consistency of cooperative solutions in dynamic games. Nonlinear analysis and convex analysis (Niigata, 1998), World Sci. Publishing, River Edge, NJ, 1999.

96. L. Petrosjan. Mixed strategies in differential games with incomplete information. (Russian) Differential equations and applications, I, II.

97. D. Perry, W. Stadje. Heavy traffic analysis of a queueing system qith bounded capacity for two types of customers. J. Appl. Probab. 1999. 4.

98. P.Picard, C.Lefevre. On the algebraic structure in Markovi an processes of death and epidemic types. Adv. in Appl. Probab. 1999,3

99. D. Plane, G. Kochenberger. Operations Research for Managerial Decisions. Homewood, IILIrwin, 1972.

100. M.D. Rossetti, G.N. Clark. Moment solutions for the state exing counting processes of a Markov renewal process. Methodol. Comput. Appl. Probab. 3, 1999.

101. R. Shannon. Systems Simulation: The Art and Science. Englewood Cliffs, N.J.: Prentice-Hall, 1975/

102. A. Soltani, К. Khorshidian. Reward processes for semi-Markov processes: asymptotic behaviour. J. Appl. Probab. 4, 1998.

103. A. Svishchuk, S. Goncharova. Stability of semi-Markov risk processes in averaging and diffusion approximation schemes. Ukrain Math. Zh, 7, 1999.

104. Y. Su, C. Wang. Nonlinear renewal theory for lattice Markov random walk. Sequential Anal. 1998,3.

105. Villarreal. Ergodic decomposition of Markov chains. Linear Algebra Appl. 2, 1998.

106. C. Wang. On the transient delays of M/G/l queues. J. Appl. Probab. 3, 1999.

107. В. Ycart, Cuttof for samples of Markov chains. Probab. Statist. 1999, 3.

108. I. Yu, Q. Luo. On essential components of the solution set of generalized games. J. math. Anal. Appl. 1999, 2.