Обобщение метода характеристик Коши для построения численно-аналитических методов решения задач синтеза оптимального управления тема автореферата и диссертации по математике, 01.01.02 ВАК РФ

Московский государственный университет имени М. В. Ломоносова Факультет вычислительной математики и кибернетики

На правах рукописи

г-

Егоров Иван Евгеньевич

Обобщение метода характеристик Коши для построения численно-аналитических методов решения задач синтеза оптимального управления

01.01.02 - Дифференциальные уравнения, динамические системы и оптимальное управление

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

005557060

Москва - 2014

005557060

Работа выполнена на кафедре системного анализа факультета вычислительной математики и кибернетики федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Московский государственный университет

имени М. В. Ломоносова»

Научный руководитель: Братусь Александр Сергеевич,

доктор физико-математических наук, профессор кафедры системного анализа факультета вычислительной математики и кибернетики федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Московский государственный университет имени М. В. Ломоносова*

Официальные оппоненты: Разжевайкин Валерий Николаевич,

доктор физико-математических наук, профессор, главный научный сотрудник федерального государственного бюджетного учреждения науки «Вычислительный центр Российской академии наук имена А. А. Дородницына» Павлова Наталья Геннадьевна,

кандидат физико-математических наук, ассистент кафедры нелинейного анализа и оптимизации факультета физико-математических и естественных наук федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Российский университет дружбы народов» Ведущая организация: федеральное государственное бюджетное учреждение науки «Ин-

ститут математики и механики имени Н. Н. Красовского Уральского отделения Российской академии наук»

Защита состоится 24 декабря в 15 час. 30 мин. на заседании диссертационного совета Д 501.001.43 при Московском государственном университете имени М. В. Ломоносова по адресу: 119991, г. Москва, ГСП-1, Ленинские горы, МГУ, д. 1, стр. 52, 2-й учебный корпус, ВМК, аудитория 685.

С диссертацией можно ознакомиться в Научной библиотеке Московского государственного университета имени М. В. Ломоносова по адресу: 119192, г. Москва, Ломоносовский проспект, д. 27.

Автореферат разослан «_»_2014 г.

Ученый секретарь

диссертационного совета Д 501.001.43, доктор физико-математических наук, профессор

Е. В. Захаров

Общая характеристика работы

Актуальность работы. Известно, что задача синтеза оптимального управления, т. е. отыскания оптимального закона обратной связи (позиционного, не программного управления), сводится к глобальному построению в фазовом или расширенном фазовом пространстве обобщенного решения задачи Коши для, вообще говоря, нелинейного уравнения Гамильтона-Якоби-Беллма-на (коротко — уравнения ГЯБ) в частных производных первого порядка. Среди методов сугубо вычислительного характера для решения таких задач можно выделить полулагранжевые, конечно-разностные, использующие схему Ultra-Bee и основанные на аппроксимации множеств уровня. Их применение ограничивается следующими обстоятельствами:

• численное решение задачи Коши для уравнения ГЯБ ищется в ограниченной области фазового или расширенного фазового пространства, в то время как сама задача обычно ставится в неограниченной области, и тем самым возникает проблема корректного выбора ограниченной области для вычислений;

• близость приближенных решений задачи Коши для уравнения ГЯБ к точному решению далеко не всегда может быть обосновано той или иной теоремой о сходимости;

• с помощью методов сугубо вычислительного характера сложно получить целостное представление о геометрической картине синтеза оптимального управления, особенно для задач размерности, большей двух (в значительной степени это связано с тем, что такие методы, как правило, описываются для систем общего вида и поэтому не учитывают особенности динамики, имеющие место в конкретных классах математических моделей).

С другой стороны, если для определенного (возможно, достаточно узкого) класса задач удается задать все поверхности переключений оптимального пози-

ционного управления, то глобальная геометрическая картина синтеза естественным образом выявляется без возникновения перечисленных выше трудностей.

Центральное место в диссертации занимает разработка численно-аналитических методов исследования и построения указанных поверхностей переключений в конкретных классах задач без фазовых ограничений и с одномерным линейно входящим управлением. В основу этих методов положено обобщение классического метода характеристик Коши для уравнений в частных производных первого порядка, восходящее к работам Н. Н. Субботиной и А. А. Меликя-на. Важной особенностью разрабатываемого подхода является одновременное использование следующих двух видов качественной информации:

• аналитических представлений, которые определяют локальные решения задачи Коши для уравнения ГЯБ, отвечающие постоянным граничным управлениям, и находятся из первых интегралов расширенной системы уравнений динамики;

• результатов исследования как участков постоянства, так и особых участков оптимальных управлений принципом максимума Понтрягина.

Тем самым метод динамического программирования (достаточные условия оптимальности) комбинируется с принципом максимума Понтрягина (необходимыми условиями оптимальности).

Также известно, что в тех точках переключений оптимального позиционного управления, где фазовые компоненты обобщенных характеристик с разными начальными позициями на целевом множестве пересекаются друг с другом, может нарушаться дифференцируемость функции цены — решения задачи Коши для уравнения ГЯБ. В литературе по теории оптимального управления наблюдается существенный дефицит примеров нетривиальных и содержательных задач, в которых функция цены является всюду гладкой (непрерывно дифференцируемой). В диссертационной работе для некоторых классов задач выводятся условия, обеспечивающие гладкость функции цены. Помимо этого представлен

ряд нетривиальных примеров (в том числе конкретные математические модели), в которых выполнены указанные достаточные условия гладкости функции цены. В некоторых из них удается получить полное аналитическое представление для функции цены (что тоже крайне редко встречается в литературе), позволяющее непосредственно проверить ее гладкость.

В диссертационной работе использование разработанных методов глобального синтеза оптимального управления демонстрируется на следующих моделях математической биологии и медицины:

• математическая модель терапии однородной твердой несосудистой опухоли;

• математическая модель терапии лейкоза;

• математическая модель терапии злокачественной опухоли, учитывающая реакцию иммунной системы и основанная на модели Н. В. Степановой;

• математическая модель терапии вирусных инфекций.

В каждой из них динамика самого терапевтического агента определяется стандартным линейным фармакокинетическим уравнением, оперирующим величиной концентрации вместо абсолютного значения дозировки. Тем самым воздействие терапии на рассматриваемые клетки или вирусы задается так называемыми функциями терапии, которые зависят от меняющейся со временем концентрации терапевтического агента и могут быть как монотонными, так и немонотонными. Это более корректно с медицинской точки зрения по сравнению с учетом в модели полностью управляемого абсолютного значения дозировки без отдельного соответствующего уравнения динамики. Вместе с тем, такое добавление в управляемую систему нового уравнения и новой фазовой переменной может сильно изменить структуру оптимального позиционного управления и усложнить его поиск. Поэтому примеры исследования задач оптимального

управления для моделей математической биологии и медицины с фармакокине-тическими уравнениями слабо распространены в литературе. Например, в ряде работ У. Ледзевич и X. Шаттлера рассматриваются математические модели терапии злокачественной опухоли, которые так же, как и соответствующая задача в настоящей диссертационной работе, учитывают реакцию иммунной системы и основаны на модели Н. В. Степановой, но с целью упрощения не содержат фармакокинетических уравнений и функций терапии.

В диссертационной работе помимо проблематики синтеза оптимального управления затронут и следующий вопрос, касающийся связи теории оптимального управления с качественной теорией обыкновенных дифференциальных уравнений. Для ряда автономных систем с терминальным целевым функционалом, обладающих при каждом фиксированном значении управляющего параметра единственным и асимптотически устойчивым положением равновесия, удается построить "разумное" допустимое управление, руководствуясь лишь анализом свойств динамики. Такие управления принято называть "альтернативными" по отношению к управлениям, удовлетворяющим принципу максимума Понгрягина. Для указанного класса систем разработан способ априорного оценивания отклонения значения целевого функционала на альтернативном управлении от оптимального значения, основанный на применении аппарата функций Ляпунова и результатов предварительного исследования принципом максимума Понтрягина.

Степень разработанности темы исследования. Тематика качественного исследования и отыскания решений задач синтеза оптимального управления на текущий момент развита слабо даже для достаточно простых моделей малых размерностей с одномерным линейно входящим управлением при отсутствии фазовых ограничений. Однако необходимо отметить два следующих освещенных в литературе подхода к синтезу оптимального управления в задачах с одномерным линейно входящим управлением:

• общий теоретический подход к поиску локального синтеза, развивавшийся в основном X. Шаттлером, применимый, как правило, к системам малой размерности и распространяемый на некоторые классы задач с фазовыми ограничениями первого и, что значительно реже, второго порядков;

• аналитический подход к глобальному построению решения уравнения ГЯБ в конкретных классах задач без фазовых ограничений, намеченный в работах А. С. Братуся и его учеников, а также структуризованный, формализованный и дополненный в настоящей диссертационной работе.

Цели и задачи диссертационной работы:

• разработка численно-аналитического метода глобального синтеза оптимального управления в задачах без особых режимов и с не более чем одним переключением;

• разработка численно-аналитического метода глобального синтеза оптимального управления в задачах с особыми характеристиками и получение достаточных условий гладкости решения уравнения ГЯБ;

• решение предложенными методами задач синтеза оптимального управления для ряда новых моделей математической биологии и медицины, соответствующая программная реализация, проведение и содержательная интерпретация набора вычислительных экспериментов с графической визуализацией;

• разработка численно-аналитического подхода к оценке альтернативных стратегий управления системами с асимптотически устойчивыми положениями равновесия, соответствующая программная реализация и проведение на конкретном примере вычислительных экспериментов для иллюстрации уменьшения правой части априорной теоретической оценки с увеличением конечного момента времени;

• исследование двух специальных примеров моделей механики, в первом из которых разработанные методы синтеза оптимального управления не применимы, а во втором аналитически находится точное решение уравнения ГЯБ для задачи другого вида, нежели рассматривавшийся при изложении методов.

Научная новизна. Разработаны новые численно-аналитические методы решения задач синтеза оптимального управления, использующие аппарат обобщенных характеристик задачи Коши для уравнения ГЯБ и применимые к системам с одномерным линейно входящим управлением при отсутствии фазовых ограничений. Для ряда новых моделей математической биологии и медицины с фармакокинетическим уравнением, описывающим динамику концентрации терапевтического агента, построен глобальный синтез оптимального управления.

Теоретическая и практическая значимость. Разработанный подход, во-первых, открывает широкое ноле для исследований задач синтеза управления и, во-вторых, позволяет выявлять структуру оптимального позиционного управления для определенных классов математических моделей биологии, медицины, механики.

На защиту выносятся следующие основные результаты и положения:

• метод синтеза оптимального управления в задачах без особых режимов и с не более чем одним переключением;

• решение задачи синтеза оптимального управления в математической модели терапии злокачественной опухоли, учитывающей реакцию иммунной системы, основанной на модели Н. В. Степановой и содержащей стандартное линейное фармакокинетическое уравнение;

• метод синтеза оптимального управления в задачах с особыми характеристиками и достаточные условия гладкости решения уравнения ГЯБ;

• метод оценки альтернативных стратегий управления системами с асимптотически устойчивыми положениями равновесия.

Апробация работы. Основные результаты диссертационной работы докладывались на:

• секции «Вычислительная математика и кибернетика» XIX Международной научной конференции студентов, аспирантов и молодых ученых «Ло-моносов-2012» (Москва, МГУ имени М. В. Ломоносова, 9-13 апреля 2012

г.);

• научно-исследовательском семинаре «Прикладные задачи системного анализа» кафедры системного анализа факультета ВМиК МГУ имени М. В. Ломоносова под руководством академика РАН, профессора А. Б. Куржан-ского;

• научно-исследовательском семинаре «Динамические системы и математические модели биологии» кафедры системного анализа факультета ВМиК МГУ имени М. В. Ломоносова под руководством профессора А. С. Брату-ся;

• научно-исследовательском семинаре «Геометрические методы в теории оптимального управления» кафедры общих проблем управления механико-математического факультета МГУ имени М. В. Ломоносова под руководством члена-корреспондента РАН, профессора М. И. Зеликина;

• научно-исследовательском семинаре «Методы оптимизации в функциональных пространствах» кафедры оптимального управления факультета ВМиК МГУ имени М. В. Ломоносова под руководством профессора Ф. П. Васильева;

• научно-исследовательском семинаре отдела имитационных систем и исследования операций Вычислительного центра РАН имени А. А. Дородницы-

на под руководством профессора В. И. Елкина.

Публикации. Материалы диссертационной работы опубликованы в пяти печатных работах, список которых приведен в конце автореферата [1-5], из них четыре статьи в журналах перечня ВАК [1-4] и один тезис доклада [5].

Во всех работах автором постановки задач является научный руководитель, профессор А. С. Братусь. Автором диссертации целиком проведены аналитические исследования и численное моделирование в работах [2-4], написанных единолично. Работа [1] написана в соавторстве с А. С. Братусем, Й. Т. Тодоро-вым и Д. В. Юрченко; в ней автором диссертации проведен ряд теоретических исследований, касающихся применения обобщенною метода характеристик Ко-ши для построения глобального синтеза оптимального управления, и построены некоторые графические иллюстрации.

К публикациям [2-4] все материалы были подготовлены автором диссертации, подготовка материалов к публикации [1] осуществлялась совместно с Й. Т. Тодоровым.

Автор диссертации выражает глубокую признательность своему научному руководителю, профессору A.C. Братусю, за постановки задач, ценные указания и консультации в процессе подготовки публикаций, диссертации и автореферата (в том числе за критические замечания к соответствующим текстам), а также благодарит академика РАН, профессора А. Б. Куржанского, члена-корреспондента РАН, профессора М. И. Зеликина, члена-корреспондента РАН, профессора Н. Н. Субботину, профессора Ф. П. Васильева, профессора А. М. Филимонова, доцента А. С. Новожилова и Й. Т. Тодорова за методические рекомендации и обсуждения результатов.

Личный вклад автора:

• структуризован, формализован и дополнен подход к построению синтеза оптимального управления, использующий обобщение классического метода характеристик Коши и возникший из накопленного опыта решения

конкретных прикладных задач математической биологии, медицины, механики;

• получены достаточные условия гладкости решения уравнения ГЯБ для некоторых классов задач;

• для ряда новых моделей математической биологии и медицины с фарма-кокинетическим уравнением построен глобальный синтез оптимального управления.

Структура и объем диссертации. Диссертация состоит из введения, обзора литературы, четырех глав, заключения, библиографии и трех приложений. Общий объем диссертации — 181 страница, из них 158 страниц текста, включая 15 рисунков. Библиография включает в себя 162 наименования на 20 страницах.

Содержание работы

Во Введении раскрыты актуальность, цели и задачи, теоретическая и практическая значимость работы, кратко описаны полученные результаты.

В Обзоре литературы кратко описано историческое и систематическое развитие исследуемой проблемы в научных работах.

Глава 1 диссертации посвящена разработке метода синтеза оптимального управления, основанного на обобщении метода характеристик Коши, применительно к задачам, в которых у допустимых процессов, удовлетворяющих принципу максимума Понтрягина, отсутствуют участки особых режимов и имеется не более одного переключения. Управление предполагается одномерным и линейно входящим в систему.

В Разделе 1.1 дана общая постановка задачи в тесной связи с обобщенным методом характеристик для уравнения ГЯБ и получен ряд утверждений,

составляющих теоретическую основу исследований первых трех глав диссертации.

Рассматриваются управляемая система

^ = f{x,u(t)) := fHx) + u{t) ■ f\x\

(1)

г(;)еЕ", и(ь) е Р := [иии2} с к, <е[о,т], соответствующая сильно инвариантная область ССЁ" фазового пространства и целевой функционал

Ф (х(Т))

inf , и(-)б£„([0,Г),Р)

(2)

удовлетворяющие ряду естественных предположений. Запишем гамильтониан, задачи Коши для характеристической системы в прямом времени и для уравнения ГЯБ в обратном времени:

Н(х,ф,и) = (ф,/\х)) + (ф,?{х))и, | = f\x) + u{t)-f\x),

^ = - (Dxf\x))T ■ ф - u(t) ■ (Dxf(x))T ■ ф, х\ ыг = х', ф\1=т = -УФ(х'), z'<=G,

(3)

(4)

(5)

дт - <V.S,/4*)>+jnin {(VxS,f(x))u],

(6)

S = S(x,t), т := T — t, OS

= ( V.S, ГСс)> +

(х,т) e Gx [0,Г|,

5(a;,0) = Ф(ж), x eG. В обратном времени система (1) и задача Коши (4),(5) для характеристической системы принимают вид dx

dr

= —f{x, и(Т — г))) = -}\х) - u(T-r)-f(x),

= -f\x)-u(T-r).f(x), ^ = ' Ф + и(Т ~ т)' (Dxf(x))T ■ ф,

(7)

x\r=o = x', Vlr=o = -ЧФ&), x'eG. (9)

Имеет место следующее:

1) существует единственное вязкостное решение задачи Коши (6), которое совпадает с функцией цены

S(x',r') = inf Ф(*(* = Т;Т- т>, х>, „(•))), (Ю)

u(-)6£„([T-r',T],P) заданной и непрерывной на множестве (х',т') е G х [0, Т};

2) при любом т € (0, Т) функция S(-, т) : G —> М локально липшицева;

3) значение S(x', г') в точке (х\ т') € G х [0, Т] представляет собой минимум Ф(х") по всем таким х" в G, для которых найдется хотя бы одна характеристика

(x(-)J(-)) : J GxK" (11)

(в обратном времени) задачи (6), удовлетворяющая равенствам ¿(г') = а/, я(0) = а:";

4) для каждой точки (ж', т') е G х (0,Т) супердифференциал

D+S(x',t') := | (аг,ат) : £ r", аг g r,

— Д(д,г) - 5(г',т') - (ах,х-х') - аг(т-т') ^ Q1

(i,r)™x',r') + \т-т>\ J

непуст и представляет собой выпуклую оболочку всех таких векторов (-^(О. (ЧЛтР(т'))),

что (11) — какая-нибудь характеристика задачи (6), подчиненная равенствам х(т')=х\ S(x', т') = Ф(ж(0)).

В Разделе 1.2 даны основные понятия разработанного метода синтеза оптимального управления и описано его применение к задачам, в которых у допустимых процессов, удовлетворяющих принципу максимума Понтрягина, отсутствуют участки особых режимов и имеется не более одного переключения.

Зафиксируем числа Т_ <0, Т+> Т.

Пусть при г = 1,2 функция S' : G х (Т_,Т+) К. представляет собой гладкое решение задачи Коши я о«

~ = (yxS',fl(x)) + (VxS\f(x))uu (х,т) е (?х(Г.,Г+),

5!'(ж,0) = Ф(аг), xeG, которое существует и единственно в принятых предположениях.

Мы полагаем, что при г = 1,2 функция 31 находится аналитически посредством п первых интегралов расширенной системы (1), — = — 1 с и = щ. Положим

D1 := c1{(z',t') € Gx(T_,7+): (VsS1tf,iJ), f{x')) > 0} П

П (G х (Т-,Т+)),

Я2 := cl{(*',r') € G х (Т_,Т+) : (V^V,r'),/V)} < 0} П

П (G х (Т_,Т+)),

f := {(*',т') € G х (Г_,Т+) : (V.S^V), №)> = 0} Л

П D!', г = 1,2,

где cl обозначает операцию замыкания, и

Pj. := {xeRn: (®,т) € £>*}, := {z S R" : (х,т) £ У}

Vr е (Т-,Т+), ¿ = 1,2.

Полученные аналитически функции 5!, г = 1,2, дают аналитические представления для множеств (13),(14). Ясно, что при i = 1,2 функция S' является решением уравнения ГЯБ из (6) на множестве D1.

Теорема 1. Если зафиксирован номер i £ {1)2} и множество D1 совпадает со всей рассматриваемой частью расширенного фазового пространства переменных (х, г), то S = S' и и0pt == щ всюду в G х [0,7].

Следующее предположение является ключевым в первых трех главах диссертации.

Рис. 1. К предположению (15). Предположение 1. Предположим, что

7о = 7о := 7о- (15)

С помощью принципа максимума Понтрягина получены достаточные условия для выполнения равенства (15).

Пусть для г = 1,2 и х' € G вг(х') — первый момент достижения множества

(ext G х R) U (Rn х [Т+.+оо)) (16)

выходящей из позиции (х, т) = (х1,0) интегральной кривой системы (7) с и s щ (при этом в ряде естественных предположений в1 : G —» (0,Т+] — локально липшицевая однозначная функция), а

(хЪ 0,а/), о,а/)) : (Г_, б4^)) R2n (17)

есть решение (8),(9) с и = щ. Кроме того, пусть при г = 1,2 для любых (г', ф', т') е GxR"x(T_,T+)

(*«(•; т',х'), т',х',<//)) : (Т-, r' + öV)) -> R2" (18)

есть решение системы (8) с и = щ, подчиненное равенству (ж, |Г=Г< =-• (ж', V>') (:г'(-; т',х') от ip' не зависит).

Предположение 2. Предположим, что int int D\ — открытые области в ßn, int Dq = D'0\ 70, ¿ = 1,2, и 7o — связная регулярная гиперповертостъ без краевых точек в R", делящая G на две части Dq,Dq.

Положим

П< := {(¿(т; 0,х'), т) : х'е D'0, т € (Т_, ¿ф'))},

и>* := {(¿(т; 0, я/), т) : х'в т € (Т-, в{(х'))} , (19)

iij. := {leK": (i,r) € i?} Vr€(T_,T+), г = 1,2.

В Разделе 1.2 принято еще одно ограничение, заключающееся в том, что у допустимых процессов, удовлетворяющих принципу максимума Понтрягина, отсутствуют участки особых режимов и имеется не более одного переключения.

Предположение 3. Предположим, что для любой характеристики (11) задачи (6) скалярное произведение (тр(т), /2 (i(r))^ не равно нулю всюду ни на каком невырожденном интервале, содержащемся в J, и имеет не более одного нуля на J.

В Разделе 1.2.1 рассматривается случай, при котором

D Dl и П2Т С £>2\72 уте(0,Т]. (20)

Получены достаточные условия для выполнения требования (20). Из следующей теоремы вытекает алгоритм синтеза оптимального управления.

Теорема 2. В сделанных предположениях при условии (20) единственное переключение допустимого процесса, удовлетворяющего принципу максимума Понтрягина, может произойти только на множестве 71 в расширенном фазовом пространстве переменных (х, т) и только с и = щ на и = щ при увеличении прямого времени t (соответственно только с и = щ на и = щ при увеличении обратного времени т), но не наоборот.

Рис. 2. К условию (20). В Разделе 1.2.2 аналогично разбирается случай, при котором

П? э VI и С Уте М- (21)

В Разделе 1.2.3 получены результаты, описывающие ситуации, в которых фазовые компоненты характеристик задачи (6) с разными начальными позициями при т = 0 (т. е. при £ = Т) не пересекаются друг с другом и функция цены является гладкой всюду в С х (О, Т).

Пусть выполнено условие (20); случай выполнения условия (21) разбирается аналогично.

Предположение 4. Предположим, что:

1) 71 — связная регулярная гиперповерхность без краевых точек в Ип+1, делящая й х (Т_, Т+) на ¿ее части Б1 и <Э2 := ((¿7 х (Т_, Т+)) \ I?1) и которые при удалении из них 71 становятся открытыми областями в

ШП+1.

2) если (х,т) е -у1 и пу1(х,т) — какой-нибудь нормальный вектор к 71 в точке (х, т), принадлежащий (ради определенности) нормальному

Рис. 3. К Предположению 4.

конусу Кларка Н^(х,т), то справедливы неравенства Q

<n7i(z,r), (-f(x,Ui), 1)) < 0, г = 1,2.

(22)

Обозначим

Ql := {геГ: (х,т) S Q2} Vr € (Т_,Т+). Имеем <3q = Dq = Qq. Из условия (22) при г = 2 следует, что

П2Т С Q2r\7l Vr € (0,Г+).

Также положим

Q2 := ((Q2\fi2) U V U w2) П (Rn х [0,2+)) (см. Рисунок 3).

Теорема 3. В сделанных предположениях при условии (20) существует единственное гладкое решение 52: Q2 х (Т_,Т+) —» К задачи Коши

(23)

(24)

(25)

Г /9<?2

= {VxSlf(x)) + (Vxslf(x))u2, (x,T) е д2, Sl(x,t) = 51(х,т), (я,т) 6 7\

где

:= {(х2(т\ т',х'), г) : (х',т') в 7\ г € (Т_, г' + в\х'))} (27)

В Разделе 1.3 рассматривается пример — математическая модель терапии лейкоза с подчиненной закону Гомперца динамикой численностей здоровых и зараженных клеток, стандартным линейным фармакокинетическим уравнением и монотонно возрастающими функциями терапии.

Пусть N(1?) — численность здоровых клеток в момент времени I, Ь{Ь) — численность лейкозных клеток в момент Ь и — количество химиотерапев-тического агента в момент t. Следующая модель описывает динамику численностей клеток обоих типов:

есть содержащая множество ОЦ открытая область в К"+1, и

51(х,г), (х,т) 6 И1 П (К" х [0,Т]), = | 52(1,г), (®,т) € П2 П (Ж" х [0,Т]), (28)

(х,т) € 3* П (Е"х [О,Т]),

Пор^х, Т-т) = <

иь (х,т) € Я1 П (К" х [0,7]), и2, (х,т) е д2 П (М" х [0,Т]).

(29)

^ = пЫп^- - 7¡Ь - /¡(/1)Ь, ллг лг

= г„ЛПп^ - 7пЛ^ - сМЬ - /„(А)ЛГ,

ТУ

— = -<улЛ + и(4), 0 ^ и(£) < Я, 0 < г ^ Т,

(30)

Здесь

:= Аг/(Л), /П(Л) := Л„/(Л) — функции терапии, / : (—к, +оо) —Ж — непрерывно дифференцируемая функция, ¡'{К) >0 Ук > —к, например, /(Л) := ^ ,

Ю "Г* /1

Ь2, N ^ Й,

Гг,гп.-Ьа,^а,7г,7п,7?1,с,Л;,АТ1,к,Л,а^У,Г — положительные константы. С помощью замены переменных

/:= 1п—, п:=1п-

мы приходим к задаче

— = -пг + + /,(А),

(¿71 _7 - ,, .

— = -гпп + 7„ + е0е + /„(Л),

¿Л ■ /,\

— = + цг),

0 ^ гг(£) < Я, 0 < Ь Т, Ф(/(Г), п(Т)) —> ш£,

Ь2е~2К

Ф(1,п) :=

ЛГае~" > ЛГ,

+ а (л^-" - ЛГ)2, Ыае~п < Я,

где са := сЬа. Обозначим

:= 51, := Б2, В0 := Г»1, := Б2,

7 , 7'

ш

,о -

ш1, := ы2.

(31)

(32)

(33)

(34)

Выпишем первые интегралы г = 1,2,3, для расширенной системы

¿т

(33), — = -1си = Лип = 0:

Ф?(Л,т) = Ле"™-, Ф?(Л,т) - (и - ^

2?(Л,т,в) = Ф5(Л,т)е»' = ке-ъ{т~я\

Ф*-°(гЛт) = ге-Г1Т + ^(1 - е-пт) +

+

е-^/г^^г,«)) Ж,

22л'°(г,Л,т,5) = Ф*'°(/ДтК" - - 1) -

5

Ф^°(/,п,Л,т) = пе_г"т + ^(1 - е_ГпТ) +

+

+ са

(35)

Тогда

(36)

- 2 (¿»в-2*^«^) . (ф*^ (/, /г, г) + ■ (37)

где частные

производные (^Лт), (ф^°)л(^гг,/г,г) могут быть

вы-

Рис. 4. Сечения множеств рассматриваемых в четырехмерном пространстве пе-

ременных (L, N, h, т), плоскостью, заданной уравнениями N = TV', г = т1 при фиксированных

числены с помощью соотношений (35). Представления множеств Dr'°,jr'0 получаются из определений (13),(34) с использованием (35),(37).

Утверждение 1. В случае

ri - rn < сае~'1^-, I = const > О ^ = const > — (38)

An П 7л

справедливы Предположение 3 и требование (20), т. е. мы приходим к алгоритму оптимального синтеза из Раздела 1.2.1 диссертации. В случае

П - rn > саеч-р, I = const < 7'+ ^ ^, h = const 6 (-гс,0), (39)

лп Г\

справедливы Предположение 3 и требование (21), т. е. мы приходим к алгоритму оптимального синтеза из Раздела 1.2.2 диссертации.

Вопрос аналитической проверки условий, обеспечивающих применимость результатов Раздела 1.2.3 диссертации к задаче (33), остается нерешенным. Однако, действуя неформально, можно проводить численную проверку для имеющихся конкретных значений параметров.

Основные результаты Главы 1 опубликованы в работе [1].

В Главе 2 с помощью методологии, изложенной в Главе 1, исследуется задача оптимального управления в математической модели, которая описывает динамику роста злокачественной опухоли вместе с соответствующей реакцией иммунной системы при воздействии химиотерапевтического агента и основана на модели Н. В. Степановой. Учитывается негативное влияние химиотерапевтического агента как на опухолевые, так и на иммунокомпетентные клетки; при этом, как и в математической модели терапии лейкоза из Главы 1, рассматриваются монотонно возрастающие функции терапии. Динамика самого химиотерапевтического агента задается стандартным линейным фармакокинетическим уравнением, в отличие от ряда работ У. Ледзевич и X. Шаттлера, где оно отсутствует. Задача состоит в отыскании стратегии лечения, оптимальной с точки зрения минимизации объема опухоли и в то же время поддержания иммунной реакции не ниже фиксированного допустимого уровня настолько, насколько это возможно.

В Разделе 2.1 дана постановка указанной задачи оптимального управления. Пусть х — объем опухоли, у — плотность иммунокомпетентных клеток и Н — концентрация химиотерапевтического агента. Динамика роста злокачественной опухоли вместе с соответствующей реакцией иммунной системы при воздействии химиотерапевтического агента описывается системой

Здесь Хоо — вместимость (потенциальная емкость) опухоли, ^иа определяют скорости роста численностей опухолевых и иммунокомпетентных клеток соответственно, р\ и р2 — показатели их смертности, выражение —^хфх — 1 )у с положительными параметрами /^,/3 описывает взаимодействие между двумя типами клеток, т. е. зависимость иммунной реакции от численности опухолевых клеток. Негативное влияние химиотерапевтического агента на опухолевые и им-

— = - ргху - ¡1(Н)х,

х

< = -(ц2х(Рх-1)+Р2 + Ы}1))У +

~тг = + иЦ), 0 < г < Т.

X.

(40)

мунокомпетентные клетки задается функциями терапии /1(А),/2(Л). В последнем дифференциальном уравнении 7л можно интерпретировать как параметр диссипации химиотерапевтического агента, а и(-) £ ¿¡»([О, Т], К) — управляющая функция, представляющая поступление препарата в организм пациента. Допустимые управления удовлетворяют ограничению

ше[о,т] (41)

с фиксированной положительной константой Я. Пусть

ДО) := ах/Ь(Л-), /г(Л) := а2/о(Н), /о : [к, +оо) —> М — непрерывно дифференцируемая функция, (42)

/о (/г) >0 МК^Н

(т.е. функции терапии строго возрастают при к ^ к), где а^аг — положительные константы, К — отрицательная константа. Например, можно положить

Ш := ^ (43)

где Ь — положительная константа.

Оптимальное управление заключается в достижении точной нижней грани гладкой целевой функции Фх от фазовых координат системы в фиксированный конечный момент времени Т > 0:

Фг(х(Т),у(Т)) :=

х2(П У(Т) > у,

х\Т) + А(у{Т)-у)\ у(Т)^у (44)

—> ш£

«(•)е£оо([0,Г]1[0,л])

Здесь параметр у характеризует приемлемый уровень иммунной реакции, А — достаточно большая положительная константа. С помощью замены переменных

с := (45)

мы приходим к задаче dc

— = -щс + Pi у + fi(h), at

dy

dt dh

~dt

= - ((¿ye-c(pye-c -l)+f>2 + h(h)) у + a, = -7hh + u(t), 0 < t < T,

где

:= ц2Хоо, РУ ■■= Рхоо.

При этом целевая функция (44) преобразуется к виду

х^е-ЭД + А(у(Т)-у)\ у(Т) < у

(47)

Ф(с(Т),г/(Г)) :=

(48)

inf

«(■) е 4»([о,г], [о, Л])

Очевидно, что открытая область С

{(c,y,h) е R3 : с> 0, у>0, h<h<h},

— i?

h = const <0, h = const > —,

Ih

(49)

(46),

сильно инвариантна относительно управляемой системы (41). В случае (43) будем считать, что — Ь < Н < 0. Далее рассматриваются только допустимые фазовые траектории, проходящие в (?.

В Разделе 2.2 с помощью принципа максимума Понтрягина выведены достаточные условия для существования у оптимального управления не более одного и не более двух переключений при отсутствии участков особых режимов.

В Разделе 2.3 получены вспомогательные оценки для допустимых фазовых траекторий управляемой системы (46),(41).

Раздел 2.4 посвящен синтезу оптимальною управления в задаче (46),(41), (48). Для аппроксимации множеств 7Л,°, на которых совершаются последние в прямом времени (т. е. первые в обратном времени) переключения оптимальных

интегральных траекторий, достаточно получить алгоритм вычисления значе-ддя, о

ний функций —— в <3 х (Т_,Т+). Последний, в свою очередь, строится на дк

основе известной теоремы о непрерывной дифференцируемое™ решения задачи Коши для системы обыкновенных дифференциальных уравнений по начальным данным и представлении соответствующих частных производных.

В предположениях Раздела 2.3 сформулирован алгоритм синтеза оптимального управления (по аналогии с Разделами 1.2.1,1.2.2).

В Разделе 2.5 приведены результаты численного моделирования. Продемонстрировано, что при большем значении аг (увеличение параметра аг влечет за собой увеличение негативного влияния химиотерапевтического агента на иммунную реакцию) время "активной" терапии (когда и — Е) сокращается. Поскольку определенная равенством (48) функция Ф, будучи положительной, имеет очень большой разброс значений для взятых параметров, то для численного моделирования бралась целевая функция 1пФ, эквивалентная Ф с точки зрения отношения порядка.

Результаты Главы 2 опубликованы в работе [4].

Глава 3 является продолжением Главы 1, в которой при определенных предположениях был изложен метод построения синтеза оптимального управления на основе исследования расположения характеристик задачи Коши для уравнения ГЯБ (выяснения того, как расширенное фазовое пространство заполняется характеристиками). Предлагается метод отыскания глобального решения задачи Коши для уравнения ГЯБ посредством задания граничных значений на поверхности особых характеристик, соответствующих особым оптимальным управлениям. Как и в Главе 1, управление считается одномерным и линейно входящим в систему.

В Разделе 3.1 дана постановка задачи.

Рассматривается та же самая задача оптимального управления (1),(2), что и в Главе 1. Все предположения и обозначения Главы 1, предшествующие формулировке указанного выше Предположения 3, считаются сохраняющими силу.

Через 75 обозначим совокупность всех таких интегральных кривых системы (7), которые соответствуют допустимым особым управлениям, проходят че-

рез 70 х {0} и рассматриваются до момента первого своего попадания на множество (16). Основная идея предлагаемого метода заключается в задании граничного условия для искомой функции цены на -у3 с целью решения уравнений в частных производных из (12) в областях, которые не заполнены интегральными кривыми, составляющими множества Г21 и П2.

В первой половине Раздела 3.2 разобран ряд примеров, в числе которых задача

^ ^Ж = q^ am-f(h)> dh

— = — ¡j,h + u(t), a = const >0, fi = const > 0, at

0 ^ u(t) ^R, R = const > 0, Ф(т(Т)) := m(T) —>• inf,

(50)

где

или

q(m) := rm —

r\m\l+P

(51)

g(m)

(52)

непрерывно

rm (¡3 — In |m|), m/0, 0, m = 0,

S

г,р,в — положительные константы, функция / : [h, +oo) дифференцируема, h — отрицательная константа,

/(0)=0, /(Л)>0 при h> 0,

f'(h) >0 при h^h<ha, f'(h0) = 0, f'(h) < 0 при h > h0, h0 = const e ^0, ;

например, f(h) := ahe~bh с константами a > 0, b > Здесь h = hQ на 7s,

Л

функция цены представляется аналитически и является гладкой. Это математическая модель терапии однородной твердой несосудистой опухоли с немонотонной функцией f(h). При этом m(t) — количество опухолевых клеток в момент

времени t, Л(£) — концентрация лекарства в момент t, функция <?(•) задает логистический закон (в случае (51)) либо закон Гомперца (в случае (52)) для роста опухоли.

Во второй половине Раздела 3.2 описана общая ситуация, имевшая место в последнем примере.

Имеем

{■ф{П?{х(тЩ5) = |^,/2Сг)>

= 0 при х(Т) е 70. (53)

*=г, №,(5)

¿2

Вторая производная (ф, /2(х)) с помощью соотношений (4) может быть записана в форме

!<</>, т

= сц(х,ф) + а2(х,ф)и. (54)

(4)

(Р

С учетом представления (54) из условия = 0 получаем, что

и = й*(х,ф) := при (х,ф) е С? х К", а2(х,ф) ф 0. (55)

а2(х, у})

Предположение 5. Будем считать, что на -у5 выполнено усиленное условие Келли

д д? дН . „ Л^ЛГ = > 01

Пусть также

й*(х,ф) = ия(х) € (иии2) на 7а. (57)

Если имеет место (57), то из равенств

...... =0

А (4)

и соотношений (4),(5) с х' е 7о выводится, что включение й8(х, ф) € (щ, и2) = ¿гЛ-Р и независимость й"(х, ф) от ф имеют место тождественно на особой поверхности. В примерах Главы 3 таким образом получены аналитические выражения

о

Рис. 5. Геометрическая картина оптимального синтеза в одном из примеров Раздела 3.2.

для ив(х). При этом в ряде дополнительных естественных предположений 73 является связной регулярной гиперповерхностью в М"+1, делящей рассматриваемую область расширенного фазового пространства переменных (а;, т) на две части, которых мы обозначим через С}1 и <22.

Известно, что локальный синтез экстремалей в некоторой окрестности особой поверхности 7" строится посредством соединения особых интегральных траекторий с регулярными (соответствующими постоянным граничным управлениям и = г = 1,2). Более того, части полученных при этом траекторий, лежащие в некоторой окрестности 7а, удовлетворяют принципу максимума Понтря-гина. В Разделе 3.2 введены еще два предположения, обеспечивающие глобальность такой геометрической картины оптимального синтеза и проверяемые в примерах. Тем самым особая поверхность единственна и переключение любого допустимого процесса, удовлетворяющего принципу максимума Понтряги-на, может быть совершено только на ней, причем не более одного раза. Отсюда вытекает алгоритм синтеза оптимального управления.

Следующее предположение позволяет уточнить полученный результат.

Предположение 6. Предположим, что, какова бы ни была точка (х, г) € 7а, если г, г) — какой-нибудь нормальный вектор к 7® в точке (х,т), принадлежащий (ради определенности) нормальному конусу Кларка т),

то выполнены неравенства

т), (-/(а,«0, 1)) < о, (-я*.«а)> 1)> > о.

Обозначим

# := и и ы*) П (К™ х [0, Т+)), ¿ = 1,2 (59)

(см., например, Рисунок 5).

Теорема 4. В предположениях Главы 3 существуют и единственны гладкие решения задач Коши

= ^(я.т), (я,г) е 7% функция цены имеет вид

'5Чх,т), (®,т) € П4, < = 1,2,

5(г,г) = 5:(х,т), (х,т) 6(51, ¿ = 1,2, (61)

^.(ж.т), (х,т) е 7е,

и мы приходим к следующему представлению оптимального позиционного управления:

ЪЬТ-т) - (62,

^'(я), (г,т) е 7"

(<хм. Рисунки 5,6).

В Разделе 3.3 разработанный подход применен к задаче синтеза оптимального управления для математической модели терапии вирусных инфекций

-77 = - 7121 - «12:1/1 (Л), ал

^ = Л2 + аз/з(Л) - 72^2 - свдг/гСг).

§ = -ъь + «(*),

£ € [0,Т],

Ф(х1(Т),х2(Т)) := хЦТ) + ех\{Т) —»■ т£,

где:

• xi(t) — численность основных вирусов в момент t, x2(t) — численность вирусов-мутантов в момент t, h(t) — концентрация лекарства в момент t;

• Aj > 0, i = 1,2, — скорости воспроизводства основных и мутировавших вирусов;

• 7i > 0, i = 1,2, — показатели смертности вирусов двух типов, 73 > 0 — коэффициент диссипации лекарства;

• Ui, г=. 1,2,3, Я, е — положительные константы;

• /¿(ft) = /(/г) := ^ г = 1,2, 5 = const > 0, — функции

В + п.

терапии, характеризующие интенсивность негативного влияния лекарства на клетки, зараженные основными и мутировавшими вирусами,

h2

• /з(h) := —-г, А = const > 0, — функция, описывающая увеличение

Л ti

скорости воспроизводства вирусов-мутантов под воздействием лекарства,

у ли

m = 0 2 >0 VA > 0; (65)

' (A + h2)2

и(-) — управляющая функция, которая задает количество лекарства, поступающего в организм пациента в единицу времени.

Также приняты следующие предположения:

справедливы неравенства

—/г4 — 4Bh3 + 3 (А - В2) h2 + AABh + АВ2 > О УК е

/з (f)

« R

0,. 7з.

, (66)

„ /«2 <*3 < W—£

о<1 2а2

''ft)

< 31,

S.2 <

«3

/з ft)

+

где

О < хх = const < -

«3

& ft)

2а2

/'ОЙ.

а1 2 --щ,

еа2

О < х2 — const <

Ai _ . Ai

-;—г-, Xi = Const > —,

71+ «!/(#)

Л2

x2 = const > выполнены требования

72 W (I)' A2 +аз/з(|)

72

Л3 + Wh2 - 3Ah - AB < 0 Mh €

0,-

7з.

где

0 < us(xi,x2,h) < R V (xi,x2,h) €

€ G := {я, < xx < 2?i, Hb<X2<Z2, 0 < h < — 1, l 7з J

А) :=7зД-

f№

■ (Ххх^(азт - а2х2Г{К)) - аз/а(Ь)(7з + а2/(Л))+

+ а2/'(Л)(Аа + а8/з(А)))

есть особое позиционное управление.

(67)

(68)

(69)

(70)

Рис. 6. Синтез оптимального управления в математической модели терапии вирусных инфекций.

В сделанных допущениях к задаче (63) применим алгоритм синтеза оптимального управления, описанный в Разделе 3.2. Чтобы можно было получить представления (61),(62), необходимо проверить выполнение Предположения 4. Однако в этом примере не было получено аналитическое представление для 7г, а потому вопрос установления справедливости Предположения 4 аналитическим путем остается нерешенным. Заметим, что в рассмотренной ранее задаче (50) с немонотонной функцией терапии / 7® обладает тривиальным аналитическим представлением и выполнение Предположения 4 проверяется элементарно. Вместе с тем, действуя неформально, можно проводить численную проверку справедливости Предположения 4 для имеющихся конкретных значений параметров.

Раздел 3.4 посвящен теореме о гладкости функции цены вида (61). В этом случае поверхность 73, во всех точках которой сохраняется гладкость функции цены, является универсальной согласно модифицированной А. А. Меликяном

терминологии Р. Айзекса.

Результаты Главы 3 опубликованы в работе [3].

В Главе 4 затронут следующий вопрос, не связанный напрямую с проблематикой синтеза оптимального управления. Как известно, отыскание решений многих прикладных задач оптимального управления с помощью принципа максимума Понтрягина и метода динамического программирования затруднительно. Кроме того, использование итерационных методов оптимального управления часто оказывается чрезвычайно трудоемким процессом и далеко не всегда может быть обосновано той или иной теоремой о сходимости по функционалу. Однако для ряда автономных систем с терминальным целевым функционалом, имеющих при каждом фиксированном значении управляющего параметра единственное и асимптотически устойчивое положение равновесия, удается построить "разумное" допустимое управление, руководствуясь лишь анализом свойств динамики. Такие управления принято называть "альтернативными" по отношению к управлениям, удовлетворяющим принципу максимума Понтрягина. В Главе 4 для указанного класса систем предложен способ априорного оценивания отклонения значения целевого функционала на альтернативном управлении от оптимального значения, основанный на применении аппарата функций Ляпунова и результатов предварительного исследования принципом максимума Понтрягина.

Разработанный подход продемонстрирован на несколько измененном примере из Главы 1, в котором рассматривается математическая модель терапии лейкоза. Альтернативное управление формируется на основе содержательного смысла задачи и состоит в том, чтобы как можно быстрее привести концентрацию лекарства к определенному равновесному значению и впоследствии поддерживать ее постоянной до конечного момента времени. С помощью уточнения теоремы Гершгорина о локализации собственных значений построена функция Ляпунова, зависящая от управляющего параметра и соответствующего асимптотически устойчивого положения равновесия.

Оценка альтернативного управления в примере выведена не для сколь угодно большого конечного момента времени Т ввиду наложенных на параметры задачи ограничений, поэтому утверждать, что отклонение по функционалу от оптимального значения сходится к нулю при Т +оо, мы не можем. Несмотря на это, результаты численного моделирования показывают относительную малость правой части оценки для достаточно больших допустимых Т. Результаты Главы 4 опубликованы в работе [2].

В Приложении А исследованы два специальных примера моделей механики, в первом из которых разработанные методы синтеза оптимального управления не применимы, а во втором аналитически находится точное решение уравнения ГЯБ для задачи другого вида, нежели рассматривавшийся при изложении методов.

В Приложении Б сформулированы используемые в диссертационной par боте вспомогательные определения и классическая теорема о существовании и единственности гладкого решения задачи Коши для линейного дифференциального уравнения в частных производных первого порядка.

В Приложении В доказан ряд утверждений и теорем из Глав 1,3.

Список публикаций

1. Bratus A., Todorov Y., Yegorov I., Yurchenko D. Solution of the feedback control problem in the mathematical model of leukaemia therapy // Journal of Optimization Theory and Applications. 2013. Vol. 159, no. 3. P. 590-605.

2. Егоров И. E. Оценка альтернативных стратегий управления системами с асимптотически устойчивыми положениями равновесия // Вестник Московского университета: Вычислительная математика и кибернетика. 2013. Т. 37, № 3. С. 38-48.

3. Егоров И. Е. Обобщение метода характеристик Коши для построения глад-

ких решений уравнения Гамильтона-Якоби-Беллмана в задачах оптимального управления с особыми режимами // Вестник Московского университета: Вычислительная математика и кибернетика. 2014. Т. 38, № 3. С. 30-40.

4. Егоров И. Е. Оптимальное позиционное управление в математической модели терапии злокачественной опухоли с учетом реакции иммунной системы // Математическая биология и биоинформатика. 2014. Т. 9, № 1. С. 257-272.

5. Егоров И. Е. Обобщение метода характеристик Коши для построения гладких решений уравнения Гамильтона-Якоби-Беллмана // Сборник тезисов секции «Вычислительная математика и кибернетика» XIX Международной научной конференции студентов, аспирантов и молодых ученых «Ломоно-сов-2012» (Москва, МГУ имени М. В. Ломоносова, 9-13 апреля 2012 г.). М.: Издательский отдел факультета ВМиК МГУ имени М. В. Ломоносова. 2012. С. 76-78.

Напечатано с готового оригинал-макета

Подписано в печать 20.11.2014 г. Формат 60x90 1/16. Усл.печл. 1,0. Тираж 70 экз. Заказ 263.

Издательство ООО "МАКС Пресс" Лицензия ИД N00510 от01.12.99 г. 119992, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 527 к. Тел. 8(495)939-3890/91. Тел./факс 8(495)939-3891.