Некоторые задачи последовательного планирования экспериментов тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

ВВЕДЕНИЕ

§ I. Актуальность теш.

В экспериментальных исследованиях широко применяется последовательное планирование экспериментов, при котором выбор условий и момента N окончания экспериментов определяется результатами предшествующих этому эксперименту измерений. Теоретически вначале был исследован случай, когда выбирается только моментf\], пионерской работой этого направления в применений к проверке гипотез была [з]. Оценивание параметров в такой схеме, по-видимому, впервые изучалось Дж. Волфовицем, который обобщил на этот случай классическое неравенство Рао-Крамера. С современных позиций та же схема рассмотрена в [б], где доказано, что при некоторых условиях регулярности последовательное планирование асимптотически не дает выигрыша по сравнению со статистическим (непоследовательным) в смысле локального асимптотически минимального риска. Условия этой работы ослаблены в [4].

Первая общая математическая постановка последовательного планирования экспериментов в задачах проверки гипотез была изучена Черновым [17].

В [23] была подчеркнута настоятельность изучения статистических свойств оценок параметров при последовательном планировании экспериментов и необоснованность некоторых имевшихся к тому времени эмпирических рекомендаций, относящихся к этому случаю.

Некоторые асимптотически оптимальные последовательные рекуррентные стратегии оценивания изучались в [ю].

Ряд результатов, относящихся к общим последовательным планам (включая обобщение неравенства Рао-Крамера), и полезный технический аппарат, основанный на теории мартингалов, даны в [э].

Со времен фундаментальных работ Л. Ле Кама, Я.Гаека, И.А.

Ибрагимова, Р.З.Хасьминского и др., подытоженных в [б"1, известно, что основную роль в исследовании статистических свойств оценок играет изучение локального поведения отношения правдоподобия соответствующего семейства мер. Эта задача для семейства мер, отвечающих последовательно спланированным измерениям, оставалась неизученной. Поэтому в общем случае последовательного плана не были известны свойства типичных оценок параметров, например, оценок наибольшего правдоподобия и оставалась задача получения возможно более точных нижних границ риска оценок для произвольного последовательного плана.

При исследовании отношения правдоподобия семейства мер, отвечающих последовательным планам, важную роль играет современный вариант центральной предельной теоремы (ЦПТ) для мартингалов. История последней прослеживается, начиная от работ С.Н. Бернштейна (1927), П.Леви (1935), П.Биллингсли (1961)f И.А.Ибрагимова (1963) и др.

Современный вид ЦПТ приобретает, начиная с работы Б.М.Брауна (1971), который отказывается от излишних для ее справедливости условий типа стационарности или эргодичности, ограничиваясь условиями на условные дисперсии приращений мартингала, близкими к тем, которые приняты у нас в

§ 2 гл. I. Формулировка и доказательство ЦПТ совершенствовались с тех пор в работах нескольких десятков авторов, обзор см. b[i9*]. В частности, в работах [*1б], [ie], [2l"l исследовался случай (рассматриваемый нами в

§ 3 гл. I), когда мартингал сходится к смеси нормальных распределений. Возможно, что следствием этих работ является и доказываемая нами совместная предельная теорема для мартингала и суммы условных дисперсий его приращений, играющая основную роль в гл.2.

Вместо того, чтобы модифицировать рассуждения этих авторов, мы сочли целесообразным дать свое более прямое доказательство (причем в многомерном случае) этой теоремы, основанное на идее, близкой к используемой в работе Р.Ш.Липцера и А.Н.Ширяева [в]. Мы накладываем более слабое условие связи между сериями потоков СГ'-алгебр, чем условие " nested Cj - algebras " в [к], [ie], [l9], ["21]. Наше условие более естественно для приложений в центральной гл. 2 диссертации. Кроме того, наше условие на момент j\J остановки минимально и гораздо слабее, чем в [is], однако в

§ I гл. I замечается, что достаточно простой редукции, чтобы свести его к обычно рассматриваемому условию конечности N почти наверное.

Инфинитезимальное представление отношения правдоподобия гл. 2 выводится при довольно общих условиях, его достаточно для целей

§ I гл. 3, однако

§ 2 гл. 3 требует определенной равномерности такого представления, для ее вывода накладываются гораздо более сильные условия, которые, по-видимому, можно ослабить. Получение инфинитезимального представления отношения правдоподобия следует пути, проложенному Л. Ле Камом, Я.Гаеком и др.

§ 2# Содержание работы

В главе I для применения в последующих главах получена уточненная по сравнению с [19] форма теоремы о совместном предельном поведении мартингала и некоторого функционала от его приращений в ослабленных по сравнению с [19"} условиях.

Для упрощения чтения диссертации вначале в § 2 изучается частный случай основной теоремы, его обобщение тем же методом приводится в § 3 и § 4.

Пусть ( Р ) - последовательность вероятностных пространств, (^ ) - неубывающий поток о?-алгебр, такой, что ^ - • Пусть ^ Nn] - последовательность марковских моментов, такая, что

А) N < ОО ПВ (т.в. £ЖРЧМ <*>) = О гтг ь гг/П Г1"*ов и семейство ^ = ( S^» J"^ ) последовательностей квадратично интегрируемых мартингал-разностей. Из (А) вытекает существование возрастающей последовательности Ct £ Z , Л. £ Z такая, что ft

Обозначим:

Пусть выполнено условие Линде-берга: для любого £ > О

Njji рп

Б) AnC^- Z 41 (O^o.n^, u feri к Yl

Из условия (Б) вытекает:

Б5) существуют монотонные последовательности положительных у- - 1 L такие, что

РЧлдд^ил.

Кроме того, в § 2 предполагается: z чисел и : vVl

Nn — pn

В) ^ --> Q ? П —> оа ^ где Q некоторая константа. В общем случае § 3 (В) заменяется на

N„ D 2 00 где Ч у ' 1

J- ~ измеримая случайная величина с распределением GL есть на [К • Здесь рассматривается следующая схема: Q\Q, Гминимальная сУ -алгебра подмножеств О. , содержащая все ^^ , на ^ задана вероятностная мера Р такая, что Р^ = Р сужение меры Р на ).

Дополнительно требуется условие \

A1) Р (N^NJ - 1 для любого £ Z .

В отличие от [l9*] используем следующее ослабление условия иерархичности ( nested ).

Г) Для всех достаточно больших VI :

J^ ^ для всех I 4 к ^Q^, где последовательность, получаемая в условии (А).

В § 2 кроме простых технических лемм I.I - 1.3 доказаны: Лемма 1.4.

Для всех £ > 0, сГп-^yjM , где £п- последовательность из условия (Б*),

X е R

10 \ И при (Б) и (В) справедливы неравенства: a) I^AO^NsT^, wi ^

2)^11 пв. Ип 3

Пусть для любого £ > О

R =R = yyuuc C,r£ u 'Vw 8 Чп i-If rvuoc** ' z n tr

My,

H£ = [co: E >C |

1 'yv l 1

Для последовательности из условия (Б*5), полагая

L Чопределим к

Gn 400 : R Л > f £ПСС V £■)} и [ со : A> 41 и нп.

Тот факт, что Р ((т^4)-О при YI—позволит в дальнейшем исключить из рассмотрения точки множеств .

Лемма 1.5. ^

Пусть

6>ОД€ R фиксированы. В условиях (А), (Б) и

В) событие г n , YA I JLX(C + £) 7 содержится в G~n при достаточно большом ^ #

Лемма 1.6. Пусть фиксированы. При условиях (А), (Б) и (В) событие м м содержится в при достаточно большом yx , где Е.'* = е1/4(2 + з (С+ £ )), из условия (Б').

Yt rl

Из лемм 1.5 и 1.6 и определения множества G" вытекает Следствие I.

В условиях (А), (Б) и (В) для всех X £ R*

Myi рП £

1en[Uw —> Щ1- %Х2Соо.

Основным результатом главы I является Теорема I.I.

В условиях (А), (Б) и (В) И i-V^NCo.C).

В § 3 рассматривается случай, когда выполнены условия (В') и (А').

Доказываются следующие результаты. Лемма 1.7.

Пусть - последовательность чисел из R . Введем

Тогда при условиях (А), (Б), (В') и последовательности из

Б') существуют такие монотонные последовательности: оо ,

А п со при yv оо; что

I) — О, п^со,

3) Х*л {1 х2Jn] Е В (IV^ — о, П - оо. функция В(зс ) введена в лемме 1.2)

Введем 8 n ^ rr^n^rw П ^М^Ч» и

Взяв в лемме 1.7 X = { 6лС1/£^\ 1/4 и Кк = А* и подставив Кп и Gn вместо (С+£ ) и Q в формулировки лемм 1.5 и 1.6, при выполнении условий (А), (Б) и (В') доказываются аналоги лемм 1.5 и 1.6 для рассматриваемого случая, а также Следствие 3.

При условиях (А), (Б) и (В^) для всех X £ IR л Мп р

П 6^—.> , п-* со.

VI

Кроме того, из леммы 1.7 следуют Следствие 4.

При условиях (А), (Б) и (BJ) для всех А € R й К^ йз п.(3) леммы 1.7 i оО

П '

-^KUXl EIC - CJ— о, п

Следствие 5.

При условиях (А), (Б) и (В?) для всех А £ R и К из п.(3) леммы 1.7

КГ i где

Лемма 1.8.

При условиях (А), (А*), (Б), (В') и (Г) для всех

Yl-*oO Mn U (rn i-Q где С • V .

A = ^ i^It \ /п i

Именно в доказательстве этой основной в § 3 леммы существенно условие (Г) используется для установления равенства для достаточно большого YI>yyi. Теорема 1.2.

При условиях (А), (А*), (Б), (В') и (Г) для любых сл ^ а ^ & ^ оо

Il'd a оо J.J x

V^rfT а

Чтобы доказать теорему 1.2, достаточно установить, что для всех С X £ R ixs^u^n г

L —* L , п— оо.

Это соотношение вытекает из предыдущей леммы. ^

В § 4 рассматривается многомерный случай, т.е. ^ € R . Вместо условий (Б) и (В9) потребуем: (Б1) Для любого £ > О t\U2 где - случайная матрица с распределением Q на пространстве тч рхр) положительно определенных матриц.

Теорема 1.3.

В условиях (А), (А'), (Б1), (BI) и (Г) где при заданном TJ zm-N(o^).

В главе 2 в § I вводятся основные объекты и предположения модели, изучаемой в диссертации.

Пусть семейство мер Р. (•) зависит от управления XсУС

RP 4 ' который надлежит оценить, наблюдая последовательность измерений ^ , ^ . Измерения ^ последовательно спланированы, т.е. управление Х{ , определяющее меру Ч') для измерения , зависит от предшествующих измерений ^ , ) ^ = 4 j • .» N, .а момент остановки N-марковский. Следуя [э], получаем семейство мер , определенных на ( Y * X 5 У'* УЗ ^ ^ ~~ полное сепарабельное метрическое пространство, где план ? есть тройка (S, Я ,N| ), S* -множество функций управления Y —» ^ начальная плотность для ЭС^ и N - марковский момент.

В диссертации исследована последовательность планов с » м

L - последовательность марковских моментов относительно неубывающего потока с/-алгебр ( Зъ)* такого, что nn

Кроме семейства мер Iq (здесь и далее в индексах вместо ^^ оставляем Y\ ) определяется последовательность мер П g на ( Х^ УЗ ) следующим образом: для любого

В е 73 | 00

Теперь введем условия на семейства мер и планов для фиксированных

М2: Информация Фишера Стакова, что ireC(b,xXRpi),V^eX I* >o.

ПО: для любого Ж £

Yl-^-oO

П1: Е*М, =n

YV для всех Y\ С Z •

П2: Существует слабый ucvr п1 =па , непрерывный по в

YWoO D 0 в слабой топологии. п

ПЗ

В дальнейшем будем считать, что 0 =0; Лемма 2.1. .,

При условиях Ml - 2 функция V непрерывно дифференцируема на Bvх X по © в dC (j*.) .

Кроме того доказано, что для любого и eR

Yl

1 т Т^"

-U 1 U 7n^oo (I)

4/ Y в каждой точке Пусть те эо* ve i е и обозначим ^ у о о ^

В § 2 и § 3 соответственно предположим:

П4: Существует неслучайный предел по вероятности

РЧЪ^Глхс**)

2) или

Nn р

П5: JL > —* V , где V - случайная положительно определенная матрица порядка (р*р).

П51 : Р >0) = 1 .

Из (I) и (2) получаем для любого R

-иГ ^txm — 3 to = 4 ^ l*u -n в каждой точке

X.

Пусть tUb^URT/cLP"). fifi

При П1 в [э~| доказано, что где у.- 1

Обозначим

Гп

- CL и рассмотрим статистику ^

Лемма 2.2. Если К

М п л,п рп

I JU г п -^ . YI —9> оо оо

3) случайная величина с распределением Q на R , то оО

Представим ^

Tn(.u)= Y. Ыы* ■fe-1 где V = и = ^ЧуГ

В § 2 доказывается условие локальной асимптотической нормальности в точке 0=0. Для этого доказаны две леммы. Лемма 2.3.

Если справедливы условия Ml - 2 и П2, то

Jj(x)dn , -п-оо, функции и из соотношения (3).

Лемма 2.4.

В условиях MI-2 и П 1-4 для любого £ R

Справедливость утверждения леммы вытекает из теоремы 1.3. Из лемм 2.1 и 2.4 вытекает

Теорема 2.1.

При условиях М 1-2 и П 1-4 семейство мер р^ локально асимптотически нормально в точке 9=0.

В § 3 рассматривается более общий случай, когда Р

Z >^TTtU > П оо, (4) к-Л где ^ - случайна^ положительно определенная матрица порядка (рхр ) с распределением Q на 1ТС+ . Кроме того Е^Т. •

Лемма 2.5.

При условиях М 1-2, П 0-3 и П 5 IIГЛ ^^^Zftl^u), где при заданном ^

ZOq^ 141(0,4).

Утверждение леммы вытекает из соотношения (4) и теоремы 1.3. Теорема 2.2.

При условиях М 1-2, П 0-3 и П 5 для любого ЛХ С R

CU)-2 M^W - i (2иП uu) + ^ .

V,) 0 , U-T оо и при заданном

Эта теорема доказывается аналогично теореме 2.1. В главе 3 в § I получена минимаксная граница риска, обобщающая теорему Гаека. пусть к^ =

Теорема 3.1.

Пусть выполнены условия М 1-2, П 0-3, П 5 и П 5'. Тогда для любой последовательности оценок cLn, любой функции потерь

-tivn wi

-5» со QO у Гаdy:,

1RP где Q - распределение случайной положительно определенной матрицы ,

Справедливость теоремы устанавливается с помощью следующей замены переменных . ,

1/2 п - L А /\

Ч-п An

-V? fl ~L/n л ' где усечение вектора"^ Д , который сходится по распределению к N (0,J), J - единичная матрица порядка (рхр).

В § 2 изучено предельное распределение упрощенных ньютоновских оценок типа где 6П есть Np^T - состоятельное начальное приближение к истинному значению б? есть аналог » вычисленный в предположении, что § = Э , а в качестве Л^0) можно, в частности, рассмотреть

§ 3. Некоторые вспомогательные результаты

В гл. 2 и 3 использу.ется теорема 7.2.2 [l5~]. Ее доказательство довольно сложно и опирается на трудно доказываемую теорему Дуба 7.2.1 fl5]. Дадим весьма короткое и элементарное доказател1г-ство этой теоремы. Лемма В Л.

Пусть ~ мартингал-разность, N - марковский момент, для которого

P(N«*) = 1.

Тогда ESn = 0, где Sn =

Доказательство; В силу того, что

EC^IT^VOh lU^N)- ^«измерима, получаем, что

Е z t, -Ё it=ZE^tr

•tul Н -fe-l. ^ ы * 1 ZEl/IU*N)E(¥J r,L)} = o. irL

Лемма В.2.

Пусть ~ маРтингал~Разность и l\f - марковский момент. Предположим, что для некоторой константы cl

Тогда ES = 0.

Доказательство: Сначала проверим, что

Р I S ~ S I —О при m —> оо

L I N N aw I

Действительно, пусть £

Кроме того, используя лемму B.I для и товдество

SN = St4/4YYV + Sw - получаем утверждение леммы.

В гл. 2 применяется лемма В.З, являющаяся простым следствием леммы В.2. Хотя, возможно, это утверждение можно найти в литературе, мы дадим его краткое доказательство. Лемма В.З.

Введем cfn - Е U , ПП=П 4 , fe- 1

Если tY\f j П^! ci > 0, ]\f - марковский момент такой, что

EN^

Тогда Yi

-Ед,=i,

Доказательство:

Очевидно, что (Ai,^) -мартингал. Далее, л

-слТ п^ы n^N 'пйН 1 4*1

Причем

А<4> 1/3 п ^Ы п п п

YV

L d.

- 'А -ЦЦ- ^tr,F 1 d •

N ^ I П | n ^ IM TI £ INI I r-| j YV ^ JM

Откуда A ^ ( 1 + d)/dZ.

Наше утвервдение теперь вытекает из леммы В.2.

1. Биллингсли П. Сходимость вероятностных мер. М.: Наука, 1977,-352 с.

2. Боровков А.А. Математическая статистика. М.: Наука, 1984.472 с.

3. Вальд А. Последовательный анализ. М.: Физматгиз, I960.-327 с.

4. Ефроймович С.Ю. О последовательном оценивании в условиях локальной асимптотической нормальности. Теория вероятн. и ее примен., 1980, Т.Ш, Jfc I, с.30-43.

5. Ибрагимов И.А., Хасьминский Р.З. О последовательном оценивании. Теория вероятн. и ее примен., 1974, Т.XIX, № 2, с.245-256.

6. Ибрагимов И.А., Хасьминский Р.З. Асимптотическая теория оценивания. М.: Наука, 1979.-528 с.

7. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. М.: Наука, I98I.-544 с.

8. Липцер Р.Ш., Ширяев А.Н. Функциональная центральная предельная теорема для семимартингалов. Теория вероятн. и ее примен., 1980, Т.Ш, № 4, с.683-702:,

9. Малютов Н.Б. Нижние границы для средней длительности последовательно планируемого эксперимента. Изв. вузов. Математика, 1983, № II (258), с.19-41.

10. Невельсон М.Б., Хасьминский Р.З, Стохастическая аппроксимация и рекуррентное оценивание. М.: Наука, I972.-304 с.

11. Орна Л. Об одном приложении центральной предельной теоремыдля мартингалов. Труды У1-ой конференции молодых ученых мех.-мат. факультета МГУ, 1985, о» 4 8-51.

12. Орна JI. Статистическое применение инфинитезимального представления отношения правдоподобия при последовательном оценивании. Труды УП-ой конференций молодых ученых мех.-мат. факультета МГУ (в печати).

13. Феллер В. Введение в теорию вероятностей и ее приложения. М.:Мир, 1984, T.I.-528 с.

14. Феллер В. Введение в теорию вероятностей и ее приложения.М.: Мир, 1984, Т.2.-738.

15. Ширяев А.Н. Вероятность. М.: Наука, 1980.-576 с.

16. Chatterji S.D. A principle of subsequences in probabilitytheory: the central limit theorem. Adv. in Math., 1974, N 13, p.31-54.

17. Chernoff H. Sequential design of experiment. Ann. Math.Stat., 1959, V.30, N 3, p.755-770.

18. Hall P. Martingale invariance principles. Ann. Probab.,1977, V.5, p.875-887.

19. Hall P., Heyde C.C. Martingale limit theory and its application. N.Y.: Academic Press, 1980.-308 p.

20. Maljutov M.B., Orna L. On the estimation of parameters undersequential design. Тезисы докладов У1-ого Международного симпозиума по теории информации, часть I. Ташкент, 1984, с.268-270.

21. Rootsen Н. A note on convergence to mixtures of normal distributions. Z.Wanrsch. Verw. Gebiete, 1977, N 38, p.2112216

22. Rootsen H. Central limit theory for martingales via randonchange of time, 1983» Preprint.