Δ 2 (Q)-распределение тема автореферата и диссертации по математике, 01.01.07 ВАК РФ



/

/

САНКТ-ПЕТЕРБУРГСКИИ ГОСУДАРСТВЕННЫЙ

УНИВЕРСИТЕТ

Математико-механический факультет

На правах рукописи

ПАШКУС Наталия Анатольевна

â2(Q) РАСПРЕДЕЛЕНИЕ: СВОЙСТВА И ПРИЛОЖЕНИЯ В ЗАДАЧАХ МОДЕЛИРОВАНИЯ

специальность 01.01.07. - вычислительная математика

ДИССЕРТАЦИЯ !

s

на соискание ученой степени кандидата физико-математических наук

Научный руководитель: доктор физико-математических наук, профессор Ермаков С.М.

Санкт-Петербург 1998

СОДЕРЖАНИЕ:

Стр.

Введение 3

Глава 1. Основные понятия 6

§ 1. Основные свойства распределения Л2(О) 6

§2. Некоторые общие понятия регрессии 10

Глава 2. Некоторые вопросы, связанные с вычислением 16 многократных интегралов

§ 1. Теорема о разложении дисперсии на разноразмерные 16 слагаемые

§2. Связь между коэффициентами чувствительности функции/(х) и 20

■у

распределением А (О)

§3. Проверка гипотезы о зависимости определенного множества 28 факторов

§ 4. Связь между теорией кубатурных формул и дисперсионным 31 анализом

Глава 3. Оценки параметров регрессии для различных типов 42 эксперимента в связи с распределением ^ (О)

§ 1. Рандомизация МНК-оценок параметров регрессии 42

§2. Оценки параметров регрессии при различных типах 46 эксперимента

§3. Применение распределения А2(О) в случае нелинейной 56 зависимости от параметров

Глава 4. Некоторые модели активного эксперимента 62

§ 1. Анализ дисперсии оценок параметров общей линейной 62 регрессии при моделировании данных

§2. Моделирование с распределением А2(0) при наличии ошибок в 74 переменных

Глава 5 ^Практическое применение распределения ¿¿(0) 86

§ 1. Процедура моделирования распределения А2(О) 86

§2. Описание эксперимента по обработке данных в случае 90 линейной регрессионной зависимости.

§3. Моделирование параметров нелинейной функции регрессии 93

Заключение 95

Приложение 1 106

Приложение 2 114

Приложение 3 126

Библиография 101

X!

ВВЕДЕНИЕ

Данная диссертационная работа посвящена изучению специального распределения, которое было введено для уменьшения дисперсии при вычислении интегралов методом Монте-Карло. Это распределение впервые было предложено Ермаковым С.М. и Золотухиным В.Г. в их совместной публикации в журнале "Теория вероятностей и ее» применения" [14].

Это распределение описано в литературе, в частности в книге Ермакова С.М. [12]. Далее будем использовать введенное этой книге обозначение для этого распределения: A2(Q). Как уже сказано, оно вводилось в задаче уменьшения дисперсии при вычислении интегралов методом Монте-Карло, как распределение W0(dQ) узлов квадратурной суммы и определяется равенством W0(dQ) =cA2(Q)jun(dQ), где Q=(x1>...,xrJ -

случайная величина, A(Q)=det а с - константа нормировки,

1 п

равная —если {щ}\ - ортонормированная система функций. Причем п\

п

{(Pi}\ - линейно независимые для почти всех (mod ju)x функции.

В дальнейшем оказалось, что это распределение обладает рядом интересных свойств, которые позволяют обрабатывать данные, полученные, как при помощи моделирования, так и в результате эксперимента.

В математической литературе данной тематике, посвящены исследования следующих авторов: Ермакова С.М., Курочки В., Швабе Р., Седунова Е.В., Хэндскомба Д., Соболя И.М., Шеффе Г., и др. Однако, проведенный автором анализ степени изученности проблемы показывает, что вопросам применения распределения A2(Q) в процессе обработки данных и практической разработке алгоритмов моделирования этого

распределения уделено слишком мало внимания. Кроме того, не была исследована возможность применения этого распределения в задачах определения чувствительности сложных систем к тем или иным факторам, а именно для вычисления коэффициентов чувствительности, которые Соболь И.М. ввел в своей работе [30].

Работа состоит из: введения, четырех глав, заключения и приложений. В первой части содержатся некоторые необходимые

л

сведения, в частности, о распределении А (О), методах его моделирования и основные сведения о регрессиях.

Так как распределение применялось для вычисления

многократных интегралов, то, в связи с этим, первая часть работы будет посвящена вопросам вычисления многократных интегралов применительно к задачам определения чувствительности сложных систем по отношению к тем или иным факторам.

В диссертации будет рассматриваться вопрос о применимости

и 1

случайные квадратурных формул, узлы которых имеют распределение

л

А (О), для вычисления коэффициентов чувствительности. Одновременно будет поставлен вопрос о применении кубатурных формул, уже не только со случайными узлами, к вычислению коэффициентов чувствительности.

Далее будет затрагиваться вопрос о том, какого сорта формулы соответствуют планам латинских квадратов.

Третья часть работы будет посвящена описанию статистических оценок, возникающих при использовании ' случайных планов эксперимента, узлы которых имеют распределение А (О). Кроме того, будут рассматриваться некоторые вопросы использования рандомизованных процедур оценивания в тех случаях, когда данные эксперимента получены заранее и ставится задача их обработки. Как будет показано в работе, в этих случаях применение процедуры А (0) может

привести к специальным методам бутстрепа, и возникает возможность разделить погрешность на систематическую и случайную составляющую.

Как будет показано, полное математическое ожидание оценок параметров регрессии как в случае активного, так и в случае пассивного эксперимента, также для всех М(всех реплик размера т), т<М<Мявляется' одним и тем же, и совпадает с условным (при фиксированных математическим ожиданием их МНК-оценок.

Кроме того, как будет доказано, в случае активного эксперимента рандомизованная процедура МНК оценивания не совпадает со стандартной процедурой МНК-оценок. Будут вычислены дисперсии и корреляции рандомизованных оценок в случае пассивного эксперимента, что может служить основой создания бутстреп-оценок, разделяющих систематическую и случайную погрешность.

В этой же главе будет рассматриваться процедура оценки коэффициентов нелинейной функции регрессии методом Ньютона.

В последней главе будет рассмотрен случай линейной регрессии с ошибками в переменных. Будет показано, что в этом случае также возможно построение бустреп-процедур, однако, рандомизованные МНК-оценки, как и нерандомизованные в этом случае, не являются состоятельными.

В приложении диссертации представлен набор описаний и текстов

л

программ, предназначенных для моделирования распределения Л (О) и обработки данных. Весь этот набор программ представляет собой некоторую систему связанную общим интерфейсом.

ГЛАВА 1 ОСНОВНЫЕ ПОНЯТИЯ

§1. Основные свойства распределения А (0)

Все исследования, проведенные в данной работе, так или иначе

■у ®

связаны распределением Л (0). Поэтому представляется необходимым привести описание и основные свойства этого распределения, а так же некоторые из содержащихся в литературе результатов, относительно указанного распределения.

Пусть X - множество с определенной на нем а -алгеброй подмножеств и на X задана // -сг -конечная (вероятностная) мера. Далее для простоты предполагается, что ¡л - вероятностная мера.

Если существует и задана ¡л - ортонормированная система ^¡(х),..., (рп(х), такая что

X I = ]

\<Р1 (х)<Ру =

• (1.1.1.)

О, у >

У

то распределение Л (0) для данной системы функций называется распределением с плотностью

п\

Ш~(х1>—>хг)> х/ еХ относительно меры -ПД^-).

Обобщенным распределением ^(0) для системы функций х)}" называют распределение с плотностью

, П\Ш-П)\Л 1|г 1"

Л2(0)= т ^1<Р»<Р4 ,, (1.1.3.)

n n

где относительно меры N > п. Для

1=1 /=1

функций (1.1.2.) и (1.1.3.) в действительности выполняются условия нормировки (смотри [12] стр. 215).

Пусть теперь /: /л - интегрируемая с квадратом на X функция. А

Ф О-

набор точек из Xтакой, что определены/(х^ и р.(х;) Тогда может быть построен интерполяционный многочлен вида

',7=1

/=1

» йе1\(р1(х ),...,(р^х ^Дх ),<рм(х ),...,<рп(х ) (1.1.4.) = 1,——--;--?/(*)

1=1 ёй

',7=1

Или при №>п для набора при аналогичных предположениях

интерполяционный по методу наименьших квадратов многочлен

"Ч

где д=( Х!...^).

Заметим, что равенства (1.1.4.) и (1.1.5.) выполняются для ¡л - почти всех х из X, а Ьп и Ьм определены для //- почти всех и //-почти всех Q соответственно.

Предположим теперь, что ¡0 является случайным вектором с совместным распределением А (О). Тогда справедлива следующая теорема Теорема 1.1.1.: Справедливо равенство

ЕЬпШ,П = ЕЬЫШ] = (1.1.6.)

1=\

где а1 = |/(х)(р1(х)сЬс - коэффициент Фурье функции/

Выражения для дисперсий оценок коэффициентов а/ в (1.1.4.) зависит уже от некоторых свойств системы функций щ(х). Различают (см.

п

[12] стр. 133) регулярные и нерегулярные системы функций {&} \ (по отношению к мере ¡л).

о

п

Система {(р¡} \ называется регулярной относительно меры /л, если

(1.1.7.)

и нерегулярной, если эта мера положительна. Справедлива следующая теорема:

п

Теорема 1.1.2: Для регулярных систем {щ} \ имеет место равенство:

I

О,

¡л{(к),

к = 1

(1.1.8)

А для нерегулярных {1 имеем

»ак<\

/м-

¡и(сЬс)

(1.1.9.)

Аналогичное неравенство имеет место для дисперсий коэффициентов при щ(х) в выражении (1.1.5.) для Оно

справедливо как в регулярном, так и в нерегулярном случае.

Если щ=1, то Еах = ^/(х)]и{с1х) и я у может рассматриваться как

интерполяционно-квадратурная формула со случайными узлами.

Как уже отмечалось, распределение А (0) рассматривалось в связи с вычислением интегралов методом Монте-Карло. Дальнейшие применения

Л

распределения А (О) связаны с задачами, в которых значения функции /(х) в точке могут быть получены с аддитивной случайной ошибкой. В противном случае, когда ошибки независимы с нулевым средним и

2

дисперсией с/ имеем ¿¡(х)=/(х)+е(х)\ значение, полученное в результате (численного) эксперимента Ее(х)=0, %=£(х) и

Ее1е] = {

су , I = ) О, г Ф ]

(1.1.10.)

Формула (1.1.8.) в этом случае имеет вид

Соу{ак,а1) =

\

/л(ск) + сг7

0,

к = 1

(1.1.11.)

Очевидно также, что Еа^щ, где Е есть знак полного математического ожидания (по е ъ. Q, которые полагаются взаимно

Л

независимыми). Указанные свойства распределения Л (О) используются и для сглаживания данных, полученных в результате моделирования.

Случай зависимых <£•, рассматривался в [12]. Некоторые его аспекты обсуждаются также во второй главе диссертации.

Описанные процедуры оценивания коэффициентов Фурье функции /(х) имеют очевидные связи с МНК-оценками в линейном регрессионном анализе.

2

»

§2. Некоторые общие понятия регрессии

Пусть результатом эксперимента является реализация (числовой) случайной функции у=у(х, со), х еХаЯк.

Если получение при фиксированных х] из X значений

у]=у(х^ сор) имеет целью восстановление в X функции Еу(х,со) = т](х), то такой эксперимент относят к числу так называемых регрессионных.

Известно, что без дополнительной информации о гладкости функции 7](х) задача ее восстановления по наблюдаемым с ошибками значениям не имеет смысла. Следовательно, задача для своей корректной постановки требует "априорной информации"— указания множества Ф функций, которому априори принадлежит г}(х). Наиболее простым случаем является случай параметрического задания — т](х)=т]о(х,в). Здесь щ— известная функция, а параметр в из заданного параметрического множества © определяется по значениям у^ Как правило, считают 0аЯп. Функцию" т]0(х, в) часто называют регрессионной моделью.

Для подбора параметра в необходимы также сведения о распределении ошибки £]-у(х^ со)-г](х). Если совместное распределение <£}■ а=1,...,Ы) известно также с точностью до параметра Л, то задача определения (Л, в) является параметрической задачей математической статистики. Параметр в оценивается с помощью статистики

Л Л

0{хх,...,хИ',у{,...,уы), Л— с помощью Л{х1,...,хн\у1,...,уы). При этом, как

Л

правило, оказывается, что погрешность (6и-в) определения истинного значения параметра 9и зависит от выбора точек х1,...ухы в которых измеряется (вычисляется) функция у. Это дает возможность построить критерий качества эксперимента (обычно некоторую норму ошибки

параметра в) и планировать эксперимент, если экспериментатор может распоряжаться выбором точек Х],...^ •

Более сложным оказывается случай, когда Ф задается свойствами гладкости функции г/. В этом случае для восстановления 7] нужно использовать либо непараметрические оценки, свойства оптимальности которых при малых N изучены плохо, либо пытаться подобрать удобный параметрический класс (например, многочленов или сплайн-функций). И в том и в другом случае мы будем иметь дело с ошибками двух сортов: систематической ошибкой (ошибкой модели) и случайной ошибкой (ошибкой определения параметров модели).

Пусть выбрана параметрическая модель и п фиксировано. Имеем

А

следующее разложение погрешности ц(х)- щ(х, в):

т](х) -Т]о(х,0) = [г?(х) - т/о (х,6>и)] + [//о (х,ви) - щ (х, 6>)] (1.2.1.)

XI

Причем ви в данном случае обозначает такое значение параметра в\ при котором т]о(х, ¿^наилучшим образом в выбранной метрике приближает т](х). Вводя метрику р на множестве функций, к которому принадлежит т](х) и т]0(х, 6ц), 6<=0, имеем

А

р{7](х)-Г1й{х,в))<

(1-2.2.)

< р{Г]{х) - 7]0 (х, виУ) + р(7]о (х, ви)-7]0 (х, в)) Каждое из слагаемых в правой части этого неравенства можно выбрать в качестве критерия оптимальности эксперимента. Со вторым слагаемым в (1.2.2.) снова связана параметрическая задача математической статистики, что же касается первого, то оно содержит неизвестные нам функции, которые и надлежит восстановить в процессе эксперимента. Постановка в первое слагаемое вместо т](х) каждой конкретной функции их множества Ф приводит нас к некоторому критерию, зависящему от выбора точек

. Так априорное предположение о том, что Ф содержит конечное число т функций, сделает нашу задачу (т+1)-критериальной, так что Т](х) играет роль индекса а в общей постановке многокритериальной задачи.

Итак, в общей постановке задача описания эмпирической зависимости с помощью параметрической регрессии предполагает, что задается функция, определенная с точностью до нескольких параметров, которые подбирают таким образом, чтобы получающаяся функция с максимальной точностью соответствовала матрице данных (У,Р)=[у1]хц,...,х1П] 1=1,...,N. Функция г] при этом называется эмпирической регрессией. Если т] линейна как функция неизвестных параметров, то регрессия называется линейной (в противном случае - нелинейной).

Рассмотрим одномерную случайную величину £ с функцией распределения Р(х). Повторяя т раз случайный эксперимент, с которым связана случайная величина получим последовательность т

наблюдений х1,х2,...,хт нашей случайной величины. Тогда множество значений х1,х2,...,хт будем называть выборкой из некой совокупности, описываемой функцией распределения Р(х).

Предположим, что задана классическая регрессионная модель, причем независимые в совокупности ошибки наблюдений удовлетворяют стандартным требованиям (см. (1.1.10.)).

Обратимся к линейной по параметрам регрессии. В этом случае можно рассматривать МНК-оценки параметров регрессии.

п

(1.2.3.)

где матрица эксперимента

Х =

4.1

2,1

Vх»«,1

%АГ

2, а'

п,ЫУ

такая, что ХХТ=Х.

Тогда можно составить следующую систему нормальных уравнений для нахождения вектора оценок параметров регрессии

Х^а^ХУ,

где а - вектор оценок параметров регрессии, а У =

вектор

наблюдений.

Будут справедливы следующие факты:

1.) Математическое ожидание Еа = а „ - истинному вектору значений параметров.

2.) Ковариационная матрица оценок будет а2(Х)бу1. Кроме того, явный вид оценок параметров примет вид

¿е^ , х( ^..., > xj j, , х{ j, , Ху ..., £хп, х1

а,

п /=1

(1.2.4.)

Где [хк>Х1 ] = Т72 хихк,; . Л ;=1

Проведем различие между активным и пассивным экспериментом/ Пусть величина £ (отклик) и переменные х связаны, соотношением

где Г](х,а)~ заданная функция аргументов х £Яп и а Индекс "м" здесь

обозначает истинные значения соответствующих величин.

Целью регрессионных экспериментов является оценивание параметров а по наблюдениям над парами (£1^1), 1-1,...,п. Как правило,

хотя бы одна из этих величин известны, но с некоторой ошибкой. Можно рассмотреть различные регрессионные модели.

Классическая регрессия. Пусть исследователю известны величины или в более привычной форме

У1=7](х1,а^£1, (1=1,...,п) (1.2.5.)

где е) - случайные погрешности наблюдений, а величины которые часто называют условиями /-го наблюдения, известны точно.

Активные регрессионные эксперименты (А). Предположим, что исследователь стремится провести наблюдения при условии но в силу тех или иных причин (случайных по своему характеру) изучаемый объект оказывается в условиях причем значения ^ неизвестны. Таким

образом доступными для изучения являются величины

У1=£&£1 и (ри 1=1,...,п.

Значит, можем представить регрессионную модель (в случае А) в

виде:

У1=т]((р[¥^а^£Ь (1.2.6.)

где_у/ и (р1 - известны экспериментатору, а £/ и ¿- случайные погрешности. „

При этом надо заметить, что модель активного эксперимента можно использовать для различных задач. Так как, данные могут быть получены в результате моделирования, а, кроме того, при многократном повторении эксперимента.

Пассивные наблюдения (В). При п�