Дельта 2(Q)-распределение: свойства и приложения в задачах моделирования тема автореферата и диссертации по математике, 01.01.07 ВАК РФ

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

■V

V

Пашкус Наталия Анатольевна

Д2(0)~РАСПРЕДЕЛЕНИЕ: СВОЙСТВА И ПРИЛОЖЕНИЯ В ЗАДАЧАХ МОДЕЛИРОВАНИЯ

Специальность 01.01.07. - Вычислительная математика Автореферат

диссертации ил соискание ученой степени кандидата физико-математических наук

С ан кт-Петербур г 1998

Работа выполнена па кафедре статистического моделирования математико-механического факультета Санкт-Петербургского

государственного университета.

Научный руководитель: доктор физико-математических наук,

профессор Ермаков Сергей Михайлович

Официальные оппоненты: доктор физико-математических наук,

профессор Седунов Евгений Витальевич, кандидат физико-математических наук, доцент Владимирова Людмила Васильевна.

Ведущая организация: Санкт-Петербургский государственный

технический университет.

Защита диссертации состоится " " Су^/^СО и Л, 1998 г. в 13— час. на заседании диссертационного совета д 063.57.30 по защите диссертаций на соискание ученой степени доктора физико-математических наук в Санкт-Петербургском государственном университете по адресу: 11)8904, г. Санкт-Петербург, Библиотечная площадь, д. 2, ауд. 4526.

С диссертацией можно ознакомиться в научной библиотеке имени М. Горького Санкт-Петербургского государственного университета.

Автореферат разослан" " и^З-М) Ь-Я 1998 г.

Ученый секретарь диссертационного совета

кандидат технических наук,

доцент

Сушков Ю.А.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Диссертация посвящена детальному изучению свойств специального распределения (/^(^-распределения), которое было введено Ермаковым С.М. и Золотухиным В.Г. для уменьшения дисперсии при вычислении интегралов методом Монте-Карло. Известен ряд приложений этого распределения в задачах моделирования и планирования вычислительного эксперимента.

В диссертации получены новые результаты о связях Л2-распределения с задачами исследования чувствительности статистических моделей и регрессионного анализа.

Это определяет конкретные задачи исследования: во-первых, вычисление коэффициентов чувствительности при моделировании сложных систем. Задача важна при разделении существенных и несущественных факторов, от которых может зависеть система.

Во-вторых, распределение Л2(0) может использоваться при построении специальных оценок регрессионных параметров и процедур разделяющих систематическую и случайную ошибку (методы типа "ВШ-Хгар").

В связи с этими задачами достаточно актуальным является создание системы программ, позволяющих моделировать Л2(О) распределение.

Перечисленные задачи определяют актуальность темы диссертации.

Цель работы. Выявление и изучение интересных свойств распределения Л2(0), которые проявляются при обработке данных, полученных, как при помощи моделирования, так и в результате эксперимента, а так же применение этого распределения при вычислении коэффициентов чувствительности, которые служат мерой значимости тех или иных факторов или их групп.

Методика исследования. Исследования опираются на теоретическую базу дисперсионного и регрессионного анализа, а так же теории кубатурных формул и статистического моделирования, в частности, метода Монте-Карло.

Научная новизна работы. В диссертации получены следующие новые результаты:

1. Доказана теорема о связи А2(О) распределения с разложением функции на разноразмерные слагаемые, что позволяет использовать интерполяционно-кубатурные формулы со случайными узлами для вычисления коэффициентов чувствительности по отношению к различным группам факторов. Установлены также некоторые связи между задачами дисперсионного анализа и теорией кубатурных формул.

2. Получены статистические оценки, которые возникают при применении случайных планов эксперимента, где узлы имеют распределение Д(0), в

з

случае активного и пассивного эксперимента. Рассмотрены примеры применения этих планов в случае, когда функция регрессии зависит нелинейно от параметров.

3. Получены новые результаты относительно случайного интерполирования с распределением Л2(Q) в случае общей регрессии, когда и регрессор и функция отклика содержат ошибки (в случае активного и пассивного эксперимента).

4. Построены программы на языке PASCAL, иллюстрирующие перечисленные ранее задачи.

Практическая значимость. Процедуры бутстрепа и оценивания параметров регрессии при обработке данных, полученных моделированием с распределением A~(Q), а так же итерационная процедура оценки параметров функции нелинейной регрессии, удобны и полезны во многих практических исследованиях. В частности, полученные в диссертации результаты применены в моделях инвестирования и налогообложения для уточнения и сглаживания решений, а также для уменьшения систематических погрешностей при оценке финансовых рисков. Кроме того, изучаемая в диссертации процедура-бутстреп может служить для уточнения результатов при оценке банковских рейтингов.

Апробация работы. Основные положения диссертации докладывались на кафедре статистического моделирования и апробированы в материалах международной научно-практической конференции "Макроэкономическая стабилизация

трансформационной экономики" (Казань, 1997) и всероссийской научной конференции "Экономическая наука: теория, методология, направления развития" (Санкт-Петербург, 1998). Материал, изложенный в диссертации был использован при разработке спецкурса "Методы статистического моделирования", прочитанного на IV курсе факультета менеджмента СПбГУ, а также при разработке базового курса "Информационный менеджмент" для студентов II курса факультета менеджмента СПбГУ.

Объем и структура диссертации. Диссертация содержит 100 страниц машинописного текста и состоит из введения, пяти глав, заключения, а так же приложений на 27 страницах. Список литературы содержит 57 наименований.

СОДЕРЖАНИЕ РАБОТЫ В первой главе работы сообщается предыстория проблемы, содержится обзор известных свойств A2(Q) распределения и методов его моделирования, а также приводятся общие положения регрессионного анализа.

А

Вторая глава посвящена вопросам, связанным с так называемыми коэффициентами чувствительности, выраженными через многократные интегралы. Имеет место следующая лемма.

Лемма: Пусть задано пространство ХсИ" с вероятностной мерой /и и задана/(х) Разобьем п переменных, от которых зависит

функция/(.х), на две группы, т.е. х=(у,г). При этом считаем, что мера ц такова, что р(11х)=/11(с1у)/12(с1г), а Х=УШ. Тогда справедливо разложение

\..]\/{х)-\..]ЛхМ<Ь)\ц{с1к) =

//(с&) +

(1)

причем слагаемые разложения (1) называются коэффициентами чувствительности и выполняются следующие соотношения:

\ /00 ~ - ¡/(х)рг№) + ¡/(х:)//(&)

1.)

2.)

¡/(х)^(ф) - {/(*)//(<&) к с!х) = О,

У X

| Ах) - ¡/(х)М^у) ~ ¡/(х)ъ (с/г) +

ц(<1х) = О,

ц(<1х) = 0.

з.) \ ]г{х)р1т-\г{?сы<ь) |/(^2(&)-|/(хкл)

х\_г х Лг х

Далее в диссертации рассматривалась возможность использования распределения для вычисления многократных интегралов

применительно к задачам определения чувствительности сложных систем по отношению к выделенным группам факторов.

Пусть /(х) — функция п переменных (х-(х1,...,х„)). Разобьем и переменных от которых зависит функция ](х) на две группы, т.е.

х-(х/.....Хг)-(у,г), причем (у,г) будем задавать на сетке. Считаем, что мера ц

такова, что ц(сЬс) -(с1у)^((к), рсР, а Х=УЦ7.сК', у1 у2 распределены с

плотностью с

1

1 9(Уг)

, а и распределены с плотностью к

1 1

(с и к - константы нормировки). Построим оценки коэффициентов Фурье функции/

/СУм г,) < /(У2 ' г1) <

1

К*,) 1 /Оъ.*,) К*,)

я, = 1 /(у„г2) 1 /02,22) уф2)

1 2 1 К*,)

1 <р(у2) 1 Ц/(2г )

1 /СЗ'1,2,)

I /(У2,г,)

1 /(л.*.)

1 /Су2,г2)

?>02)

1 р(У,)

1 <Р(Уг)

1 /(Л.*,)

1 /0>2,г,)

1 ЯУ,.*2)

1 Яь.^)

Кг,)

(3(>'1)

1 ^(г,) 1

1 Ку.) 1 р0-2)

Кг,)

При этих предположениях была доказана следующая теорема.

Теорема: Пусть задано вероятностное пространство (£2,£,Р) и £(х, <х>)-гилъбертова случайная функция такая что хеХсЗ?, а соеО. При этом ЕсоС(х,со)=/(х) и /еЬ2(р), <р,(х^ 1,)-1,...,п, где (р, и-

ортонормированы.

Пусть имеет место следующее представление:

¡(х)^1(х)'а+Р(р(у)+у\1/(2)-5(р(у)у/(г),

Тогда дисперсии оценок коэффициентов Фурье совпадают с коэффициентами чувствительности для функции//.

Разложение (1) (в случае дискретной меры) является разложением, используемым в стандартном дисперсионном анализе. В этой связи представляет интерес вопрос о связи кубатурных формул для вычисления многократных интегралов с планами дисперсионного анализа. В диссертации рассмотрен вопрос о том, какого сорта формулы соответствуют планам латинских квадратов. Оказывается, что эти формулы обладают специфическими свойствами, существенно отличными от свойств кубатурных формул, использующих ЛПГ сетки.

Третья глава работы посвящена анализу МНК-оценок параметров линейной регрессии и их связи с распределение Л2(0.

Пусть > где ] = (Ы>т). В результате эксперимента

;=1

могут быть получены значения ^у,! £/, причем г- случайные величины,

Ее,-0-,Е(е;ек) = \аг' ) = к. [О,

По полученным значениям ¿¡,- и заданным строятся оценки а, параметров а, (при условии сь| |

[х/>

где [*/>*»] = ¡,1хк,у .

(2)

J=|

А на основе теоремы Вине - Коши

2>1К,,,Л|Г х......

^íJ]<Jl<■__Ы1_

а, =

V л-*

2Х...

1<Л<..<!„<ЛГ

(3)

где А,.....= .....

Пусть 81,...,В}1 фиксированы. Тогда можно ввести распределение

вероятностей на множестве перестановок /|,...,/т, / </; <Л', 1-1.....от:

д2, , №

и получить рандомизированные оценки метода наименьших квадратов. Очевидно, построенное распределение является /^-распределением

относительно дискретной меры сосредоточенной в точках X;,..., хц .

При фиксированных § математическим ожиданием случайной величины

д(;,' , (с.х)

имеющей распределение р(]ь■ ■,}„■)), будет

а>= I "X-трг-^О,..........И. (6)

В этом случае (при фиксированных наблюдениях) а, совпадает со стандартными МНК-оценками коэффициентов регрессии.

Фиксация £ соответствует так называемому пассивному эксперименту, когда данные получены заранее и мы решаем задачу их обработки.

Иная ситуация имеет место, если при случайном выборе набора точек (д ,К ,х, ) задаются реплики эксперимента Хч с вероятностями р(х К ), в этом случае мы каждый раз получаем новые экспериментальные данные. В этом случае, в соответствии с у становившейся терминологией, эксперимент называют активным.

В работе показано, что полные математические ожидания оценок коэффициентов регрессии в обоих случаях совпадают и равны соответствующим коэффициентам Фурье по системе функций ортогональных относительно меры, сосредоточенной в дискретной системе точек X].....Хц.

Что касается дисперсий, то их значения при повторном эксперименте в этих двух случаях различаются. Отметим прежде всего, что понятие регулярности, введенное в работах Ермакова С.М., в случае дискретной меры нуждаются в модификации. Пусть ц — вероятностная мера, сосредоточенная с равными весами в точках хЛу. Очевидно, что любая система функций {(р,\ не является регулярной по отношению к этой мере.

Определение: Пусть {<0,}™,, система функций, определенных на х и /(х) произвольная функция, на этом множестве. Назовем {¡р,} О-регулярпой системой, если

= о} .....,}) = (7)

где Х= (гг1,...,г,_), /„...,/„ = 1,...,^.

Предположим, что х^=<р,(х^, где х1 х,■ фиксированы,

У=7.....N и <р, ортонормированны на множестве /х,/.

Пусть, как и ранее, .,_/„) будет обозначать МНК-оценку,

соответствующую реплике Хи ы. Ее дисперсия есть

и)) . (8)

7i.---.Jm

При активном эксперименте получаем, в случае одного испытания,

что

"12

ц{±с) + сг2; (9)

или для среднего арифметического а (Л',) М] независимых оценок, соответствующих случайному выбору точек х , ,

0(в,(ЛГ,)) = J /(*) - ¿ cp,(x)\

/u(t&) + CT2|. (10)

Что касается ковариаций оценок коэффициентов, то они (Cov(a,,at), i* к) равны нулю, что следует из общих свойств распределения A2(Q). Таким образом, в случае же активного эксперимента рандомизованная процедура МНК оценивания не совпадает полностью со стандартной процедурой МНК-оценивания.

Заметим, что преимуществом рандомизованной процедуры (как в линейном, так и в нелинейном случае) является то обстоятельство, что осреднение приближает закон распределения ошибок к нормальному. Следовательно, случайная ошибка в схеме активного эксперимента (при конечном а2) распределена асимптотически нормально. Случайные ошибки, соответствующие вкладам независимых реплик, независимы. При проведении численных экспериментов, полезно многократное повторение процедуры и, с целью нормализации распределения ошибок, осреднение полученных параметров регрессии.

Рассмотрим пассивный эксперимент и в связи с ним процедуру "бутстреп" (перевыборки). Полагаем М=т и предполагаем, как и ранее, D-регулярность {(р;} относительно дискретной меры. В этом случае дисперсия единичного испытания оценки коэффициента а, также выражается формулой (9), но при повторных случайных репликах X , оценки оказываются зависимыми. Имеет место следующая лемма.

Лемма: Пусть Xh и X,, ¡: две независимо выбранные реплики.

Для пассивного эксперимента имеем равенство

Cov(a,(X,........),«,(*;;......• (И)

Следствием из этой леммы является следующая теорема.

Теорема: Пусть Da, — дисперсия единичного испытания оценки коэффициента a¡ (i-l,...,m) в схеме пассивного эксперимента и N¡ — число повторений (реплик). Тогда справедливо равенство

Доказанная теорема позволяет путем повторных выборок разделять систематическую и случайную составляющую дисперсии в схеме пассивного эксперимента (бутстреп-процедура).

В этой же главе, приводится рандомизованная процедура оценки коэффициентов нелинейной функции регрессии методом Ньютона. Ее преимуществом, в частности, как и в линейном случае, является то

обстоятельство, что осреднение приближает распределение ошибок к нормальному. Качество этой процедуры проверялось в ряде численных экспериментов. Вводились точные значения параметров и конкретный вид функций, потом функциям придавали случайные ошибки, а после проводили процедуру приближения коэффициентов регрессии. Соответствующие описания и программы этой процедуры приводятся в приложении.

В четвертой главе изучался случай активного эксперимента с ошибками в переменных. Показано, что в этом случае также возможно построение бустреп-процедур, однако, рандомизованные МНК-оценки, как и нерандомизованные в этом случае, не являются состоятельными.

В частности, в работе изучен случай многомерной линейной регрессии с ошибками в переменных. Конкретно, задана следующую функция регрессии

а1х'^а2х2+...+апхГ-1=0, (13)

при этом х1 можно заменить функцией <р/(х)+^, х2 — функцией фз(х) + е2,.., х"~' — функцией <р„.1(х)+ (следующее представление возможно в силу присутствия в выражении константы), а х"=/(х)+ г", где случайная погрешность е такова, что Ее!=0, Ец £¡1-0 (при ¡¿к), Ее!е'=0 (при j * I), Ое{=Е(е/)2=о>, а система функций щ(х) полагается ортонормированной и регулярной.

В работе доказана следующая теорема.

Теорема: Пусть регрессионная зависимость задана в виде (13). Если полагать функцию /(х)еЕ2ф), а систему функций <р,(х) ортонормированной и регулярной, то математические ожидания и ог^енок коэффициентов регрессии будут:

Еа. =-

_0 + *г )•$№№)

(\f2И{dx) + *2y\ + o2)-YJcc]■

(1-1,..., п-1),

где а, = _[/(;с)(з,(->0М<&) -

коэффициенты Фурье для этой функции.

Для малых а был проведен анализ смещения полученных оценок. Приведено сравнение оценок, полученных в нашей рандомизованной процедуре, с оценками, полученными в случае отсутствия ошибок в переменных. При а-0 оценки коэффициентов регрессии, полученные рандомизованной процедурой, совпадают с оценками, полученными в случае отсутствия ошибок в переменных. Если же даО, то подставив в уравнение регрессии математическое ожидание оценок параметров

ю

регрессии, и разделив и правую и левую часть уравнения на (1+ег2), а потом 1

разложив-- в ряд, получим регрессионную зависимость

(Как видно, здесь выделяются слагаемые с о2.)

Во многих задачах величина параметра а либо известна, либо получена достаточно точная его оценка. В таких случаях можно вычесть из

слагаемое смещения с точностью до четвертого порядка параметра <т.

Кроме того, если f(x) задана с некоторой систематической погрешностью г(х), такой что Jr(r)rfr = О, jr2(x)dx = erf, то составляющие

смещения относительно систематической и случайной погрешности явно разделены. В случае же, когда г(х) равна нулю, мы придем к тем же оценкам, что и в случае отсутствия ошибок в переменных.

В последней главе помещено описание системы программ моделирования распределения A2(Q). Все программы соединены общим интерфейсом и написаны на языке PASCAL 6.0.

Диссертантом написаны следующие программы:

1) Моделирование распределения A2(Q). Программа моделирует случайные вектора с распределением А2(0), по произвольной системе функций (в программе предусмотрен ввод этой системе функций). Программа визуализирована и демонстрирует свою работу графически. Кроме того, программа вычисляет оценки параметров линейной регрессии, исходя из

следующего соотношения: £а,(р,(*,) = С,где а, - параметры регрессии, (р, -

ортонормированная система функций, которые задаются в программе, a Q-реализации случайной функции. При этом используются полученные случайные вектора, имеющие распределение A2(Q).

2) Процедура бутстрепа в случае пассивного эксперимента. Программа вычисляет оценки параметров линейной регрессии по всем выборкам из заданных данных и сравнивает оценки этих параметров, полученные в результате процедуры бутстреп с точными значениями параметров. Кроме того, программа вычисляет вероятности с которыми выб ирается та ил л иная выборка.

(14)

fix) функцию s(x) такую, что

исключить

3) Рандом изирован ая процедура моделирования параметров нелинейной функции регрессии методом Ньютона. Программа последовательно приближает значения параметров нелинейной функции регрессии (вид функции и ее производных задается в программе). Программа предполагает задание конкретного числа итераций (в примерах это число равно 25) и определенное количество повторов процедуры для каждого приближения параметра (в примерах это число равно 5). В качестве одного из модулей программа может использовать процедуру моделирования распределения Л2(0), в качестве исходной системы функций рассматривающей частные производные от заданной функции по параметрам.

В заключении диссертации приводятся некоторые подходы к практическому применению описанных выше результатов.

В приложениях диссертации содержатся тексты программ и результаты их работы для конкретных примеров.

Основные результаты, полученные в диссертации опубликованы в работах:

1.Пашкус H.A. О применении кубатурных формул в задачах статистической проверки гипотез / Дискретные модели. Анализ, синтез и оптимизация. СПб.: Изд-во СПбГУ, 1998. С. 58-76.

2. Пашкус H.A. Методы принятия решений в условиях неопределенности при исследовании задач управления / Вестн. СПбГУ. Серия 5. 1998. №2. С. 108-113.

3. Пашкус H.A. Некоторые аспекты применения кубатурных формул в дисперсионном анализе. Деп. в ВИНИТИ. № 1245-В96 от 13.03.96. 21 с.

4. Пашкус H.A. Методы статистического моделирования в моделях оценки инвестиционных проектов / Экономическая наука: теория, методология, направления развития: Материалы Всероссийской научной конференции. Ч. 2. СПб.: Изд-во СПбГУ, 1998. С. 139-140.

5. Пашкус H.A. Некоторые подходы к построению нелинейных моделей банковских рейтингов / Макроэкономическая стабилизация трансформационной экономики: Тезисы докладов международной научно-практической конференции. Казань: Изд-во Казанского ун-та, 1997. С. 119

- 121.