Устойчивый дискриминантный анализ неоднородных случайных наблюдений тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

РГ6 ^)РУССКМЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

1 1 окт ьаЗ • •

На правах рукописи

ВАСЕНКОВА ЕЛЕНА ИГОРЕВНА

УСТОЙЧИВЫЙ даСКРИМИНАНГНЫЙ АНАЛИЗ НЕОДНОРОДНЫХ СЛУЧАЙНЫХ НАБЛ

01.01.05 - теория вероятностей и математическая , статистика

Автореферат диссертации на соискание ученой степени кандидата, фгаико-математичвских наук

'Минск - .1993

Работа выполнена на кафедре математического моделирования анализа ' данных факультета прикладной ' математики, и информатик Белорусского государственного университета

доктор физико-математических, наук, "профессор Ю.С. Харин ,

доктор физико-математических наук Б.А. Залесский

.кандидат физико-математических наук В.А. Морозов .

Центральный экономико-математический институт РАН

Защита состоится д'рл. 1993 года в 10 часов ш

заседании специализированного Совета К 056.03.17 при Белгосушвер-ситете (220080, г.Минск, проспект' Ф.Скорины, "4, Университетски! городок) . '

С диссертацией можно ознакомиться в библиотеке Белору<зскогс государственного университета

Автореферат разослан £5" аХМАсрЦ 1993г. ,

Научный руководитель: Официальные оппоненты:

. . / .

Ведущая организация:

Ученый секретарь специализированного Совета ,

доцент - Ю.В.Меленец

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. При решении широкого класса прикладных задач в техника, медицине, естественнонаучных'исследованиях часто возникает задача дискриыинантного анализа (ДА) многомерных наблюдений, которая состоит в отнесении объекта к одной из совокупностей (групп, классов), заданных своими вероятностными распределениями или представляющими их конечными случайными обучающими выборками.

Применение к решению задач дискриминантного анализа теории статистических решающих функций позволило построить оптимальные1 решающие правила, минимизирующие некоторый функционал риска (средних потерь) при соответствующем выборе функции потерь для заданной классической модели экспериментальных дапных. В условиях полного и точного описания классов оптимальным является байесовское решающее правило (БРП). Классическая модель данных традиционно использует предположение,об однородности классифицируемых наблюдений и выборки для каздого класса. Однако на практике это модельное предположение часто нарушается, так как эксперт,штолыше данные .являются неоднородными: присутствуют "выбросы", неоднородность выборочных значений, несовпадение "фактического" распределения с гипотетическим. Неоднородность данных нарушает оптимальность решающа правил (РП), приводит к неконтролируемому росту риска классификации. Опыт использования классических процедур ДА показал, что некоторые наиболее употребляемые статистические процедуры оказываются весьма чувствительными даже к малым отклонениям от начальных модельных предположений. Это означает, что небольшие искажения могут привести к существенным ошибкам в окончательных выводах, а, следовательно, классические процедуры оказываются неэффективными. Поэтому в настоящее время наблюдается интенсивное раз-' витие процедур дискриминантного анализа, основанных на устойчивых (робастных) выводах, таких процедур, которые незначительно уступают в эффективности классическим процедурам при точном выполнении условий их оптимальности и являются мало чувствительными (устойчивыми) к малым отклонениям"от этих условий.

В связи с этим актуальными как в теоретическом, так ив практическом плане являются следующие задачи ДА:

I. Исследовать влияние неоднородностей в данных на устойчи-

вость решающих правил.

2. Построить и исследовать РП, устойчивые к заданным . типам искажений (неоднородностей) данных.

Эти звдачи относятся к проблеме устойчивых статистических выводов, сформулированной П.Хыобером, развиваемой Ф.Хампелем, М. Тику, Д. Мак-Лахланом, Я.З.Цыпкиным, Б.Т.Поляком, С.А.Айвазяном, Л.Д.Мешалкиным, 'А.М.Шурыгиным, Ю.С.Хариным и другими учеными.

Для решения этих задач эффективным оказывается метод асимп-, тотических разложений. Использование первых членов асимптотических разложений по степеням величин, определяющих уровень искажений " в данных, позволяет при незначительных потерях в точности получить существенный выигрыш в простоте вычислений риска, что способствует решению задач анализа устойчивости решающих правил, определения допустимого объема выборки и .нахождения критических уровней искажений, гарантирующих заданный уровень устойчивости РП.

Таким образом, необходимость решения задач дискриминантного анализа неоднородных случайных наблюдений, а также эффективность асимптотических методов при решении задач исследования.устойчивости РП определяют актуальность темы диссертационной работы.

Целью работы является разработка математических моделей, методов и новых решающих правил устойчивого дискриминантного анализа неоднородных случайных наблюдений, а также реализация предложенных методов в специальном программном обеспечении по робастному статистическому анализу данных.

Поставленная цель определила следующие основные задачи:

1. Построение и описание математических моделей неоднородных наблюдений.

2. Оценка устойчивости классических решающих правил при появлении искажений модели классифицируемых наблюдений (искажения в ¿¿-метрике, случайные искажения, параметрическая, неоднородность наблюдений, искажения,задаваемые смесями вероятностных распределений). \

3. Исследование устойчивости подстановочных решающих правил '(ПРП) при наличии неоднородной рбучающей выборки.

4г. Определение условий робастности решающих правил, критических уровней искажений и допустимых объемов выборки, гарантирующих ,заданный уровень устойчивости.

5. Построение робастных решающих, правил, устойчивых к заданным типам искажений и их программная реализация.

Основными методами исследования являются метода теории вероятностей и математической статистики, теории-статистических решений и многомерного статистического анализа, метод асимптотических разложений, методы оптимизации, аппарат теории обобщенных функций и теории матриц.

Новые научные результаты.

В случае искажений моделей классифицируемых наблюдений:

1. Показано, что традиционно применяемое в дискриминантном анализе байесовское решающее правило теряет свою оптимальность при появлении неоднородностьй в модели данных.

2. Построены выражения гарантированного риска классификации, впервые получены оценки коэффициента робастности классических • решающих правил для следующих типов искажений: искажения в ¿^метрике , параметрическая неоднородность наблюдений, искажения, задаваемые смесями вероятностных распределений, случайные искажения.

3. Исследована зависимость величины гарантированного риска классификации и коэффициента робастности от уровней искажений, а в-случае искажений, в ь -метрике от вида весовой функции.

4. На основе оценок коэффициента робастности получены условия робастности решающих правил, определены необходимые в практическом использовании критические значения ("пороговые точки") уровней искажений.

5. Построены новые робастные решающие правила, обеспечивающие минимум гарантированного риска классификации.

В случае "засорений" Гьюки-Хыобера обучающей выборки:

1. Для случая произвольного регулярного семейства многомерных плотностей установлены асимптотические свойства оценок минимального' контраста (МК-оценок), определены условия их состоятельности. .•••'

2. Построены новые асимптотические разложения для моментов ' первого и второго порядка оценок минимального контраста.

3. Проведен асимптотический анализ риска классификации и устойчивости ПРП, использующего МК-оценки.

4. Построены новые асимптотические разложения коэффициента робастности и коэфЕициента асимптотической робастности. На основе полученных асимптотических разложений найдены допустимые объемы, выборки, гарантирующие заданный уровень устойчивости РП.

5. Построено новое решающее правило повышенного порядка, устойчивости, основанное на функциональном . преобразовании оценок

минимального контраста.

6. Для часто, используемой на практике гауссовской модели наблюдений проведено численное исследование устойчивости подстановочного решающего правила при наличии "выбросов" в обучающей выборке. Показано, что использование устойчивых оценок .параметров (одаошаговые М-оценки, оценок медианного типа) в ПРП приводит к РП, устойчивому к "вы'бросам" в вцборкэ.

Практическая ценность и реализация результатов. Практическая , ценность работы заключается в том, что ее результаты могут быть использованы при решении задач статистического анализа неоднородных экспериментальных данных в научных исследованиях, технике, экономика, медицине. Теоретические и практические результаты работы использованы и внедрены при выполнении НИР "Разработка методов, алгоритмов и программного обеспечения устойчивого (робастного) анализа данных для автоматизации научных исследований, математического модвл!фовашя на ЭВМ сложных систем в условиях априорной неопределенности" (номер гос. регистрации 01890080692) в рамках Республиканской научно -технической программы "Информатика"; при выполнении НИР "Разработка теории устойчивого математического моделирования систем, логико-комбинаторных и вероятностно- статистических методов оптимизации и распараллеливания вычислительно- информационных процессов" (номер гос. регистрации 01910054943) по плану фундаментальных исследований БГУ; при выполнении НИР "Разработка теории робастного (устойчивого), статистического распознавания образов" по Фонду фувдаментальнвд ^сследований при Совете Министров Республики Беларусь (грант 'Ф40--267)

Построенные в диссертации решающие' правила дискриминантного анализа реализованы на твм-сошестодых ШШ1 и включены в пакет прикладных программ "РОСТАН" (РОбастный Статистический АНализ), разработанный на. кафедре математического моделирования и анализа данных Белорусского государственного университета. Акты об использовании результатов работы приведены в 'приложении.

Аппробация работы. Основные результаты диссертационной работы докладывались на научно-технической конференции вузов Белоруссии, Молдавии, Эстонии, Латвии, Литвы (Минск,1989), Республиканской научной конференции "Математическое и программное обеспечение анализа данных" (Минск, 1990), на межреспубликанской научно-технической конференции "Актуальные проблемы информатики: математическое, программное и информационное обеспечение анализа данных"

(Минск, 1990, 1992), на xv семинаре СНГ по проблемам устойчивости стохастических моделей (Пермь, 1992), на семинаре "Многомерный статистический анализ и вероятностное моделирование реальных процессов" (Москва, ЦЗМИ, 1992), на Республиканской школе - семинаре "Компьютерный анализ данных и моделирование" (Минск, 1992), на vi международной конференции по теории вероятностей и математической статистике (Вильнюс, 1993), в Белгосуниверситете на семинарах кафедры математического моделирования и анализа данных (1989-1993).

Публикации. По теме диссертационной работы опубликовано 14

работ.

Достоверность приводимых в диссертации результатов обеспэ- ■ чивается корректным применением математических методов и подтверждается результата!® вычислительных экспериментов.

Структура и объем работы. Работа состоит из введения, трех глав, заключения, приложения, списка литературы,содержащего 97 наименований. Диссертация содержит 120 страниц, включая 8 рисунков.

КРАТНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обосновывается актуальность теш диссертации, формулируется цель работы, приводится обзор литературы, кратко излагается основное содержание работы.

В первой главе рассматриваются основные модели искажений и характеристики устойчивости решающих правил.

В § I.I изложены общие вопросы дискриминантного анализа. В пространстве с вероятностями ......+яь=г) наблюдаются объекты из ьъг классов П,,...,ПТ. Наблюдение иг- класса П. ({с-з Н 1,2,... есть случайный вектор с плотностью распределения вероятностей р{(я). Задача дискриминантного анализа состоит в отнесешш некоторим оптимальным образом наблюдения х к одному из классов Определено нерандомизированное решающее правило dix), геЖ^, deg как измеримое отобразкение (if—з. Определяется рандомизированное решающее правило, задаваемое набором критических

функций %, с • i, («53}-, удовлетворящих ограничениям: 4 ъ

, У X»<*)=?, ssK".

Функция %t(»>: ¡к—с о;ц определяет вероятность события, состоящего в том, что в точке принимается решение "d=i". В

частности, если х** h » то получается нерандомизированное РП

, 4 L

d = dC»>= У { 0„ СагЭ , t=1 Vl

где vt=-¡2, ¡seDf: x¡cxi=r }- область пространства of, которая соот

ветствует принятию решения "d=t", fl„ - индикатор множества у,

Вводятся понятия функции потерь wtdí-x:>, матрицы потер

; - величина потерь при отнесении в Qj наблюдения и

' П, (i.jsg). Определяется риск классификации: .1

^ г = KcD= тJ %i W{J J Xf&Pf&teïO,

i,7=1 tf*

■ который используется в качестве меры оптимальности. Чем меньш риск классификации, тем более оптимальным будет решающее правил

dC-Э.

Определяется байесовское решающее правило

ъ

d =<Z С а£> = are mtn f,Cx}= \ ic.pXx^ui,,,

a«®", dteS,

fcés JSf ^ J«

для которого риск классификации минимален:

г = Г min f.Cxïds, ° ДО 35

Для случая неизвестных параметров распределений |р(со

определяется подстановочное решающее правило d=dc®;2>, получаемо!

из БРП подстановкой вместо неизвестных плотностей {р(со[ из

статистических оценок |р(со[ по выборке z:

х

d=dCi;¡E>= arg mtn f.C¡¿>= ) , seDf.

» » fce3 й A J J JR

Условный риск ПРП <3.c ■ 5 при условии, что выборка z фиксирована, имеет вид L

r=rCdC ■;£>)= 2 X »tdc»;iS)®iCiïd*-

1-1 {^

Безусловный риск (ожидаемая ошибка классификации) ПР1 d.<x\z> определяется выражением r=E]KdC • ) J-, где усреднение проводится по распределению выборки, z.

В § 1.2 описаны основные типы неоднородностей, рассматриваемые в работе : неоднородность классифицируемых наблюдений и неоднородность обучающих выборок. Математической моделью наблюдени? из класса (tes) является случайный вектор х{ с плотностью распределения вероятностей р,со «= pfe+f, где - множестве ,. допустимых искаженных плотностей ¿-го класса: уровень

скажений. Если e+t=o, то -{pjCoj. - одноточечное множество;

одержащве гипотетическую (идеальную, неискаженную) плотность аспределения вероятностей вектора наблюдений t-ro класса. Среди скажений моделей классифицируемых наблюдений исследуются: искажена в ^-метрике, параметрические искажения, искажения, порожда-мые конечными смесями e-близких,распределений, случайные искажена. Среди моделей искажений обучающих выборок исследуются широко аспространенные на практике искажения Тькжи-Хыобера.

В § 1.3 введены основные характеристики устойчивости реша-едих правил. Пусть d =асх;гр - некоторое решающее правило, постро-нное для гипотетической модели данных ж со. Здесь des номер клас-а, к которому будет отнесено наблюдение zeR", z-обучащая выборка • бъема п., используемая при построении решающего правила.

Гарантированным значением риска для РП ас о при наличии [скажений назовем функционал:

г, = г .С <£> = аир К ¿D .

Степень устойчивости РП <к о будем характеризовать коэффици-iHTOM робастности ( при r0cd> > о):

к+='»е+СсЕ> = (г+С<£> - г0С(Ю )/гоСс0^0,

коэффициентом асимптотической робастности:

к~ teCdP. = Um. к,С<£> , п-»а>

!ем меньше «+, *, тем устойчивее РП ¿со.

Условимся говорить, что РП je о является е+-устойчивым РП

[е = max s,,) порядка vcd>=v, веж V - такое-наибольшее натураль-. i юе число, что

»eCdjrreC ¿£>.

"Пороговой точкой" для некоторого РП <зсо назовем такое мак-;имальное значение е* уровней искажений {£+{Ь для которого -га-1, }антировднный риск г+ совпадает с г": , 1

6* = m<n ^ <Х : mase rXc£> . = г*^,

"■де г*- риск, достижимый "наихудшим" РП, выносящим решения о юмощыо равновероятного жребия.

Объем выборки п=пС0э будем называть ö -допустимым (о<0<О, если пСбЭ = roln. -{n: *+<SJ-. Робастным (относительно искажений ^ е+ ) решающим пра-зилом назовем РП - а*с , для которого гарантированное значение

-9- 1 •

риска минимально

г.СсЛ = Inf г Сер. dCO

Вторая глава посвящена исследованию устойчивости решающи; правил при нарушении предположения об однородности классифицируемых наблюдений.

В § 2.1 исследуется устойчивость решающих правил при искажениях в ь2-метрике:

к"

J" сp{СхЗ-р°СliГ)jC&t• Е{<£+{1,

Of

где ptcо .- плотность гипотетического распределения; ф{с о - весовая функция в К",-удовлетворяющая условиям ф.со^о, J <рлхэ<1х=1,

Обозначим: <зс(|>{;х^= X <¿>0*.

К"

Теорема 2.1.1. Если имеют место искажения плотностей i ¿^-метрике, причем1 радиус окрестности e+l (t«s) не превосходи' критического значения е* (его выражение приводится в диссертации), то гарантированное значение риска для произвольного решавдег< правила j^X^*53 равно

Г+СХЭ= гСХЛр^Э J^«{U"4»

rCX:-{PtP ~ Риск классификации РП % для гипотетической модели бе: искажений.

Следствие 2.1 Л. Если ф4со=р°со (случай af-метрики) i ■ /Ь-ш » -

то коэффициент робастности для БРП равен

Следствие 2.1.3. Для (0-1)-матрицы потерь :W{J=i-ö{J

произвольного нерандомизированного РП %со и произвольных нормированных к единице весовых функций (|>;ео со. справедлив! . оценка L

r+cx> i r<x;ip°tl+^ie+i/2.

Теорема 2.1.2. В условиях теоремы 2.1.I робастные- критические функции x*=c%tc я33 являются решением задачи

L Ь

J" f I ak!Cxi^ X/ У bj.CssJJpXjCaolcto — min

где для коэффициентов \akJtx-,%>, приведем явные формулы.

Подробно рассмотрен случай: гауссовской модели наблюдений. В § 2.2 исследован случай параметрической неоднородности классифицируемых наблюдений. Истинная плотность распределения

qC ■ ;0{5 е Q =| qC ■ ;9э : 6e[Rm|, ОТЛИЧЭеТСЯ ОТ ГИПОТвТИЧвСКОЙ qC •

параметрическими искажениями:

'^S+t3^^®3 • p{Ca£>=<jC*;9{:>, с 9{-et°iTBtc 9{-G°J =6:* ,

о* et< e+t}.

L

Обозначим: a{ = £ w(J f x/*5 ve°

т- вектор-столбец.

Теорема 2.2.1. Пусть <э - семейство трижды непрерывно дифференцируемых плотностей, таких что

[I

О qCi;6ti

dl i о <~, 9i=C9tJ3e[Rm, J.h.le] 1,2, ...,m}t.

то при наличии параметрических искажений гарантированное значение риска для произвольного рандомизированного РП Xе0 допускает разложение:

ь

где кх;{б°}о - риск классификации РП х для модели без искажений.

Следствие 2.2.1. Гарантированное значение вероятности ошибки БРП удовлетворяет разложению: :

г+(х°)=>р+ Сг + о(в'). ■Ь 1/2

бг= У 7С( е+{[ / УдО Ч(х;8В~* / Ч (¡Г', 9° )йХ ] , 1 = 1 V® 1 V® 1

где го = г ; -(0° }■) - байесовский риск для гипотетической (неискаженной) МОДеЛИ; ао(х) = 1} сО^.

Теореме 2.2.2. В условиях теоремы 2.2.1 робастные крити-

ческие функции %*caí>=cx*cx5:> являются решением задачи

ъ

J 2 X,(x)f ,(x;%)dx —г mlrv, rrf<J=1 3 J X '

L

r-, ai B(

где fj(x;X)=fj(*)+ et--

V ат{ в-\

с огравдчениями Xjc®э • •+XLC13=' •

Здесь j байесовская даскриминантная функция, определяемая при ^Pj (. )=q(.;é°) }■.

Аналитически найти робастные критические функции %* сложно, поэтому предложен способ построения приближенного решения задачи.

В § 2.3 исследован случай искажений, порождаемых конечными сяесями e-близких распределений: м

*<«„<■'. atJ = i). Ыа.

Здесь qtJc±D; ч(2сяэ.....qiUcxy - плотности распределения вероят- <

ностей, причем q{Jc»3= р°с®э' - плотность гипотетического распределения наблюдений, а ч<2с с набор kt~i плотностей,

е- близких к q{ в заданной вероятностной метрике рсо. Наблюдаемый случайный вектор с неизвестной вероятностью a{J описывается j-ой плотностью распределения вероятностей . • Обозначим:.

i *

, «trV*3^ 9иСх\1, J=17й{, <е3.

' ОТ '

Теорема 2.3-1. Если имеют место искажения плотностей' распределения вероятностей наблюдений, задаваемые смесями е-близких распределений, то величина гарантированного риска рандомиз1фован-ного РП х равна• • ' • ь ' .

■ - r^Ctf* bj ш Qifx* • •

Следствие 2.3.3.'Если имеотся l=2 равновероятных класса сТС(= =ге2»о. 5>, используется (0-1)-матрица потерь и гауссовское семейат- ■ во: qt(cZ3=nNci||it,s>, qjjCií^cilp.^.SjjD, то гаранти-

рованное значение вероятности ошибки БРП, построенного для гипотетических распределений •• р°со, р°с о, равно

mtrt —-— — — ............r 11 —"■

Здесь Фсо- функция распределения стандартного нормального закона, Л'=(с|дг-ц)5тЕ"1сц2-ц)э - расстояние Махаланобиса.

Теорема 2.3.2. При наличии искажений, задаваемых смесями е-близких распределений РРП имеет вид

...... Х*ъс ¿> "О

>=or£m{n У я.ш.. q. .оСагЭ , fceS i^J ' tJ{

еедэ являются решением :

min I У k.w.,q, . Сх> I dx —тат

J t^a { lJt J ij.---.Jj

a j°Mu 2..... uA с te£p являются решением задачи

1 ' L

Рассмотрен случай, когда в качестве метрики рсо используется ь2-метрика.

В § 2.4. исследуется устойчивость БРП при случайных искажениях плотностей. Пусть искаженная плотность распределения вероятностей вектора наблюдений имеет вид

р°С xi-p{C ¿5= £{Са£>, ¡rdR" (tea).

Здесь - случайное поле в К", описывающее погрешности задания

плотности распределения вероятностей наблюдений из 0{ и удовлетворяющее ограничениям: почти наверное £ го хз, J £,Cs:>dx =о.

R" ■

Будем предполагать, что существуют моменты первого и второго-порядка:

EU{c^h-et 1 <зис*э + ^Sj Ь,

Условия на функции о?<стэ ,g2{c®. х-э приведены в диссертации. Обозначим: e1th = J af{Cx:>ds. = / о2{са,®'эаа; d®'...

Теорема 2.4.1. Если •{{^'Р ~ независимые в совокупности случайные поля, то при а_=«(п иг для усредненных характеристик робастности БРП х° справедливы разложения:

L а.

(ск&-VУго)(^е,- с+ + *се+:>.

В теореме 2.4.2 найден риск классификации линейного БРП при случайных параметрических искажениях. Наблюдение из согласно гипотетической модели, есть случайный вектор хг с плотностью распределения вероятностей р°Ы = пь|(»|ц{,2{). Классификации подлежит случайный вектор х, имеющий искаженную плотность

Р(<*;ц;,2{)= г).

Здесь Е. - известные ковариационные матрицы наблюдений из П,-({=1,2); ц*- неизвестное истинное значение подверженного случайным искажениям параметра сдвига; гипотетическое значение параметра сдвига; ег > о - уровень искажений; а{-случайный вектор искажений, имеющий нормальное распределение нм(Ю,Е{), причем а{ независимы. • Теорема 2.4.2. Риск классификации БРП, использующего линейную дискриминантную функцию, при наличии случайных параметрических искажений равен

ге = (ш12- (ш;2- ы71) Ф(Д/г/+ёу>) +

причем г£-го>0. Здесь го - риск классификации БРП для модели без

искажений, Ф(-)~ функция распределения стандартного нормального закона, А -межклассовое расстояние Махаланобиса. Построено устойчивое решающее правило.

.В третьей главе рассматриваются задачи устойчивого дискри-минатного анализа при нарушении предположения об однородности обучающих выборок. Наблюдение из класса П{ (^з) есть случайный вектор с плотностью распределения вероятностей чИс-

тинные значения -{8°, неизвестны. Наблюдается случайная вы-

I „ _

борка г= и21,где ~ выборка объема п£ нас-

{ г /

людений с плотностью распределения вероятностей

Здесь о$е1<1 - уровень "засорения", е кт - вектор параметров

"засоряющего" распределения.

В § 3.1 исследованы свойства оценок минимального контраста и устойчивость подстановочных решающих правил, использующих эти

оценки. Обозначим я(я;9{) - функция контраста, набор

частных производных а-го порядка по 0{ а точке 0*; Г^ с О?4- байесовская дискриминантная поверхность для пари классов П4,

замыканио множества 8{; т{= поз {б*, п"*}-, -с0= ш В - вектор размернойти п, составленный из единиц,

О?*

У^св^е+э« ^ «'^»¡в^чСа^+эа»' (Л=0,»,2,3),

о?"

Теорема 3.1.1. Если ^ трижды непрерывно дифференцируемы по удовлетворяют условиям регулярности Чйбисова, конечны

математические ожидания «т^сб^ и единственна точка

0*=агвт(п

то при п{~*а> имеет место сходимость почти наверное .

9{ № е*.

и для 0* справедливо разложение

е;= 9° - е. (У^с вЪ Г\г! "с е°э + о (б?) О

I I I О ( т ( V т71

В теореме 3.1.2 найдены асимптотические разложения для. моментов МК-оценок. . . -

Теорема 3.1.3. Пусть вшолнены условия теоремы 3.1.1 и для некоторых окрестностей иг,...,и£ <= 6 точек 0°,...,0° частные производные по {9,}- яг'сх;В,>, ч^сх'.б^, ч^сх^э равномерно ограничены на поверхностях Г^с к" «з): причем {дСх^э}-

трижды непрерывно дифференцируемы по *, {^"сх^э ^ - дважды непрерывно дифференцируемы по {ч<асх;9чэ}- непрерывно дифференцируемы по Тогда риск ПРП, использующего МК-оценки, допускает разложение

к <1,3= гс+

рс® +(2?(а»п11+£<п"/Р<) + '(-о).

где г0- риск классификации БРП, рее» ,-{0^,0 ^-коэффициенты разложения, для которых в диссертации приведены явные формулы. При этом

то есть ПРП, использующее МК-оценки, является е+-устойчивым рёша-щим правилом первого порядка.

Следствие 3.1.2. В условиях теоремы 3.1.3 минимальный

б-допустимый объем выборки, гарантирующий заданный уровень б

(б>рсо^г ) для коэффициента робастности к, равен

ь

ясаз= (ai+e{pt)/ (Sr0-pce>)] + i,

где сz3 -.делая часть числа z.

В § 3.2 предложен способ повышения порядка устойчивости ПРП. Теорема 3.2.1. Пусть выполнены условия теоремы 3.1.3 и определены статистики ясzt> такие, что кг() eiJ<1>

St=e( + (У^сё^е^rVz{5 (tea).

l .

Тогда ПРП d = cLCx;2P= T 1 0V CaP, 0„ c®D= п ),

2 t*/ v{ *=/ ** *

W L

является e+- устойчивым решающим правилом второго порядка. Риск

классификации такого РП допускает разложение:

ь ■ ■ ■ _

г = Kd.3= г + У а.п"1 + »Ct э. 2,2 о 1 t Р >

В § 3.3 для гауссовской модели наблюдений приводятся результаты численного исследования устойчивости ПРП, использующего построенные в § 3.2 оценки параметров, а также известные робастные оценки (одношаговые М-оценки и оценки медианного типа). Приведены графики зависимости коэффициента робастности от расстояния Ма-халанобиса А, риска классификации г от уровней искажений -{e+i}-, подтвердждающие результаты проведенного в главе 3 асимптотического анализа.

В заключении сформулированы основные результаты.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Показано, что при нарушении модельных предположений об однородности (неизменности плотности распределения вероятностей наблюдений) традиционно применяемое в дискриминантном анализе байесовское решающее правило и его подстановочные аналоги теряют свою оптимальность.

2. При условии неоднородности классифицируемых наблюдений • впервые построены выражения гарантированного риска классификации,

получены оценки коэффициента робастности классических решающих правил для следующих типов искажений: искажения в ь2- метрике, параметрическая неоднородность наблюдений, искажения, задаваемые смесями вероятностных распределений, случайные искажения).

3. Исследована зависимость величины гарантированного риска классификации и коэффициента робастности от уровней искажений, а в случае искажений в ¿2-метрике от вида весовой функции.

4. На основе оценок коэффициента робастности получены условия робастности решающих правил, определены необходимые в практическом использовании критические значения ("пороговые точки") уровней искажений.

5. Построены новые роСастные решающие правила, обеспечивающие минимум гарантированного риска классификации при нарушении

. условия однородности классифицируемых наблюдений.

6. При нарушении традиционных модельных предположений об однородности обучающей выборки (искажения Тьюки-Хыобера) для подстановочных решающих правил, использующих оценки минимального

.контраста, построены асимптотические разложения риска, коэффициента робастности и коэффициента асимптотической робастности. При этом получены асимптотические разложения• для моментов первого и второго порядка бценок минимального контраста.

7. На основе полученных асимптотических разложений риска, найдены важные для практических приложений допустимые объемы выборки, гарантирующие заданный уровень устойчивости. Построено новое решающее правило повышенного порядка устойчивости, основанное на функциональном преобразовании МК-оценок.

8. Для часто используемой на практике гауссовской модели . наблюдений проведено численное исследование устойчивости подстановочного решающего правила при наличии "выбросов" в обучающей выборке. Показано, что использование устойчивых оценок параметров

• распределений (одношаговых М-оценок и оценок медианного типа) в ПРП приводит к РП, устойчивому к "выбросам"'в выборке.

9. Методы построения устойчивых решающих правил классификации неоднородных многомерных наблюдений, методика .расчета допустимых уровней искажений и объемов экспериментальных данных, обеспечивающих заданную точность, и устойчивость принимаемых, статистических решений, реализовав в пакете прикладных программ по робастному статистическому анализу "РОСТАН".

Основные результаты диссертации опубликованы в работах:

1. Васенкова Е.И. Робастныв процедуры дискриминантного анализа при наличии искажений вероятностных распределений//Тез. докл. научно-тахн. конференции вузов Белоруссии, Молдавии, Эстонии, Латвии, Литвы, Минск 1989, с.55

2. Васенкова Е.И.- Робастность процедур дискриминантного анализа при наличии искажений в ^-метрике// Материалы менфеспуб-ликанской научно-практической конференции .творческой молодежи "Актуальные проблемы информатики: математическое, программное и информационное обеспечёние", Минск, 1990, с.51-52

3. Васенкова Е.И. . О построении робастных решающих правил классификации многомерных. наблюдений цри искажениях выборок и вероятностных распределений. - Деп. в ВИНИТИ 26.03.90, Л 1625, -В90

4. Васенкова Е.И., Построение ■ робастных решающих правил, классификации наблюдений, при наличии искажений вероятностных распределений//Тез.докл. Республиканской научной конференции /Математическое и программное обеспечение анализа .данных", Минск,1990, с.64

5. ВасенковагЕ.И. , 0 минимаксной устойчивости дискриминант-ных функций при искажениях, описываемых смесями вероятностных распределений//Проблеш компьютерного анализа данных и моделирования / Под ред. Ю.С. Харнна. - Минск: изд-во БГУ,1991,с.14-19

6. Васенкова Е.И. 00 устойчивости даскриминантных функций, описываемых смесями вероятностных распределений// Сб."Актуальные проблемы социально-гуманитарных н естественных наук", тез,докл. научной конференции, посвященной 70-летию университета, Минск,

1991, с.92-94 ' '

7. Васенкова Е.И. Об устойчивости процедур дискриминантного анализа при параметрических и нопараметрических искажениях// Тез. докл. 6 Всесоюзной школы-семинара "Программно-алгоритмическое обеспечение прикладного статистического анализа", Цахкадзор, 1991, с.147-149

8. Харин Ю.С.', Васенкова Е.И. Устойчивость статистических решающих правил »при параметрических искажениях вероятностны? распределений//Весц1 Акадэми навук Беларуси Сер.ф1з.-мат.навук.-

1992, #8-4, с.22-27

9. Васенкова Е.И. Об устойчивости решающих правил в дискриминантом анализе//Материалы межре спубликанской научн'о-прак-тической конференции творческой молодежи "Актуальные проблемь

информатики: математическое, программное и информационное обеспечение", Минск, 1992,- с.32

10. Васенкова Е.И. Построение асимптотических разложений риска классификации решающих правил, использующих оценки минимального контраста. - Деп. в ВИНИТИ 08.01.92, Я60-В92

11. Васенкова Е.И. Устойчивость БРП при случайных искажениях параметров//Тез.докл. конференции математиков Беларуси, Гродно,

1992, с.159

12. Васенкова Е.И. Дискримшгантный анализ неоднородных случайных наблюдений//Тез.докл. Республиканской школы-семинара "Компьютерный анализ данных и моделирование", Минск, 1992, с.4?

13. Васенкова Е.И. Устойчивость статистических решающих правил //XV семинар по проблемам устойчивости стохастических моделей/ Теория вероятностей и ее применения, т.37, вып.4, с. 769-771

14. Khar in Yu. S. , Vasenkova E. , Zhulc E. Robust statistical classification and asymptotic expansions method//Probabi1ity Theory and Mathematical Statistics: Proc.of the 6 Vilnius Conf.,

1993. p. 172-173

¿Л-Г

Подписано к печати Н сентября 1993г. Формат 60x84/16. Объем 1.0 п.л. Тираж 100 экз. Заказ599. Отпечатано на ротапринте Белгосуниверситета' 220080, г.Минск, ул. Бобруйская, 7