Некоторые задачи дискриминантного анализа наблюдений большой размерности тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

ЮГ-./

А . I Ч '

, н' д >/' '0 л ' 1 / и (Н

1 / / ' Я'Л ИЛ ШИК!' Ьп н> М . >лЛзл

Факу.нътет вычислительной математик;' я кибернетика

На гфавнх руно;®си

СТЕПАНОВ Блвдашр Сергеевич

УДК 519.2Н1

НЕКОТОРЫЙ ЗАДАЧИ ДИСКРИМИНАН'ГНОГО АНАЛИЗА НАБЛЮДЕНИЙ БОЛЬШОЙ РАЗМЕРНОСТИ

01.01,05 - теория вероятностей и математическая статистика

Автореферат диссертации на соискание ученой степени кандидата физико-математических на/к

МОСКВА ~ Ш-

Работа выполнена в Московском государственном университете жмени и.В.Ломоносова, на кафедре математической статистики факультета вычислительной математики и кибернетики.

Научный руководитель доктор физико-математических наук, доцент Мешалкян Л.Д.

Официальные оппоненты:

кандидат физико-математических наук Деев А.Д.

Ведущая организация: Центральный экономико-математический институт АН СССР, г. Москва

Защита состоится " 1988 г- на заседании

Специализированного Совета Д.053.05.38 Л 4 по математике при МГУ по адресу: 119399 г.Москва, ГСП д Ленинские горы, МГУ, факультет ВМ и К , аудитория 4 * ■

С диссертацией можно ознакомиться в библиотеке факультета ВМ и К Московского государственного университета имени М.В.Ломоносова

Автореферат разослан - ¿1 " ¿

Ученый секретарь Совета доцент

Трифонов Н.П.

ОЩАй ХАРАКТЕРИСТИКА РАЬОТЫ

Актуальность теш. В последние годы интенсивно развиваются методы многомерного статистического анализа, что связано с необходимостью обработки на ЭВМ больших матриц данных. Одним из широко используемых методов является дискришнантный анализ нормаль них наблюдений к ~ ( у=1,2). Пусть век-

торы средних^ 'и ковариационная матрица £ совокупностей^ неизвестны, заданы обучающие выборки (У = Ц^Р; хт1Ц 7"> объемов А/у л'У =1,2) и имеется независимое от" ^ наблюдение"' х , принадлежащее одной из совокупностей, но неизвестно какой именно. Целью дискриминантного анализа является отнесение вектора х по наблюдаемым р компонентам и заданной

информации (($,<*) к одной из этих совокупностей с шнималь-ной вероятностью ошибок.

Обычно такое отнесение (или' классификация х ) осущестшш ется с помощью некоторого решающего правила (р.п )с1®-В?Р Гт р1 следующим образом: если 4 (к) - у . то * „ * .ТечностГ раз-' личных р.п. измеряется по уменьшению вероятности ошибок В классической ситуации: I ~р«л/у -статистический анализ точности р.п.<*€ э выполняется в асимптотике р^г Асимптотически минимальную вероятность ошибок имеет "подетано'

Н°?Н0гЗУЧа0ТйЯ П0СЛе Подста"ов™ в известное выражение* наилучшего (басовского.минимаксного)

Однако в условиях большой размерности: ятность ошибок "подстановочного"р.п. сильно возрастает 'йЗГ из основных методов улучшения точности использование регулярнаованной оценки ЗГ1 матриш!"\ToZT ™ей опт_ей параметра^ в классе р.п п ^ Статистический анализ точности р/п. Ждется

В этих условиях методом предельных теорем.асюшто^^^!!!! размерности (а.р.р.) А.Й.Колмогорова-А.Д ДеевГ ? ^

. "у — . __ и'

где 0<уу< оо -константы, А^-ооъеыы выборок> 2> I ,

тах Ю. Н. благовещенского, Л. Д. Меагалкияа, В. Л Л V ^ ^ 1 И • исследователей в этой асимптотик бн^ по^^ГГг позволяющая улучшить точность раал,чЧШС п1 ^ С

успехи были достигнуты для классов р.п._3^ с ридж-оценками матрицы 2 благодаря методам спектральной теории случайных матриц, развитой в работах В.Л.Гирко (1975 - 87 гг.).В работах Д.А.Барсова(1982 - 85 гг.) в предельных теоремах асимптотики(]) была исследована вероятность ошибок р.п.с^сЗ^ с простыми ридж-оценками = (1р+15, 1р- единичная матрицатакже найдено оптимальное значение параметра при известных^ . В работах в.и.Сердобольского(1983-87 гг.) была развита асимптотическая теория статистического анализа наблюдений большой размерности о использованием обобщенных ридж-оценок 5,

Однако приложение предельных теорем асимптотики(1) на практике при конечной размерности не было обоснованным,точность асимптотических формул была оценена лишь по порядку скорости сходимости.Систематическое экспериментальное'исследование большинства спектральных функций не выполнялось.Не был решен вопрос оценивания оптимального значения параметра/ или других характеристик асимптотически доминирующего р.п. .

Эти вопросы впервые решаются в настоящей работе.

Цель и задачи работы. Диссертация посвящена дальнейшему развитию теории дискриминантного анализа для класса р.п. с обобщенными ридж-оценками с целью реализации асимптотически доминирующего р.п. на практике, а также исследованию возможности улучшения точности классификации с помощью асимптоти- . чески оптимального отбора выборочных главных компонент.

Бьиш определены основные задачи работы:

I? Исследовать точность асимптотических формул для важнейших статистик спектральной теории,связанных с резольвентой выборочной матрицы ковариаций и используемых для улучшения точности классификации при большой размерности.

2? Развить теорию дискриминантного анализа для класса р.п. с обобщенными ридж-оценками,, построить оценки характеристик асимптотически доминирующего р.п. О-^* и реализовать эторп. на практике в алгоритме и программах.

3? Исследовать точность разработанного алгоритма и программ как в модельных условиях методом статистических испытаний, гак и на реальных данных в системе сравнения алгоритмов СОРРА.

4? Исследовать возможность оптимизации параметра отбора главных компонент в выражении дискриминантной функции Фишера.

Научная новизна^Впервые асимптотическая теория дискрими-

нантного анализа доведена до алгоритма и программ, реализующих на практике асимптотически доминирующее р.п.^0*с обобщенной ридж-оценкой матрицы Решен вопрос точности асимптотических формул для важнейших статистик спектральной теории. При исследовании свойств этих статистик получен ряд новых результатов. Построены основы теории оптимизации параметра отбора выборочных главных компонент. Асимптотика (1)впервые применена в задаче прогнозирования надежности силовых тиристоров.

Методы исследования. Точность асимптотических формул исследована методом моделирования (или сравнения результатов статистических испытаний с теоретическими).В аналитическом исследовании использовались аппарат многомерного статистического анализа, методы теории экстремальных задач,понятия функционального анализа и теории функций комплексного переменного.

Практическая и теоретическая ценить. Показано,что предельные теоремы асимптотики растущей размерности можно, применять на практике даже при малых значениях 5 , и и = р/п из диапазона 0,003+1 , где + .Остаточные' члвш убывают с ростом р и/или п .Эмпирическая скорость сходимости не противоречит известным теоретическим оценкам порядка скорости сходимости. Далее установлено, ^то несмотря на известные теоретические трудности решения задачи минимизации предельной ошибки в классе р.п. , асимптотически доминирующее р.п. можно реализовать на практике. Разработанный алгоритм ЭЛДА-экстремальный линейный дискриминантный анализ - обладает преимуществами, доказанными теоретически и подтвержденными в модельных условиях методом статистических испытаний, а также -на ряде реальных данных. Асимптотически оптимальные'характеристики р.п.,реализованного алгоритмом ЭЛДА, могут быть установлены в условиях применимости спектральной теории и не ограничены предположением нормальности наблюдений /1,сЛ56/. Прог раммы,соответствующие алгоритму ЭЛДА,легко подключаются'к пакетам СОРРА-2, ПШ-БИМ, БЧА НИВЦ МГУ.ОБОП "Дубна" и др.

1.Сердобольский В.И. .Орлов А.И. Статистический анализ большом числе параметров//Ш Всесоюзная школа-Программна алгоритмическое обеспечение прикладного многомерного статист* ческого анализа: Тез.докл.-М.: ЦЭМИ АН СССР, 1987 -с 151-160

Реализация результатов исслодованкЛ. Алгоритм ЭЛДА реализован в программных модулях на алгоритмическом языке ФОРТРАН и внедрен в пакет СОРРА-2. Алгоритм и программы применялись в сравнений с классическим алгоритмом ФИШЕР для обработки реальных данных а условиях большой размерности. Версия программ, ориентированная на ЕС ЭВМ, внедрена в пакет программ кафедры.

ДПШ&ация_ва^ты. Основные результаты докладывались на конференции молодых ученых ф-та ВМ и К МГУ (декабрь 1984), на Всесоюзном семинаре в ЦЭМИ АН СССР (апрель 1985), на У симпозиуме "Машинные методы обнаружения закономерностей"(Минск,1985), на II отраслевом научно-техн. совещ.(МЭТП) "Надежность силовых полупроводниковых приборов и преобразователей на их основе" (г.Молодечно,ЬССР,март 1986), на Всесоюзной школе "Использование математических методов в задачах классификации**(г.Пущине, апрель 19861, на III Всесоюзной школе-семинар "Программно-алгоритмическое обеспечений прикладного многомерного статистического анализе" (пос.Цахкаазор, Арм.ССР. октябрь 1987) .

Основные результаты диссертации опубликованы

шеоти рчоотах „

Структура и дръем работы. Диссертация состоит из введения> лвух глав, заключения, слиска литературы из 84 наименований и -писка используемых сокращений и обозначений. Она имеет объем 118 страниц, в том числе 7 таблиц я 13 рисунков.

УДЕРЖАНИЕ РАБОТЫ

6о ьс-елении обосновывается -Актуальность теш. дриведитг* гчш ьк ти^ ^ичаиг" г гнализа 1 юмоиы и , яти <

ли 1 (¡'тячь а и^п >уются 1едсстат>^1 I- г

. чног' I 1 ■г\ 0( I р азмерНч ч ', , о г

с г \ ТИ 1 "IV1 •=>нг г ЭТОГО д

к 1 ^ »^ Л < л I1 1 НС/к1 М ►ТЦЧ

< 1 > 'В „ х ь ч | ( ,

" 4 " <■ * * <■ I . 1 1-

л

ошиоок (или, для краткости- предельных ошииик;.< 7--р11т.о~ы(еЬв) - анализируются недостатки "подстановочного"

1 л.ь .р

р.п. в условиях оолыдой размерности и кратко освещаются пути их преодоления. Трудности этого правила видны из формулы А.Д.Деева: ,2 г-.

г?

I -в» ^ > д А. 2 п ,

где - константы из (I), и р*^'*00

¡л ш:

и - и " - - ~ ' — Р-+-С»

предел квадратичного расстояния Махаланооиса

Сравнение величины (2) с соответствующей вероятностьюр (¿¿°)~

показывает, что "подстановочное" р.п. не является асимптотически оптимальным в (1). С другой стороны, сравнение (2) с предельной ошибкой

¡¡Л^) (3)

идеализированного р.п. а , построенного при известной матрице ковариаций, показывает величину платы за оценивание неизвестных параметров совокупностей. В частности, множитель ^ "У есть плата за оценивание 0(рг) мешающих параметров матрицы ковариаций, а смещение в знаменателе формул (2),(3)-

- плата за оцениванием?^ параметров векторов средних.

Для теоретического анализа предельных ошибок в /2/ впервые бала предложена контигуаяьная постановка задачи дискриминации с растущим числом параметров распределений, оцениваемых по выборкам растущего объема. Основным предположением являлось наличие сближения одномерных распределений признаков в совокупностях при ограничении предельного расствяния мевду ними. В этой постановке исследовалось влияние способа оцифровки независимых качественных признаков на величину предельной ошибки, соответствующего "подстановочного" р.п. и получены формулы, аналогичные по форме (3). В последующих работах в контигуальной постановке, наяример в /3/, оыло показано,что форма (3) зависимости предельной ошибки от числа оцениваемых параметров сохраняется для широкого класса распределений в условиях контигуаяьности и регулярности, если все параметры

2. Мешалкин А.Д. Статистич.иробл.управл.-1976,* ТГТ!"^^-"

3. Мешалкин Л.Д..Сердобольский в.и: 'Ошибки при классификации многомерных наблюдений//-Теория вероятностей и ее применения

- 1978. - том 23, вып.4, с.772- 781.

являются "различающими"< При наличии же группы мешающих параметров, предельная ошибка заметно возрастает и имеет вид (2).

В асимптотической постановке задачи дискриминактного анализа в § 2.1 работы использовалось условие контигуальности, что позволяет упростить решение экстремальной задачи,возникающей при минимизации предельной ошибки. Применение общего подхода теории экстремальных задач является здесь менее эффективным, хотя и позволяет найти решение численными методами.

Сравнение предельных ошибок (2) и (3) показывает основные пути улучшения "подстановочного" р.п. при большой размерности: отбор части признаков» использование улучшенных оценок векторов средних, а также — обратной матрицы ковариаций. В диссертации выбран последний из этих путей, в котором есть два подхода:-использование дополнительной априорной информации о структуре зависимостей компонент наблюдений и оценивание О(р) параметров матрицы ковариаций (работы: А.Д.Деева (1974), /3/, В.И.Сердобольского (1978-1980),В.И.Заруцкого (1978-1981), Ш.Ю.Раудиса (1976-1985) и др.);

-применение регуляризованных оценок обратной матрицы ковариаций и оценивание 0(р ) параметров при отсутствии априорной информации (работы: А.М.Шурыгина(1979-1983)»Д.А.Барсова (1982-1985),В.И.Сердоболь ского(198&-1986),В.Л.Гирко(1985--1987) и др.),-подход, принятый в настоящей работе.

В § 4 подробно рассматривается метод регуляризации,а также исследуется центральный вопрос, возникающий при использовании этого метода — оптимизация значений параметра регуляризации, а также построение оценки оптимального значения параметра : ¿* Г •

В § 5 и 6 приводятся соответственно обзор по свойствам важнейших статистик спектральной теории, используемых для улучшения "подстановочного" правила, и обзор по регуляризован-ным р.п. в задаче дискриминации наблюдений большой размерности.

В § 7 формулируется цель и задачи работы, описывается краткое содержание работы и ее научная новизна.

Первая глава работы посвящена решению основной задачи 1?, сформулированной на стр,4.

В § 1.1 формулируется постановка задачи,в которой найдены асимптотические формулы. По сути это есть схема серий наблюдений растущей размерности над случайным нормальным векто-

ром ^ - Исследуются свойства следующих статистик, зависящих от собственных значений матрицы 5 : спектральные к-

моменты , к^ТТА ; нормированные спектральные функ-

ции 5)= р'Х^д. и ^ преобразования Стилтьеса^

- рл-6х (1Р-. ъ^ЧсС- ; статистики дискриминантного анализа кр(£=ЪГ- и (г) , где+ ' л = N<+N1 • Статистика яв^тется оценкой величины и получена с помощью некоторого асимптотического соотношения. Это соотношение связывает следующие предельные спектральные функции матрицы 5

кз)=и.тЯ0(>(г) , и^ЛрЫХ . (4)

Для статистик, перечисленных выше, найдены асимптотические формулы.Требуется исследовать их точность при конечныхр и п..

Введем неслучайную нормированную спектральную функцию матрицы ковариаций вида/^Ч; 1)=р'1и неслучайна функцию распределения вкладов в расстояние Махаланобиса ^ (и-) = = .Здесь и всюду ниже У-с -собственные значения

матрицы ^ и ¿¿I -координаты вектора в некото-

ром ортонормированном базисе,в котором £ = у^;

Асимптотические формулы найдены в предположениях: Ш. При любом р= 1,2,... > •

Л2. Собственные значения матриц 5 при р-*-оо равномерно ограничены: 0<С1^У^с1<сх? .V I =Т7р

ИЗ. При ^р 1г>р+2 .Выполняются условия асимптотики растущей размерности (а.р.р.);

р-^оО , п, » оо ( р/п—ту е (0,1). (5)

П4. При и. У о существует предел /г ^ = Рор(и-31>.) При исследовании статистик дискриминантного анКз^'вмес-о уо-ловия Ш вводится и условие *

Л5. При ьс> 0 существует предел Й0(и) = В § 1.2 находятся точные выражения ЕБ*( кЙТЗ),которые ' дает теорема I,стр.48(для нормальных наблюдений В следстви-« ях этой теоремы приводятся асимптотические разложения в (15) матричных величин £ ,ЕБ* ,а также выражения величин ЕМК (к=1,4).Лемма I (с.50) дает величину стандартного отклонения б (М^).В лемме 2 (с.51) найдены предельные спектральные К'~ моменты = ( к=4,5). матрицы 5 .Точные форму,

лы величин £Мнр , £М2/Э и стандартного отклонения б(Мхр) §

н также главные члены разложений ЕМ3/>,£Муръ а.р.р. (5) дает Следствие(теоремы I). В предположениях Ш.ЛЗ и /21 •> О

(6)

Ы'м<р) = п. , (7)

где А -спектральные к -моменты матрицы 2. и фак-

тор размерности у - Р/^ .

В § 1.3 подробно исследуется двухпараметрическое семейство моделей спектра матрицы X , или так называемая '>-модель", предложенная в /4, пример I/. Этг. модель имеет плотность предельного распределения собственных значений матрицы ковариа-ций ¿г.где С* = бга + -Г/>) -гра-

ницы предельного спектра матрицы 1 . Параметр масштаба© >0, параметр р имеет смысл меры спектральной обусловленности матрицы X > в частности У (2) - у дяя -модели найдены в аналитическом виде предельные значения вида (4) важнейших спектральных функций. В утверждении I диссертации (стр.55) находится аналитический вцд пределов нормированных спектральных функций Я, (*) = ) и РМ = = Р(и матрицы ковариаций 5 и ее оценки 5

в'§ 'х.4 приводится постановка.вычислительных экспериментов и основные результаты моделирования. Эксперименты выполнялись в ходе исследований по дискриминантному анализу. Спектр матрицы X выбирался с помощью конечномерной аппроксимации функции »а компоненты векторов средних совокупностей - из условий А/^1 = 8г/р модели "равныхвкладов в_ расстояние Махаланобиса $1 = 0, = р. При ^Ф 0 необходимые и достаточные условия наилучшей аппроксимации дает лемма 3, сформулированная на стр.62 работы._В_ случае /»=0, когда 1=6г1р , полагалось: ^ 6г , Этот случай интересен тем, что здесь полностью отсутствует погрешность аппроксимации предельных характеристик матрицы ковариаций. Это позволяет проиллюстрировать полезность асимптотики (5) даже при малых значениях р и у .

Каждый отдельный эксперимент выполнялся посредством генерации на ЭВМ нормальных наблюдений и расчета значений исследуемых статистик при фиксированных значениях параметров: р , п. ,

ч- P/n, ¿р , и .Эти параметры выбирались из следуй-im диапазонов: р=3-50, л = 10- 1000, 003-1. ¿^ТО./»--0 ; 0,025 ; 0,5 ; 0,9 и ;Ю. В силу убывания дисперсии ис-

следуемых статистик в асимптотике (5) и сильного их смещения з условиях большой размерности, каждый эксперимент выполнялся т. 2 раз при фиксировании всех параметров с генерацией заново выборок и последующим расчетом статистик. Кроме того.доя исследования характеристик рассматриваемых статистик при фиксированных р и п. в классической постановке задачи, было выполнено несколько серий экспериментов с большим числом повторений т ё Гзб - 80). Выборочное среднее Е (О и стандартное отклонение б (•) по числу повторений т сравнивались с теоретическими значениями (6), (7), идр. Наиболее интересные результаты по спектральным к -моментам ( *=ГГ4) матрицы S , исследованным не только в модельных условиях, но и в общем случае, приводятся в таблице.

______таблица_

Пара- ^ Поря- Теоретические рез-ты Эмпирич.рез-ты Тип

метры,,, " ,ЭШ

6 и спект- та г г рений Л а (дат-

ральное к . ' АР"Р- <6> (?) эксп-

mwiQ

р«0.*=1. 0,003 I 1,000 0,999 0,026 2 1,005 БЭСМ-6 «■ \п/тпЗ\ 2 1,003 1,002 - 1,013 (й5Ш 7(1;= I р/^ > 3_ 1.1.009__1Х009_____I__1^024____

(1=1-) "о,5 I "1,000 0,983 0,033 6 0,999 0,037 ЕС-Р 2 I 500 1,483 - 1,501 0,14 1022 (30/60) з 2,75 2,72 - 2,75 0,45 (йАО&л _4 5.63 5159 - 5.61 1.35

. "о~5 I 0,500 0,493 0,023 76 0,491 0,023БЭСМ-

/чл/лп\ 2 0,625 0,609 - 0,608 0,075 -6

,_7Т_ (30/60) з хД56 1,106 - 1,111 0,264

>(г)~Ю 4 2,57 2,40 - 2±432 0Х94_

^п/тпп>2 0,625 0,620 - 0,606 0,049 *

(50/100)з х 156 1Д31 _ 1>095 о,18 ь

4 2,57 2,50 _2,36 0,63

Из этой таблицы видно, что асимптотические формулы, найденные в (5) в работе /4/, хорошо работают даже при малых значениях р =3 и у=0,003.Аналогичные результаты получены для других статистик, исследованных в главе I .

4. Сердо^ольский В.И. Щ. СССР.- 19Ца.-т.270.Д Ь.-сЛОбб-УО

Р (. i.h iio оезультатам главы I формулируются выводы,Основ-. ^ - асимптотические формулы, установленные для ста-'•".тич .мсчто&яышй. теории в асимптотике (Б), хорошо работают п у- пк-v при У ~ P/n. € Гй.003-1,0) даже при малых зна-.„'Jjx верности наблюдений, например, р= 3;

DiH^aJi iLOGüHineua решению основных задач 2<Г-4. работы,

О' i iwi у л ii оо ванных на стр.* .

д-u лучшего понимания проблематики главы 2 целесообразно

предварительно изложить некоторые вдеи из § 4 введения. Опирать н, НИх. можно объяснить выигрыш регуляризованных р.п. cL* полеченных' методом рэгу^ризации оценки S ' в выражении "noi • отшювочного" p.ii.d0 . в основе лежит следующий результат, уотшювленный в достаточно слабых ограничениях на моменты кошюнент наолюдений,или условиях тш:ь условий Линдеберга.ь предельных теоремах асимптотики (5) /5.6/. Если собственные значения i,матриц ковзриашй 2 растущей размерности лежа; ж отрезка [с, ,са1 , отделенном от нуля и имеют некоторое предельно J распределение (ТО есть выполняются условия H2-II4 т ,i,<w..9)» то собственные значения матриц S также имеют г> асимптотике (5) предельное распределение с функцией Р(и) , которая существует п.н,,единственна и определена на отрузке fCj ,с¥] : 0 < с, ^ с<* cz с¥ < , -причем (с«-, Факт расширения границ спектра матриц S был подтвержден в § i.4 диссертации на большом .статистическом материале.

Мз теории к результатов моделирования следует важный вывод: большая часть как малых, так и больших по аеличште собственных значений матрицы S является "информационным шумок". Так как в задаче дискриминации особенно опасны собственные числа, олизкие к нулю, то их целесообразно компенсировать , например, взвешивая их вклады в величину дискридошактной функции. Механизм такой компенсации удобно объяснять с помощью функций взвешивания следующим образом. Запишем выражение дис-криминантной функции "подстановочного"р.п. в ортонормирован-ном базисе, в котором матрица S диагональ на: S .,

а соответствующие векторы имеют координаты с волной сверху:

^(х) s 2 (Xi -J-(x£--)•-' (8)

57~Тирко'T.T. Случайные матрицы.-Киев, 1975.- 447 с.' 6. Сердооольский В.И. УМН.-1985✓-том 40,вып.2(242).-с.

197 -98-

Введем в выражение суммы (8) некоторую функцию взвешивания 7<Ч> , и, ъ 0. Это позволяет единообразно записать широкий здасс ортогонально-инвариантных дискриминантных функций.В частности, имеем функции (семейства функций) взвешивания: а=1 для дискриминантной функции Фишера-Акдерсона(8>, б). !£(*) =и, для дискриминантной функции "евклидова" р.п »

С*1 и >Ло ' ' '

В).-ЛЛЯ дискриминантной функции с отбором

главных компонент в выражении (8) или с "ОГК-оценкой" вида

где О -ортогональная Р*р-матрица, г/(-)-функция Хэвисайда ;

>•+ и. Дискриминантной функции с ридж-

оценкой вида \ ъ ^

Таким образом,^ функция взвешивания ¿гуля-

ризованного р.п. с^ с некоторым оптимальным значением параметра £ в значительной степени компенсирует отрицательное влияние эффекта расширения границ спектра матрицы Б .Такая компенсация, в конечном итоге, приводит к уменьшению предельной ошибки соответствующего р.п. <£у#

Выделим два подхода в вопросе оптимизации значений параметра регуляризации в условиях большой размерности.В частности, в подходе А.М.Шурыгина (1979-83).оптимальное значение параметра определено как решение задачи минимизации главного члена В<<■#(•) асимптотического разложения в (I) ожидаемой вероятности ошибок р.п. Л : «» Ы ,где некоторые функции элементов- векторов матриц $ ,2 Во втором подходе В.И.СердобольскогоД,4/, принятом в диссе^ тации и близком подходу Д.А.Барсова(1982-85), методами спектральной теории находится явная зависимость предельной ошибки от параметра регуляризации. Оптимальное значение параметра определяется как решение задачи минимизации этой ошибки • /-^^Роо (у, ¡/»КО» , (ю5 где - функции, аналогичные предельным функциям из (4).

К сожалению, теоретически оптимальное значение параметра не может быть непосредственно использовано на практике, так как в первом случае оно зависит от функций неизвестных'параметров /¿>,2 совокупностей, а во втором —от предельных функций вида (4). Трудности возникают при построении оценок «Р : <)р ь.р.р.А • в пеРвом подходе общим методом их преодоления

..■ лж-^,.;/! теоьи.ч -анализа /7/. Во втором подходе вопрос оие .¡:а :;-1а у решается проще, однако и здесь могут воэ-

)(».г..нуть трупооти,связанные с некорректностью задачи (Ю"..

13 I приводится асимптотическая постановка задача и;• V.криминалткого анализа наблюдений большой размерности. Эт.' ж.т.таноыса. .в частности, охватывает постановку задач спектраль »ОЙ теории, подробно изложенную выше (стр.8,9}, В §§ 2.2-2,4 и иол-.¡дуется класс р.п. Ж = {«£?.? с обобщенными ридж-оценкам?

5'"" г ^ с г ^

^ Чр+ьь) су(4) с функпиональным параметром регуляризации | . В § 2.5 рассматривается другой класс регу.....

ляризошнках р.п. 73^а с "ОГК-оценкашГ вида (9), Г; § 2.5 рор-ц/лирую?ся выводы. Опишем эти параграфы более подробно.

В § 2.2 методами теории экстремальных задач для класса Р.ирешается задача минимизации общего вида (10; сведенная методами спектральной теории в /4/ к задаче максимизации •

некоторого дробно-квадратичного функционала ^ . В диссертации доказан:; свойство слаоой полунепрерывности ^ (утверждение и найдено необходимое условие экстремума (утверждение 3, с, и П. Показывается малая эффективность общего подходи. В работ-, был выбран альтернативный подход к решению задачи. (Л), основанный на идее контигуалъности (см.стр.7) Этот .подход был намечен в работе /4/, однако не был доведен'там до кочца. Задача (II) сводится в диссертации к сопряженной задаче : , Где а г <1+н> „элвтт

сопряже&ного к пространства,*¿к?^^+ где предельная спектральная функция Ы*)^ ± опоеДеле-ч в И). В утверждении 4 (с.83) найдены необходимые условия ремума сопряженной задачи. В утвервдении 5 (с.86) в тери—а экстремальных характеристик находится наилучшая функция"•ч-зе-шивания ^ (*>]*) обобщенных ридж-оценок, а также пу-

гается оценка ^(и)/^. .достаточная в точках сп<,к^$

В $ 2.3 на основе этой оценки разработан алгоритм ^Яд реализующий асимптотически доминирующее р.п. Зд-съ же

приводятся результаты исследования его точности*пРи одногое менном выполнении условий ^-модели и модели "равных вкладов^ на СТР'10- Б условиях этюдом найдено ш-' Г'ирко Б.Л.Случайные детерминанты//Ит"^7ауки и те™

нимальное значение Рт(р = ф/ & ГП^Т 1 сдельной ошчг,-ки в классе р.л. Я, . гД^Т^В 1 В табл.5 (с.90)

приводятся результаты сравнения ве°МщГрм(Л с основными характеристиками £ (•), б(.) условной средней ошибки(d%) легко вычисляемой по известной формуле на ЭВМ (при известных ' ¿Г и I Получено удовлетворительное для практики согласие теоретических и эмпирических значений вероятностей ошибки Например, в серии из т=3б экспериментов на БЭСМ-6 (датчик из аакета FÍA ЫИВЦ МГУ ) при значениях параметров: ч

в =1 , р = v, в Ыг =30, Ьт = Ър =10,- когда&(J*) Ijo 6 * ' лолучено EA,(dj»)= 10,85 % и 6(¿JctJ«)) = 2,2 % ,

§ 2.4 посвящен приложениям алгоритм ЭДДа'к реальным дан *ым в сравнении с классическим алгоритмом ФИШЕР, реализующем 'подстановочное"р.п. 3 табл.6 (с.94) приводятся оезультаты их сравнения в системе С0РГ/-2 для данных и по методике из /8/ ,аяее показывается целесоооразность применения асимптотики'(I) > задаче ггргнозирования уровня надежности силовых полупровод-иковых лриаоров. Из табл.7 (с.99),с результатами прогноза для гйлсторых данных по тиристорам,виден выигрыш элда в 1,7 раз.

В ^ 2.5 решается основная задача исследования 4?' сформированная на стр.4. В частности, в постановке задачи из §2 1 .целуется зависимость предельной ошибки регуляризованных ' . С 'ОГК-оценкой" вида (9) от параметра регуляризации -янииальным моментом является сама возможность получить в -;:огсй остановке задачи явную зависимость предельной ошиб-- т параметра je , Яооледний имеет смысл параметш отбора '••."бооочннх главных компонент в выражении (8). с целью упроще-

выкладок аои вычислении матожидания условной диспепсии • ¿скриминантной Функции, выражение явной зависимости ¿(о -аипено з -еореме 2 (с.102) для случая '

И • " '^У^логоя выводы до результатам исследований ■авы , ^тральным ее результатом является аоствоешю оце~ 'Г)Й,:?ЙК асимптотически домиии-рувдего в члас

юоошенными ридж-оценками, я ти*ке глзшсоты

м кг

■питан оеализуюшего это поавкло ча тактике..

лодводятся основные итоги оаооты: . ^'Игнуто существенное продвижение асимптотике^ l!11!^;^^1^1^0. fL^7161^ класса зечшющих прави.»

:ГЖ- :"я г у сГБГр-о

.......дентши рид ^-оценками обратной ковариационной матриц,/.

..... "¡е')рия впервые доведена до приложений, в виде алгоритма и •i..ограмм ЭЛДА- экстремальный линейный дискриминантный анализ.

Обоснована применимость на практике предельных теорем ■центральной теории случайных матриц в асимптотической теории цискриминннтного анализа, устаношхенных в асимптотике растушуй размерности,

' Ъ. Предложен и развит асимптотический подход к оптимизации. параметра отбора выборочных главных компонент в выражении дискриминантной функции в условиях большой размерности,.

Автор выражает глубокую благодарность Л.Д.'Мешалкину гь научное руководство и В.И.Сердобольскому за внимание к работе,

Основные результаты диссертации опубликованы в paóoiax;

1. Степанов B.C. О наилучшей процедуре линейного дискриминант-ного анализа// Методы и программное обеспечение обработки информации и прикладного статистического анализа данных: Тез. докл. - Минск, 1985. - с.198 - 199.

2. Степанов B.C. Статистическое моделирование спектральных функций выборочных ковариационных матриц//Численные методы в математической физике.- М.: йзд-во МГУ, 1986. - 0.III-II4 .

3. Степанов B.C. Моделирование нормированных спектральных функций ковариационных матриц большой размерности//Некоторые вопросы вычислительной математики,математической физики и программного обеспечения ЭВМ.-М.: Изд-во МГУ,1987.- с.91-93 .

4. Степанов B.C. Об алгоритме дискриминантного анализа "ЭЛДА". реализующем асимптотически доминирующее решающее правило с обобщенной риджноценкой обратной,матрицы ковариаций// Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа: Тез.докл. - М.:ЦЭМИ,1987.-с,241 - 242 .

5. Степанов B.C. Об ортогонально-инвариантных диекриминантных функциях с асимптотически оптимальными смещенными оценками обратной ковариационной матрицы большой размерности:алгоритмы, моделирование,применение/ МГУ ; - М., 1987 .-159 е.- Библиогр. 105 назв. - Рус. -Деп. 17. /О . 87, JÉ 73 Щ -В Ь 7

6. Степанов B.C. Эффекты, связанные с большой размерностью,при моделировании спектральных свойств выборочных ковариационных матриц// Многомерный статистический анализ и вероятностное моделирование реальных процессов.- М.: Наука, — с

/1/3С /

Л-100376 Тир. 100 Зак. 406 1МБ ВЭИ, Москва Красноказарменная, 12