Построение решающих функций на основе независимых высказываний экспертов и выборки тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

г. российская академия ьаук

.") N.

сибирское отделение ^институт вычислительной математики и математической геофизики

На правах рукописи УДК 519.68

Неделько Виктор Михайлович

построение решающих функций на основе независимых высказываний экспертов и выборки

05.13.16 - Применение вычислительной техники, математического моделирования и математических методов в научных исследованиях

автореферат диссертации на соискание ученой степени кандидата физико-математических наук

Новосибирск 1997

г'аоота выполнена в Новосибирском государственном университете.

Научный руководитель: доктор технических наук,

профессор Г. С. Лбов

Официальные оппоненты: доктор физико-математических наук,

профессор Ю. А. Воронин,

кандидат физико-математических наук, нрофессор Л. Я. Савельев

Ведущая организация: Томский государственный университет

Защита состоится 23 декабря 1997 г. в 1600 на заседании диссертационного совета Д 1)02.10.02 в Институте вычислительной математики и математической геофизики СО РАН по адресу: 630090, Новосибирск, 1ф т Лаврентьева, С.

(' диссертацией можно ознакомиться а библиотеке Института вычислительной математики и математической геофизики СО РАН

Автореферат разослан ноября 1997 г.

Ученый секретарь Снециали-шрованнога совота Д 002.10.02 к. 1. н.

Г. И. Забиняко

ОБШЛЯ ХАРАКТЕРИСТИКА РАБОТЫ

Лиссерипшя посвящсиа постановке п решению .задач воссгановле-Ш1Я условною распределения на основе эмпирической информации, представленной вероятностными высказываниями различных экспертов. выборкой, либо экспертными высказываниями и выборкой одновременно. Предполагается, что эксперты тте согласовывали свои суждения друг с другом, ввиду чего их информация может содержать противоречия. дублирование. частичные противоречия.

Актуальность проблемы. 1} трудноформализуемых областях знания особую важность приобретают методы обработки эмпирической информации, представленной чаше всего набором экспериментальных данных или экспертными знаниями. В связи с данной задачей к на,-сшяшему времени остаются нерешенными рад проблем, в-частности, следующие: во-первых, задача, согласования вероятностных высказываний различных экспертов, особенно в случае, когда повторное обращение к эксперта!»! для корректировки противоречий невозможно: во-вторых, часто возникает задача выявлспия закономерностей более общего вида I мпогоальтерпатнвпые решения, восстановление условного распределения >, по сравнению с решающими функциями распознавания образов ц регрессионного анализа, дающими единственное решение; в-третьих. остается малоисследованной задача совместного использования экспертных знаний я выборки.

Цель работы заключается в разработке новых математических постановок задач предсказания зпачеиий целевых характеристик объектов на основе высказываний экспертов и выборочных данных и разработке методов их решения. Следующей задачей является теппоти™««-"—

основание иг-------

стовых и пр

Методу

стей и мате! О-о

штональног< средств выч

Научна} научные рез Впервы условного ре Задача paco а также в сл Для реп!

1

ванный па интерпретации фактов появления высказываний как случайных событий; при этом предложен подход к оценке вероятностей таких событий. Предложен способ задания априорного распределения в пространстве условных распределений, использующий логические решающие функции от разнотипных переменных.

Рачработан метод решения задачи восстановления условного распределения по выборке на основе предложенного критерия максимума информативности, а также алтригм мнотвариантного предсказания в задачах классификации и регрессионного анализа. Введена мера информативности распределений, исследованы ее свойства; предложен и обоснован способ оценки информативности распределения по выборке.

Предложен метод построения решающей функции в задаче классификации для структурированных объектов, с использованием метрики н а : л у льт им ножест вах.

Разработан итеративный алгоритм согласования вероятностных высказываний различных экспертов.

Практическая ценность и реализация результатов работы.

Разработанный статистический подход к интерпретации и исполь-юванию экспертной информации, представленной в виде вероятностных логических высказываний, может применяться в различных задачах, свя занных с обработкой экспертной информации.

Подложен Байесовский алгоритм восстановления условного распределения на основе высказываний экспертов и выборки. Данный алгоритм может использоваться для проверки эффективности более быстрых эвристических алгоритмов решения задачи и настройки их параметров.

Предложены!! итеративный алгоритм согласования высказываний экспертов позволяет обрабатывать большие объемы информации, причем результаты работы данного алгоритма качественно согласуются с Байесовским. Данные алгоритмы могут использоваться при наполнении базы знаний в экспертных системах на основе высказываний многих экспертов.

Разработанный алгоритм восстановления условного распределения, использующий критерий максимизации информативности, позволяет выявлять в массивах статистических данных закономерности более общего вида, чем эго позволяют методы дискриминантного и регрессионно! о анализа, поэтому данный метод может выявить закономерности в гех случаях, когда другие методы выявить закономерности не могут. Предложен алгоритм многовариантного предсказания, который для некоторых практических задач является более адекватным, по сравнению с обычными алгоритмами классификации и регрессионного анализа.

Предложен алгоритм решения задачи прогнозирования характеристик структурированных объектов.

Разработано программное обеспечение, реализующее предложенные методы.

Разработанные методы применены для решения задачи прогнозирования исхода рецидивирующего инфаркта, миокарда на основе высказываний независимых экспертов и задачи определения степени близости археологических памятников на основе анализа, коллекций пакопечни-ков стрел.

Апробация работы. Основные положения работы докладывались и обсуждались па конференции "Математические методы распознавания образов'" ¡ММРО 6). ноябрь 1993 г.; Всероссийской конференции ""Математические проблемы экологии", г. Новосибирск, июнь 1994 г.; Международной конференции "Компьютерный анализ данных и моделирование", г. Минск, сентябрь 199-5 г.; международной конференции "Интеллектуализация обработки информации (ИОИ-96)", г. Алушта, июнь 1996 г.; 15 трон Сибирском конгрессе по прикладной и индустриальной математике (ШШРИМ -96), г. Новосибирск; Всероссийской конференции "Математические проблемы экологии"', г. Новосибирск, июль 1996 г.; IX Международном симпозиуме по непараметрическим методам в кибернетике н информатике, г. Красноярск, октябрь 1997 г.; семинарах Института шюштьи СО РАН и кафедры теоретической кибернетики ИГУ.

Публикации. Но теме диссертации опубликовано двенадцать научных работ.

Структура и объем работы. Диссертационная работа состоит из введения, трех глав, заключения, изложенных на 102 страницах машинописного текста, библиографии из 39 наименований отечественной и зарубежной литературы и приложения.

СОДЕРЖАНИЕ РАБОТЫ

Первая глава посвящена задаче восстановления условного распределения на, основе экспертных высказываний и выборки.

В параграфе 1 приводится содержательная постановка задачи построения решающей функции на основе высказываний различных экспертов; производится краткий обзор существующих подходов к решению задач, близких к рассматриваемой в диссертации.

Пусть для некоторого объекта требуется но известным значениям его характеристик (переменных) Л"ь,..,Л'„ предсказать наличие или

отсутствие у данного объекта интересующего нас свойства Я (иными словами, предсказать значение бинарной целевой переменной У со значениями II и Я). Предположим, что зависимость целевого свойства от значений исходных характеристик является не функциональной, а статистической, иначе говоря, при известных значениях х1, ...,хп характеристик Л*1.....Л*„ можно указать лишь вероятность свойства Я.

Если информация о статистической зависимости Я от Х1,...,Хп представлена в виде выборки экспериментальных данных, то рассматриваемая задача может интерпретироваться как задача распознавания образов. Однако нас будет интересовать постановка этой задачи, когда требуется оценить вероятность наличия заданного свойства (в обшей постановке — оценить условное распределение вероятностей в пространстве целевых переменных при заданных зпачениях исходных). Заметим, что решение задачи оценки вероятности автоматически дает решение задачи распознавания и содержит значительно больше информации. поэтому при наличии достаточного объема статистической информации оценивание вероятности свойства Я предпочтительнее, чем построение решающей функции распознавания.

В данной работе в качестве источника эмпирической информации используется как выборка, так и экспертные знания, причем большее внимание уделяется именно использованию информации экспертов.

Для иллюстрации трудностей, которые могут возникать при решении поставленной задачи, рассмотрим простой пример высказываний трех экспертов.

"Если 1 ^ X < Л, то Я с вероятностью 0,2";

''Если 2 ^ Л" ^ •г>, то Я с вероятностью 0,8";

"Если 4 ^ Л" $ 7, то с вероятностью 0,7". Здесь для наглядности форма представления высказываний несколько упрошена по сравнению с используемой в работе (опущены оценки доверия высказываниям).

Под построением решающей функции будем понимать указание для . каждого значения переменной А" вероятности свойства Я. Поскольку об интервале 1 < X < 2 высказался только первый эксперт, то для этого интервала достаточно естественно в качестве результата принять его оценку вероятности Я (то есть 0,2). Аналогично, для 5 < X ^ 7 естественно оценить Р1 Я) как 0,7. Однако об интервале 2 ^ X < 4 высказались сразу два эксперта, причем их оцепки для Р(Я) очень различаются. Конечно, для этого случая можно взять в качестве Р(И)

1>,2+0,Я п г

среднее —тг^- — 0,5, однако возникает вопрос, насколько осмысленна такая опенка. Действительно, то, что оценки сильно противоречат друг другу, скорее всего означает, что один из экспертов ошибся; при этом,

если неверна оценка первого эксперта, то Р(Л) нужно положить равной 0,8, если ошибся второй эксперт, то Р(И) нужно оценить как 0,2. Заметим, что 0,5 здесь нигде не участвует.

В случае, когда высказывания получены независимо от различных экспертов, ситуации такого рода противоречий будут возникать весьма часто. Задача усложняется тем, что в высказываниях, как правило, используются несколько переменных, и множества переменных в различных высказываниях могут не совпадать. Кроме того, зачастую повторное обращение к экспертам с целью устранения противоречий оказывается невозможным, поэтому возникает задача согласования подобных высказываний без привлечения дополнительной информации. Можно также показать, что проблемы возникают пе только из-за противоречивых, но и из-за просто пересекающихся высказываний, даже если оценки вероятности согласуются.

Продолжая исследование примера, можно заметить, что, поскольку первый эксперт противоречит второму для значений 2 ^ X < 4, то возникает сомнение в достоверности его оценки и для 1 X < 2. С другой стороны, оценки второго и третьего экспертов для 4 < X ^ 5 вполне согласуются между собой (подтверждая друг друга), на основе чего естественно предположить, что, скорее всего, неверна оценка первого эксперта, и поэтому наиболее оправданным решением, по-видимому, будет при 2 ^ X ^ 7 положить Р(И) « 0,75, а при 1 ^ X < 2 воздержаться от ответа.

Вместе с тем, уже при незначительном усложнении примера даже качественно проследить подобное взаимовлияние экспертов вряд ли представляется возможным. Более того, такого рода рассуждения носят приближенный характер и недостаточно убедительны. Поэтому возникает необходимость в разработке подхода к решению поставленной задачи в идейном плане и построении адекватной математической модели, которая позволила бы формализовать установленные принципы согласования высказываний и создать соответствующий алгорйтм построения решающей функции.

Данная диссертационная работа продолжает развитие логических методов построения решающих функций [1-2] с использованием нового вида статистической информации: вместо выборки (или наряду с выборкой) используются высказывания экспертов.

Работ, посвященных построению решающих функций на основе несогласованных высказываний экспертов и выборки, в настоящее время не существует.

Среди работ, наиболее близких по тематике, в первую очередь следует упомянуть исследования, касающиеся разработки экспертных сн-

стем, реализующих нечеткий логический вывод, особенно систем, в которых весовая характеристика доверия продукциям является вероятностью. Данная работа очень близка к ним по форме представления экспертной информации, однако этим близость, по существу, и ограничивается.

В представляемой работе решается задача наилучшего использования информации нескольких независимых экспертов, что подразумевает согласование их высказываний. В существующих экспертных системах задача согласования как таковая не решается. Точнее говоря, согласование знаний поручается самим экспертам — помощь системы при этом ограничивается поиском противоречий в массиве знаний [3]. Также развивается направление, предполагающее целенаправленное выявление знаний [4]. Зачастую же знания различных экспертов вообще не согласовываются, и конечному пользователю предоставляется самому выбирать между песколькими вариантами ответа, полученными в соответствии со знаниями каждого эксперта.

Здесь следует упомяпуть про целое направление исследований, касающееся вопросов согласования [5]. Однако в задачах группового выбора и экспертного оценивания имеют дело с экспертной информацией совершенно иного вида, чем продукции.

Применяемый в работе статистический подход к интерпретации информации экспертов позволяет естественным образом использовать одновременно и экспертные знания, и выборку. Проблема одновременного использования различных типов эмпирической информации в настоящее время имеет важное значение, однако обычно в работах по данной проблеме объединяют принципиально различные подходы к использованию экспертной информации и обычной статистики [6].

В случае, когда эмпирическая информация представлена только выборкой, предлагаемые в данной работе методы решения задачи восстановления условного распределения являются дальнейшим развитием методов }>ешения задач классификации и регрессионного анализа в классе ло! ических решающих функций [1-2].

Параграф 2 содержит математическую постановку задачи построения решающей функции на основе экспертных высказываний и выборки.

В параграфе 3 описывается статистический подход к интерпретации экспертной информации и предлагается Байесовский метод решения задачи. Здесь же рассматривается более общая постановка задачи, когда заранее не известно, какие из заданных переменных являются целевыми. В подразделе 3.4 приводится простейшая модель эксперта, позволяющая в определенной степени обосновать принятые предположения о "стратегии эксперта". В подразделе 3.5 исследуется аемптоти-

ческое поведение Байесовского алгоритма в случае, когда эмпирическая информация представлена только выборкой.

В параграфе 4 приведены тестовые примеры, иллюстрирующие работу Байесовского алгоритма.

В параграфе 5 обсуждается возможность использования других iпомимо байесовского) методов решения задачи на основе статистической интерпретации экспертной информации. В частности, на модельном примере исследуется минимаксная стратегия построения решающей функции.

Пусть - заданный набор переменных, среди которых мо-

гут одновременно присутствовать переменные вещественного, целого, порядкового, поминального, бинарного типов, и Yj,...,Ym ~ разнотипный набор целевых (прогнозируемых переменных). Однако для простоты здесь будем рассматривать случай одной целевой переменной Y, принимающей значения 0, 1. Обозначим Dj - область допустимых зна-

п

ченпй переменной Xj, х - точку в пространстве D = f] Dj.

i-1

Рассмотрим статистическую игру (С,С, Л, А), где С — множество стратегий природы, С - множество решений, Д - функция потерь, Л -пространство наблюдений. При этом С представляет собой множество всех интегрируемых функций / : D —*■ (0,1]; С С С; Д(/(ж),/(ж)) =

-¿ТВ) ¡{fix) ~ Я«))2 dx, где 7 € С, / е С.

D

Содержательно fix) будем интерпретировать как вероятность принятия переменной Y значения 1 при условии, когда исходные переменные принимают значение х, т. е. f(x) = P(Y=1 /х=х)- Задача игрока состоит в наилучшем (с точки зрения А) приближении функции /(х) (в общем случае вместо f(x) рассматривается условная плотность р{я/х))-Стратегиями игрока являются алгоритмы построения решения по эмпирическим данным, т. е. Q : Л —► С.

В качестве статистической информации используется как случайная независимая выборка v — {(я',2/')1 i — 1, М}, так и экспертная информация, заданная вероятностными логическими высказываниями вида: "Если (температура, воздуха, в 1300) ^ 12"С и (температура воздуха в 2300) ^ 7°С и (атмосферное давление) > 755 мм. р. ст. или (температура воздух а в 2300) ^ 4 "С, то { (заморозок) от О °С до -2 °С с вероятностью 0,4; (заморозок) от —2°С до —4°С с вероятностью 0,2 }; степень доверия высказыванию = 0,8 В дальнейшем такого рода высказывания будем записывать как

где А.С" - некоторые условия (условия С",и = 1, и, попарно несовместны ), р" - экспертная оценка условной вероятности Р{°" j А) (при

v

этом Pv ^ 1), а 7 £ [О, I] есть уверенность эксперта в том, что i>=t

оценка р' достаточно адекватно отражает Р(с /д). Значение у равное нулю соответствует полной неуверенности в высказывании, 7=1 - - абсолютной уверенности.

Условие А представляет собой условие принадлежности точки х не-ко горой подобласти Е-х{А) С т. е. А = (х € Ех{А)). Аналогично С = iy G Ь>(С")), где By (С1') С Dy и П Еу(С*) = 0 при

L'l 4- V2-

В работе предлагается основанная на логических решающих функциях реализация байесовской стратегии игрока в задаче восстановления условного распределения но выборочным данным [А12].

Пусть имеется эмпирическая информация А, представленная объединением набора экспертных высказываний {Bi | i = 1,2V} и выборки v. Пусть природа играет смешанной стратегией V(C) (предполагается, что па С задано вероятностное пространство). Тогда байесовской стратегией игрока будет алгоритм, сопоставляющий полученным данным А решение

/ fc(x)P(A/c) dV{C)

f {Х) = f Р(А/С) dP(C) '

с

Я М

где р\Аы) - д р{в4с)пь, и = {'¿г,к}> j&g, р{вЧс) -

ность появления высказывания Bi.

Основная идея, используемая при восстановлении /с(х) по эксперт-пой информации, заключается в интерпретация появлений экспертных высказываний, как случайных событий, вероятность которых зависит от того, какая с имеет место в действительности.

Зависмость Pi в'/с ) рассматривается как функция трех аргументов Pi/с) = XiPiBi, с), 1 (Bi), 7;), где p(Bi, с) - мера несоответствия между В, и с, 1{В,) информативность высказывания Bi, а 7; - уверенность эксперта относительно Bi. В диссертации приводятся свойства, которым должна удовлетворять данная зависимость.

Априорную вероятностную меру 'Р(С) предлагается задавать следующим алгоритмом конструирования случайной f(x). Во-первых, в соответствии с некоторым рядом распределения выбирается I - число

областей постоянства функции f{x). Затем случайным образом конструируется логическая решающая функция [2] в виде дерева с I конечными вершинами, после чего каждой области полученного разбиения признакового пространства случайным образом приписывается значение f{x).

Сходимость к истинной стратегии природы. Пусть природа играет чистой стратегией F. При этом оказывается, что принятая гипотеза относительно априорного распределения на С позволяет с ростом N сколь угодно точно отгадывать f. Этот факт отражает следующее предложение.

Теорема. Пусть эмпирическая информация представлена выборкой объема М. Тогда Vf б С Ve > 0 при М -+ оо

р(д(Г(*),Г(*)) < е) - 1,

где J*(x) - решение, соответствующее байесовскому алгоритму, основанному на предложенной процедуре задания V(C).

Байесовский алгоритм восстановления условной вероятности оказался достаточно эффективным при решении прикладных задач распознавания образов. Основным достоинством данного алгоритма является использование всех переменных признакового пространства при сохранении статистической устойчивости к малому объему выборки, характерной для алгоритмов распознавания, основанных на логических решающих правилах.

Иллюстративный пример.

Даны высказывания экспертов:

1)<{в,Ы, 0,9, 0,8);

2) <{&, с], 0,1,0,8);

3)<{с,«9, 0,9, 0,8).

В данном примере пространство D состоит из значений {а, Ь, с, d} единственной номинальной переменной X.

Результат согласования:

1) {(х = а), 0,8); 2) ((х = Ь), 0,72);

3) {(х = с), 0,72); 4) {{x = d), 0,8).

Результат представляется интуитивно вполне оправданным. Действительно, поскольку высказывания противоречат друг другу, то оценки для f{x) значительно сдвинуты к 0,5. Далее, ввиду того, что второй эксперт противоречит одновременно как первому так и третьему, то доверие его утверждению относительно ниже. Этим, в частности, объясняется, например, то, что для точки Ь решение ближе к оценкам первого эксперта, чем второго.

Заметим, что уже в данном примере решить задачу "вручную" было бы довольно сложно. В частности, на первый взгляд не очевидно взаимовлияние 1-го и 3-го экспертов, а вместе с тем, существование такого взаимовлияния доказывается алгоритмом. Более того, в отличие от чисто эвристических методов, изложенный подход дает принципиальную возможность объяснить решение не только на качественном, но и на количественном уровне.

Хотя Байесовский алгоритм и является универсальным, он обладает недостатками, связянными с вычислительной трудоемкостью, а также сложным представлением результата, поэтому возникает потребность в разработке других методов решения задачи.

Во второй главе излагается непараметрический подход к решению задачи восстановления условного распределения на основе выборки, основанный на критерии максимизации информативности условного распределения.

При этом под информативностью распределения понимается расстояние до равномерного распределения. Следует заметить, что энтропийная мера информативности для решения данной задачи оказывается непригодной, поэтому возникает задача выбора наиболее подходящей метрики на распределениях с тем, чтобы на ее основе задать наиболее адекватную решаемой задаче меру информативности.

Начало параграфа 1 посвящено краткому обзору расстояний на выборках и на распределениях, используемых в статистике.

В параграфе 2 привадится алгоритм восстановления условного распределения в классе логических решающих функций. Формулируется критерий качества решения, основанный на максимизации оценки информативности.

Как и ранее, под задачей прогнозирования будем понимать восстановление условной плотности р{у!х) на основе выборки, то есть построение некоторой оценки р["/х)-

Поскольку даже в случае дискретных характеристик, как правило, далеко не для каждой точки пространства Ох имеются экспериментальные данные, а в непрерывном случае выборочные точки в Д* образуют множество меры нуль, то очевидна необходимость экстраполяции экспериментальных данных на другие точки признакового пространства. Поэтому будем полагать, что условное распределение р(*/х) не зависит от х в пределах каждой из областей Е' некоторого разбие-

м

пия Ч'м = {Ег ,...,ЕМ) пространства Ох {[) Е' = £>х'> я ф I =>-Е' (~\Е* = е>).

При этом г}>м выбирается из Фд/ - класса таких разбиений, в кото-

рых каждая область Е' € Фм может быть представлена в вида декар-»»

това произведения Ц Е'х., Е'х С Ох,, где Е'к - интервал, если X) -}=1 ' ' ' переменная с упорядоченным множеством значений, и Ех. - произвольное подмножество из Dxj, если Ху - номинальная переменная, то есть переменная с конечным неупорядоченным множеством значений.

После того, как фиксировано разбиение трм, условное распределение для каждой Е' € фм может быть восстановлено классическими методами (например, путем аппроксимации гистограммой), поэтому главная проблема состоит в эффективном разбиении Ох на подобласти. Эффективность понимается с точки зрения предсказания у по известным х. Интуитивно понятно, что эффективность такого предсказания должна зависеть от информативности полученного условного распределения.

Однако, максимизируя оценку информативности распределения, необходимо следить за тем, чтобы в каждую область Е' попадало "достаточное" число выборочных точек.

Предлагаемый в работе критерий качества решающей функции обнаруживает родство критериям, используемым в задаче классификации и регрессионном анализе, в частности, в случае задачи распознавания двух образов критерий максимума выборочной оценки информативности эквивалентен критерию минимума ошибок на выборке.

Эффективность предложенного алгоритма решения задачи восстановления условного распределения на основе выборки иллюстрируется на примере.

Хотя знание условного распределения позволяет решать различные задачи прогнозирования, для восстановления распределения требуется значительный объем эмпирической информации, ввиду чего во многих случаях более рациональным является непосредственное построение решающей функции.

В параграфе 3 рассматривается постановка задачи многовариантного предсказания, которая позволяет несколько расширить рамки задач классификации и регрессионного анализа, не переходя к восстановлению условного распределения. Приводится алгоритм решения задачи и примеры, иллюстрирующие его работу.

Третья глава посвящена проблемам практического использования методов, изложенных в первой главе.

Первый параграф посвящен оцениванию трудоемкости Байесовского алгоритма при вычислении интегралов методом Монте-Карло. Оказывается, что необходимое для получения приемлемой точности вычислений число испытаний быстро растет с увеличением числа выска-

зываний. Это вызвано тем, что подынтегральная функция на областях малой меры может принимать значения; сильно отличающиеся от среднего. Ввиду данного обстоятельства, Байесовский алгоритм может использоваться только для решения достаточно простых примеров и непригоден для решения сложных прикладных задач. При этом данный алгоритм остается инструментом настройки и обоснования быстрых эвристических алгоритмов.

Во втором параграфе излагается итеративный алгоритм согласования высказываний, являющийся эвристической альтернативой Байесовскому алгоритму.

Итеративный алгоритм основан на использовании интуитивного понятия доверия высказываниям. Чтобы напрямую учесть различные эффекты взаимовлияния высказываний, данный алгоритм включает два этапа согласования: на первом вычисляются величины /?,• - степени доверия каждому из высказываний, которые строятся на основе 'Уi с учетом того, как данное высказывание соотносится с остальными. Второй этап состоит в том, чтобы на основе р; и Д вычислить для каждой Е' £ € (здесь £ - разбиение пространства О на области, каждая из которых целиком принадлежит или не принадлежит каждому из высказываний) соответствующие согласованные оценки р, и

Приведенные в работе примеры показывают согласованность результатов работы итеративного алгоритма с результатами Байесовского.

Заметим, что описанный во второй главе метод восстановления условного распределения на основе выборки в принципе позволяет получить решение в виде логических высказываний. Это дает возможность в случае, когда исходная информация представлена и выборкой, и высказываниями экспертов, привести ее к одному виду — к форме вероятностных логических высказываний; после чего можно воспользоваться итеративным алгоритмам согласования.

Для реализации предложенных методов построения решающих функций было разработано программное обеспечение, включающее следующие блоки:

- модуль ввода информации, представленной вероятностными логическими высказываниями, записанными в текстовой форме (модуль содержит реализованную на основе конечного автомата процедуру, производящую лексический и синтаксический анализ исходного текста и преобразующую информацию во внутренний формат); при этом часть "если" в высказывании может содержать произвольное число конъюнкций и дизъюнкций простых предикатов, задаваемых на переменных пяти типов;

- модуль для работы с многомерными областями признакового про-

странства (содержит, в частности, процедуры разбиения пространства D на области, каждая из которых целиком принадлежит или не принадлежит каждому из высказываний, в вычисления меры областей);

- модуль, реализующий Байесовский алгоритм построения решающей

функции (содержит процедуры генерации случайной с, вычисления P{Bfe)> вычисления оценки для р(*/х)'>

- модуль, реализующий итеративный алгоритм согласования высказы-

ваний;

- модуль, содержащий процедуру направленного рекурсивного пере-

бора логических решающих функций с целью поиска оптимальной в смысле заданного критерия (реализованы процедуры, вычисляющие критерий максимума информативности, а также критерий минимизации числа ошибок на выборке для многовариантного предсказания).

Разработанное программное обеспечение может быть использовано при создании различных интеллектуальных систем.

В четвертом параграфе приводятся результаты применения разработанных методов для решения задачи прогнозирования исхода рецидивирующего инфаркта миокарда на основе знаний нескольких экспертов, представленных в форме вероятностных логических высказываний [АН].

Независимыми экспертами был сформулирован набор правил, позволяющих на основе клинических данных предсказать вероятность неблагоприятного исхода.

Проведенные исследования показали эффективность Байесовского алгоритма согласования высказываний. При этом результаты, полученные данным алгоритмом оказались лучше оценок, полученных простым усреднением оценок экспертов.

Пятый параграф посвящен определению степени близости археологических памятников на основе статистического анализа коллекций наконечников стрел. Данная задача является достаточно актуальной в археологии и возникает, например, при определении культурной принадлежности памятника, а также при прослеживании процессов культурного обмена.

Новосибирским областным краеведческим музеем были предоставлены данные по 102 наконечникам стрел из четырех археологических памятников. Наконечники характеризовались значениями 8-ми вещественных и 4-х номинальных переменных.

Fia предварительном этапе исследования решалась задача класси-

фикации, для чего исходная выборка многократно разбивалась на обучающую и контрольную, после чего строилась решающая функция, предсказывающая по значениям исходных переменных номер памятника. Тот факт, что получаемая на контроле ошибка оказывалась существенно меньше, чем для решения, построенного по оценкам априорных вероятностей, указывает на существование статистической зависимости между целевой переменной и исходными.

Степень близости археологических памятников определялась по следующей схеме:

- выбирался некоторый памятник, и все объекты данного памятника помещались в контрольную выборку;

- но оставшимся памятникам с помощью Байесовского алгоритма строилась решающая функция распознавания;

- объекты контрольной выборки классифицировались построенной решающей функцией, при этом оценкой степени близости полагалась доля объектов, отнесенных к соответствующему памятнику.

В исследованном примере памятники разделились на две нары, расстояние внутри которых существенно меньше, чей расстояние между памятниками из различных пар. Полученные значения расстояния вполне согласуются с "реальной" близостью соответствующих памятников (в смысле географического положения и по времени).

Приложение содержит расшифровку значений номинальных переменных для задачи определения степени близости археологических памятников и данные по наконечникам стрел.

Основные результаты диссертационной работы состоят в следующем.

1. Впервые дана математическая постановка задачи восстановления условного распределения на основе высказываний экспертов и выборки. Задача рассматривалась для разнотипного признакового пространства, а также в случае, когда целевые переменные априорно не выделены.

2. Для решения указанных задач предложен байесовский подход, основанный на интерпретации фактов появления высказываний как случайных событий; предложен подход к оценке вероятностей таких событий.

3. Разработан Байесовский алгоритм построения решающей функции на основе высказываний экспертов и выборки; результаты работы проверены на тестовых примерах; исследована трудоемкость данного алгоритма.

4. Для конкретной реализации Байесовского алгоритма в случае, когда имеется единственная бинарная целевая переменная, а эмпирическая информация представлена только выборкой, доказана сходимость по вероятности получаемого решения к истинной стратегии природы. Произведен анализ других методов решения поставленных задач в рамках статистической интерпретации экспертной информации, проведено их сравнение с Байесовским.

5. Разработан метод решения задачи восстановления условного распределения по выборке на основе предложенного критерия максимума информативности. Предложена мера информативности распределений, а также способ ее оценивания по выборке. Предложены метод решения задач классификации и регрессионного анализа для структурированных объектов, а также алгоритм многовариалтного предсказания в задачах классификации и регрессионного анализа.

6. Разработан итеративный алгоритм согласования высказываний различных экспертов.

7. Разработанные методы применены для решения задачи прогнозирования исхода рецидивирующего инфаркта миокарда на основе высказываний различных экспертов. Предложен метод решения задачи определения степени близости археологических памятников на основе статистического анализа коллекций наконечников стрел; эффективность метода проиллюстрирована на археологическом материале.

Литература

1. Лбов Г. С. Методы обработки разнотипных экспериментальных данных. Новосибирск: Наука, 1981. 160 с.

2. Lbov G. S., Berikov V. В. Recursive Method of Formation of the Récog-

nition Décision Rule in the Class of Logical Functions // Pattern Récognition and Image Analysis. 1993. V. 3, N 4. P. 428-431.

3. Ojelanki K., Ngwenyama, Noël Bryson. A formai method for analyzing

and integrating the rule-sets of multiple experts // Information Systems. 1992. V. 17, N 1. P. 1-16.

4. Выявление экспертных знаний. / О. И. Ларичев, А. И. Мечитов, Е.

М. Мошкович, Е. М. Фуремс. М.: Наука, 1989. 167 с.

5. Миркин Б. Г. Проблема группового выбора. М.: Наука, 1974. 256 с.

6. Котюков В. И., Усова Э. А. Многофакторные модели в экспертно-

статистических системах // И-я Междунар. конф. "Математические проблемы экологии" : Сб. статей. Новосибирск: Ин-т математики СО РАН, 1994. С. 105-112.

7. Старпева Н. Г., Людвина Н. А. Регрессионный анализ для структурированных объектов // Докл. РАН. 1996. Т. 346, № 5. С. 600-602.

Публикация по теме диссертации

А1. Лбов Г. С., Неделько В. М. Распознавание образов на основе вероятностных логических высказываний экспертов // Всероссийская конф. "Математические методы распознавания образов" (ММРО -6): Тез. докл. (22-26 ноября 1993). Москва, 1993. С. 40-41.

А2. Лбов Г. С., Неделько В. М. Анализ в прогноз экологической ситуации на основе информации нескольких различных экспертов //II Междунар. конф. "Математические проблемы экологии": Тез. докл. Новосибирск: Ин-т математики СО РАН, 1994. С. 62.

A3. Лбов Г. С., Неделько В. М. Анализ и прогноз экологической ситуации на основе информации нескольких различных экспертов //II Междунар. конф. "Математические проблемы экологии": Сб. статей. Новосибирск: Ин-т математики СО РАН, 1994. С. 118-125.

А4. Lbov G. S., Nedelko V. М. Construction of Decision Rules for Pattern Recognition on the Basis of Probabilistic Statements of Experts. (Построение решающей функции распознавания на основе вероятностных высказываний экспертов) // Int. J. of Pattern Recognition And Image Analysis. 1995. Vol. 5, N 2. P. 165-171.

A5. Неделько В. M. Об одном подхода к обоснованию статистических решений в задачах распознавания // Тр. Междунар. конф. "Компьютерный анализ данных и моделирование''. Т. 2. (Минск, 4-8 сентября 1995 г.). Минск, 1995. С. 213-217.

А6. Лбов Г. С., Неделько В. М. Построение решающей функции на основе вероятностных логических высказываний многих экспертов // Изв. вузов. Физика. 1995. № 9. С. 119-123.

А7. Лбов Г. С., Неделько В. М. Многовариантное предсказание в задачах классификации и регрессионного анализа // Междунар. конф. "Интеллектуализация обработки информации" (ИОИ'96): Тез. докл. (Алушта, 3-7 июня 1996 г.). Алушта, 1996. С. 17.

А8. Неделько В. М. Минимаксная стратегия восстановления функции условной вероятности на основе высказываний многих экспертов // Второй Сибирский конгресс по прикладной и индустриальной мате-

матике (ЯННРИМ - 96): Тез. докл. Новосибирск, 1996. С. 179-180.

А9. Недель ко Б. М. Построение решающей функции на основе высказываний экспертов в случае априорно не выделенных целевых переменных. // III Междунар. конф. "Математические проблемы экологии" (МАПЭК-96): Тез. докл. (Новосибирск, 2-4 июля 1996). Новосибирск: Ин-т математики СО РАН, 1996. С. 12.

А10. Неделька В. М. К использованию метрики на мультимножествах в некоторых задачах статистики // III Междунар. конф. "Математические проблемы экологии" (МАПЭК-96): Сб. статей. Новосибирск, 1996. С. 82-89.

АН. Неделько В. М., Маянская С. Л., Поляков Я. В. "Прогнозирование исхода рецидивирующего инфаркта миокарда на основе знаний независимых экспертов." / 7-я научно-практическая конференция врачей "Актуальные вопросы современной медицины" // Тез. докл. Том 2. Новосибирск, 21-22 мая, 1997, с. 132-133.

А12. Лбов Г. С., Неделько В. М. "Байесовский подход к решению задачи прогнозирования на основе информации экспертов и таблицы данных." // Доклады РАН. Том 357. № 1. 1997. С. 23-27.

Подписано в печать 05.11.97 Печать офсетная. Усл. печ. л. 1,2.

Тираж 100 экз. Заказ № ¿2,

Формат 60x84 1/16. Уч.-изд. л. 1,1.

Отпечатано на полиграфическом участке ЙВМиМГ СО РАН 630090 Новосибирск, пр-т Лаврентьева, 6.