Надежность как критерий качества в задачах интерпретации данных тема автореферата и диссертации по математике, 01.01.03 ВАК РФ

а I

6 од

""8 ОКТ 1996 Государственный комитет России по народному образованию Московский ордена Ленина, ордена Октябрьской революции государственный Университет имени М.В.Ломоносова и ордена Трудового красного знамени.

Физический факультет

На правая рукописи МАРЧЕНКО Сергей Владимирович

УДК 519.95

НАДЕЖНОСТЬ КАК КРИТЕРИЙ КАЧЕСТВА В ЗАДАЧАХ ИНТЕРПРЕТАЦИИ ДАННЫХ. 01.01.03 - математическая физика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук МОСКВА - 1996

Работа выполнена на хафедре компьтерных методов физики физического факультета МГУ им М.В.Ломоносова

Научный руководитель - доктор физико-математических наук

профессор Чуличков А.И.

Официальные оппоненты - доктор физико-математических наук

профессор Чавро А.И. - кандидат физико-математических наук ст.н.сотр.Желгов С..Ю.

Ведущая организации - Московский институт радиотехники, электроники и автоматики.

Защита состоится 1996 г. в /Л? час. на

заседании специализированного совета К.0530518 в Московском государственном университете им . М.В.Ломоносова по адресу: 119899, Москва, Воробьевы горы , МГУ, физический факультет, аудитория

ар/!

С диссертацией можно ознакомиться в библиотеке физического факультета МГУ.

Автореферат разослан "

1996 г.

Ученый секретарь специализированного совета,

кандидат физ.-мат. наук Поляков П.А.

ОБЩЯЯ ХАРАКТЕРИСТИКА РАБОТЫ.

Актуальность темы. В последнее время большинство экспериментальных исследований проводятся с помощью измерительно-вычислительной системы (ИВС). Работа системы заключается в регистр ирации с помощью некоторого прибора физического сигнала, поступающего от объекта и окружающей среды, и в последующем преобразовании его с помощью вычислителя (ЭВМ) в интересующие исследователя параметры объекта.

Как правило, в процессе измерения параметры объекта и среды оказываются возмущенными. Таким образом, сигнал, поступающий на вход регистрирующего прибора, содержит лишь некоторую информацию об исходных ( т.е. невозмущенных процессом измерения ) параметрах объекта, но не тождественен им. В сигнале же, поступающем для обработки на вход вычислителя, параметры объекта содержатся в еще более искаженном виде, обусловленном как действием самого измерительного прибора, так я действием шума. С содержательной точки зрения задача интерпретации данных состоит в извлечении из наблюдаемого на входе вычислителя сигнала наиболее точных значений объекта - не тех, которые он имел в процессе измерения, а тех, которые свойственны системе "объект - среда", не возмущенной измерением. В задачу входит также и получение оценки погрешности интерпретации.

По мере развития математического аппарата и создания удобных и эффективных алгоритмов вычисления результата интерпретации данных теория ИВС получает все большее распространение. Сам по себе факт, что даже при весьма неточно заданных параметрах модели можно получить результат интерпретации, мало отличающийся от "истинных" параметров объекта, заслуживает самого пристального внимания. Финансовые затраты, связанные с созданием аппаратуры сверхвысокого разрешения, несоизмеримо выше, чем затраты на

-5-

создание алгоритмов интерпретации и соответствующих вычислителей, реализующих эти методы.

Однако получение интересующих исследователя параметров объекта и оценка погрешности не могут служить окончательным результатом интерпретации измерении. Этот результат будет определяться как данными измерения, так и математическими моделями, контролирующими процесс формирования сигнала в ИВС. Математическая модель может быть весьма далека от реальности, и следовательно, результат интерпретации может существенно отличаться от "истинных" параметров объекта. На данном этапе исследователю приходится отвечать на два принципиальных вопроса:

1) Сколь хорошо данная (предложенная) модель согласуется с процессом измерения сигнала?

2) Сколь мы правомочны использовать ее для достижения заданной погрешности интерпретации данных?

В качестве характеристик состоятельности стохастической модели и пригодности ее использования для редукции введены соответствующие надежности ( надежность модели и надежность интерпретации) - случайные величины, зависящие от сигнала, регистрируемого на выходе измерительного прибора и помогающие нам сделать выбор при решении двух описанных выше проблем. Понятия надежности модели и надежности интерпретации опираются на математический аппарат теории проверки статистических гипотез.

Надежность модели и надежность интерпретации были введены Пытьевым Ю.П., но до настоящего времени широко не использовались из-за некоторых сложностей алгоритмического и вычислительного характера. Вместе с тем , вычисление надежностей является одним из самых важных моментов в задачах интерпретации данных. Надежности являются основными характеристиками, на основании которых исследователь может судить о степени доверия

как к самой математической модели (надежность модели), так и к полученным в процессе интерпретации результатам( надежность интерпретации). Иными словами, надежность выступает как основной инструмент, позволяющий исследователю контролировать степень согласия гипотезы с экспериментом, критически оценивать сообщаемые им ИВС в процессе интерпретаци сведения , в частности, с точки зрения их "информативности" и "дезинформативности".

Если в последнее время надежность модели изучалась достаточно подробно, то поблема надежности интерпретации была еще далеко не исследована. Вместе с тем исследователю необходимо иметь , по возможности , удобные алгоритмы вычисления именно надежности интерпретации, ибо она будет определять доверие к полученным результатам.

Помимо статистических методов интерпретации данных з последнее время получил распространение иной подход к математическому моделированию ИВС, основанный на введенном Л.Заде понятии нечеткого множества и характеристической функции принадлежности. С помощью таких функций удобно описывались различные экспертные системы, а также множества, принадлежность к которым носила в основном качественный характер. Последние исследования показали, что теория нечегхих множеств и построенная на их основе теория возможностей зачастую лучше описывают ту качественного характера неясность, которая возникает в физических задачах. Более того, в ряде случаев статистическое описание систем является просто неестественным с точки зрения обычной человеческой логики.

Теория нечетких множеств позволяет сделать существенный скачок в решении проблемы "диалога исследователя и ИВС". Дело в том, что в процессе измерения часто остается неучтенной весьма важная субъективная информация исследователя , основанная на его знаниях, опыте и по тем или иным причинам не вошедшая

количественно в математическую модель измерения. Развитие теории нечетких и нечетких неопределенных ИВС привело к необходимости обобщения понятий надежности модели и надежности интерпретации, существующих в классической статистической теории ИВС, на случай нечеткой и нечеткой неопределенной интерпретации с целью выработки там адекватного критерия качества.

Цель работы.

Основными целями диссертации являлись:

- дальнейшая разработка математического аппарата общей теории ИВС, детальное исследование проблемы "точности и надежности";

-исследование понятий надежности модели и надежности интерпретации как основного критерия качества ИВС;

разработка алгоритмов вычисления надежности и дальнейшее исследование ее свойств на предмет практической применимости в задачах интерпретации данных с заданой погрешностью;

- дальнейшая разработка теории нечетких и нечетких неопределенных ИВС и введение там соответствующего критерия качества;

исследование с содержательной стороны методов максимальной точности и максимального правдоподобия для нечетких неопределенных ИВС.

Научная новизна. В диссертации впервые созданы алгоритмы вычисления надежностей интерпретации данных в стохастических моделях с априорной информацией о сигнале для ряда математических моделей, часто встречающихся на практике. Проведено дальнейшее аналитическое исследование надежностей как случайных величин, зависящих от экспериментальных данных.

Дан сравнительный анализ на предмет практической пригодности надежностей, полученных в рамках различных статистических критериев. Доказана теорема о существовании и вычислении надежности интерпретации для моделей с априорной информацией статистического характера в случае неточно заданного математического ожидания вектора входного сигнала.

Введен соответствующий критерий качества в задачах нечеткой и нечеткой неопределенной интерпретации данных. Доказана теорема о соотношении точности и надежности для нечетких неопределенных ИВС при использовании разных алгебр нечетких неопределенных множеств. Описан метод максимальной точности и максимального правдоподобия в задаче нечеткой неопределенной интерпретации данных.

Практическая ценность. Полученные в диссертации результаты являются дальнейшим развитием математического аппарата теории ИВС. Созданы удобные и эффективные алгоритмы вычисления соответствующих критериев качества в задачах интерпретации данных, что приведет к более широкому их использованию в практике ИВС.

Дальнейшее развитие теории нечетких и нечетких неопределенных множеств открывает возможности для создания нового, более широкого класса ИВС, лучше учитывающего огромное количество дополнительной информации прежде всего качественного характера, которой обладает исследователь. Это в свою очередь приведет к решению так называемой проблемы "диалога при редукции", дающего возможность исследователю вмешаться в процесс интерпретации данных, улучшив его результаты. Кроме того, обобщение автором понятия надежности на случай нечетких и нечетких неопределенных ИВС привело к лучшему пониманию их концептуальной сущности.

-

Структура и объем работы. Диссертация состоит из введения , трех глав, заключения, изложена на 96 страницах машинописного текста и содержит список литературы из 55 наименований.

СОДЕРЖАНИЕ ДИССЕРТАЦИИ.

Во Введении дан общий обзор проблемы надежности в задачах интерпретации, отражена ее актуальность, дан обзор литературы, кратко сформулированы цели диссертации и ее научная ценность.

Глава 1 посвящена достаточно полному изложению математического аппарата общей теории ЙВС. В параграфах 1 и 2 излагаются элементы теории статистических гипотез о параметрах в в распределении случайной величины Е, заданной некоторой плотностью вероятности 1(х,9) относительно меры Лебега (0 -параметр), описываются соответствующие критерии и решающие процедуры, дается определение надежности гипотезы против альтернативы в случае нерандомизированных критериев. Надежность при этом интерпретируется как минимальная вероятность ошибочно отвергнуть простую гипотезу {б=0о} против простой альтернативы {9=9,,} в случае, если наблюдается вектор £,. С помощью леммы Неймана-Пирсона дается удобное аналитическое представление для надежности гипотезы против альтернативы и вводятся верхние и нижние надежности доя случая гипотез и альтернатив, содержащих более чем один вектор параметров. Рассматриваются случаи инвариантных и несмещенных критериев.

В параграфе 3 дается общая постановка задачи редукции измерений для стохастических моделей. Рассматривается следующая схема измерений:

? = А/ + V (*),

где с физической точки зрения £ интерпретируется как искаженный шумом V выходной сигнал прибора А , на вход которого поступил

сигнал / . С математической точки зрения £,_/,V полагаются элементами гильбертовых пространств Р,Н,К, в общем случае бесконечной размерности, Л - линейный оператор, действующий из Л в Р. Задан также линейный оператор и , действующий из Нъ и, и требуется определить такое преобразование II ( точнее оператор К, действующий из Р в С/ ), которое позволило бы интерпретировать и/ как наиболее точную версию Ш;. Более конкретно, речь идет о

минимизации погрешности ПИЩ;—в норме пространства V

для ряда математических моделей, часто встречающихся на практике и описанных также в этом параграфе.

Параграф 4 посвящен вопросу устойчивости редукции по отношению к неточно заданной математической модели. Описаны способы преодоления неустойчивости и с содержательной точки зрения обсуждена ее связь с априорной информацией о схеме измерения. Приведен конкретный пример.

В параграфе 5 понятие надежности гипотезы против альтернативы обобщается на случай рандомизированных критериев, дается общее определение надежности интерпретации и обсуждается ее связь с надежностью модели.

В параграфе 6 приводится алгебра нечетких и нечетких неопределенных множеств. Напомним, что нечеткое неопределенное множество А с математической точки зрения определяется как

тройка (х,цу4(.),т/4(.)), где для каждого х е X, показывает

степень принадлежности х к А , а тА(х) говорит о правдоподобии утверждения " ц^х) есть степень принадлежности х множеству А". Алгебра множеств существенно зависит от того, какую из характеристик т или ц исследователь считает определяющей в своих суждениях, иными словами, что для него более важно:

" ч етк о сть " (ц- алгебр а) или "правдоподобие"(т-алгебра).

- ?-

В параграфе 7 обсуждается общая "проблема решения" путем введения функции потерь. Рассмотрены как статистический, так и нечеткий случаи и с содержательной точки зрения описаны возникающие здесь различия и особенности. Так, в частности, в статистике функция потерь описывает средние потери, возникающие в эксперименте, в то время как в теории нечетких множеств и основанной на них теории возможности эта функция определяет возможность потерь как таковых. Иными словами, если в статистике конкретная величина потерь является величиной субъективной, зависящей от исследователя, то в теории возможности функция потерь является величиной инвариантной, ибо описывает саму возможность этих потерь, и, независимо от конкретного исследователя, лучшей должна быть та стратегия, где возможность потерь наименьшая.

В Главе 2 исследуется надежность интерпретации для ряда конкретных математических моделей схем измерения с априорной информацией статистического характера. Под моделью с априорной информацией понимается такая модель, где дополнительно к схеме измерения (*) с заданными оператором А и корреляционным оператором 2 шума V известно также математическое ожидание /о и корреляционный оператор И вектора /.

В параграфе 1 решается одномерная задача редукции к единичному прибору 11=1. При этом полагается, что число-параметр в схеме измерения (*) известен с ошибкой, иными словами, альтернативой является условие: {а а, а = А е. При такой постановке задачи удается найти явное выражение для надежности интерпретации, а также вычислить и подробно исследовать аналитические выражения для плотностей распределения надежности как случайной величины, зависящей от наблюдения Параллельно с теоретическими исследованиями проводилось компьютерное моделирование задачи, программный расчет надежностеи и численное построение плотностей ее распределения

(гистограмм). Отметим, что численные результаты полностью согласуются с теоретическими исследованиями. Результаты этих исследований говорят о том, что в случае близких к нулю значений надежности модель следует признать непригодной для редукции, а в случае близких к единице - пригодной.

В параграфе 2 решена многомерная задача редукции для схемы измерения:

¡H*./) + v (<■*),

где (.,.)- скалярное произведение в евклидовом пространстве размерности п. В данном случае полагается, что неточно задано метаматическое ожидание сигнала /. Результатом исследования является получение аналитических выражений для надежностей интерпретации, полученных в рамках равномерно наиболее мощных несмещенных критериев.

В параграфе 3 аналогичная задача редукции к единичному прибору решается для альтернативы "а Фа. Здесь вычисление надежностей проводилось с помощью численного моделирования методом Монте-Карло. В этом параграфе дается сравнительный анализ надежностей, полученных в рамках различных статистических критериев.

В параграфе 4 рассматривается проблема надежности интерпретации (редукции) для модели с априорной информацией в следующей схеме измерения:

где [.,.]- векторное произведение в Подобной схемой может, например, описываться процесс измерения силы Лоренца:

С г 1 с

F — —[v, Bj + v , где q=— - заряд, В - вектор индукции магнитного

поля, v - вектор скорости частиц, имеющих максвелловское распределение, v- шум. В этой задаче также удалось получить аналитическое выражение для надежности интерпретации, пользуясь равномерно наиболее мощным инвариантным критерием, и в

дальнейшем исследовать плотность ее распределения. Полученные результаты свидетельствуют о том, что в случае низких значений надежности (близких к нулю) модель следует признать непригодной для интерпретации данных, а в случае высоких значений потребуется дополнительное измерение вектора Е, проведенное, например, для любого вектора а, перпендикулярного исходному вектору а .

В параграфе 5 сформулирована и доказана теорема о существовании и вычислении надежности интерпретации для модели с априорной информацией о сигнале в случае неточно заданного математического ожидания /0 вектора /.

В параграфе 6 приводится пример стохастической модели с априорной информацией . Рассмотрена устойчивость редукции по отношению к неточно заданному корреляционному оператору сигнала /. На конкретном примере обсуждена связь дополнительного измерения и априорной информации о сигнале. Дан алгоритм вычисления надежности интерпретации для одномерной схемы измерения в случае неточно заданного корреляционного оператора.

Глава 3 посвящена обобщению ряда результатов предыдущих глав на нечеткие и нечеткие неопределенные модели ИВС.

В параграфе 1 рассматривается пример нечеткой интерпретации измерений. На данном примере показана целесообразность "возможностного" подхода к решению задачи интерпретации. Введены и исследованы соответствующие критерии качества такого рода ИВС.

В параграфе 2 поставлена задача нечеткой неопределенной интерпретации данных. Определено, что будет являться ее решением, введены соответствующие критерии качества. Для нечетких неопределенных моделей введены понятия точности и надежности (правдоподобия) модели и интерпретации. Доказана теорема о связи точности интерпретации, полученной при использовании |х-алгебры, с точностью интерпретации, полученной при использовании т-алгебры, а также о соотношении надежностей интерпретации,

вычисленных с помощью ц-алгебры и т-алгебры. Из теоремы следует, что за увеличение надежности (правдоподобия), возможно, придется заплатить потерей точности("чегкости") интерпретации и наоборот. По аналогии со статистическим случаем, использование х-алгебры в задачах нечеткой неопределенной интерпретации данных можно связать с методом максимального правдоподобия, а использование (-[-алгебры - с методом максимальной точности.

Основные результаты диссертации изложены в Заключении.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ.

1. Введено понятие качества модели и качества интерпретации. На конкретном примере исследованы вопросы точности и устойчивости редукции.

2. Подробно исследована проблема надежности интерпретации данных как одной из характеристик качества интерпретации. С математической точки зрения доказана необходимость ее использования в задачах редукции, а также детального ее исследования.

3.Проведено подробное исследование надежности интерпретации данных с заданной погрешностью для ряда конкретных математических моделей, имеющих место на практике. Получены аналитические выражения как для самой надежности интерпретации, так и для плотностей ее распределения. Проведен сравнительный анализ на предмет практической пригодности надежностен, полученных в рамках различных статистических критериев. Доказана теорема о существовании надежности интерпретации и указан алгоритм ее вычисления для моделей с априорной информацией в случае неточно заданного математического ожидания вектора входного сигнала.

4. Проведен подробный анализ алгебр нечетких и нечетких неопределенных множеств. С содержательной точки зрения

объяснена естественность их применения на практике в ряде реальных физических задач.

5. Приведены примеры нечеткой и нечеткой неопределенной

интерпретации данных. Для нее введены аналоги надежностей

модели и интерпретации, исследованы их свойства. Тем самым

концепция качества обобщена на случай нечетких и нечетких неопределенных ИВС.

Апробация работы. Результаты диссертации докладывались на многочисленных научных семинарах кафедры компьютерных методов физики физического факультета МГУ, на научном семинаре по "теории возможностей", проводимом на факультете ВМК МГУ, а также на Ломоносовских чтениях , IX международной конференции "Математические методы распознавания образов" (Пущино, 1995) и на (I научно-технической конференции "Состояние и проблемы технических измерений"(Москва, 1995).

Основные результаты диссертации отражены в следующих печатных работах:

1. Марченко C.B., Чуличков А.И., Чуличкова Н.М. Надежность интерпретации измерения, описывамая линейной моделью с априорной информацией статистического характера. //Мат. моделирование, 1995, т.7, №3.

2. Марченко C.B., Пытьев Ю.П., Чуличков А.И. Точность и надежность как критерий качества решения задач интерпретации данных. // Математические методы распознавания образов, Тез. докл. IX международной конференции, Пущино, 1995.

3. Марченко C.B., Пытьев Ю.П., Чуличков А.И. Интерпретация данных при нечеткой неопределенной модели измерения. // Состояние и проблемы технических измерений. Тез.докл. научно-технической конференции, Москва, 1995.