О некоторых свойствах смесей обобщенных гамма-распределений и их применениях

Крылов, Владимир Андреевич

О некоторых свойствах смесей обобщенных гамма-распределений и их применениях тема автореферата и диссертации по математике, 01.01.05 ВАК РФ

Крылов, Владимир Андреевич АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Москва МЕСТО ЗАЩИТЫ

2011 ГОД ЗАЩИТЫ

01.01.05 КОД ВАК РФ

Диссертация по математике на тему «О некоторых свойствах смесей обобщенных гамма-распределений и их применениях»

Автореферат диссертации на тему "О некоторых свойствах смесей обобщенных гамма-распределений и их применениях"

„/л"

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М.В. Ломоносова

Факультет вычислительной математики и кибернетики

На правах рукописи

409О1

Крылов Владимир Андреевич

О некоторых свойствах смесей обобщенных гамма-распределений и их применениях

Специальность 01.01.05 — теория вероятностей и математическая статистика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

О 3 ОЕЗ 2011

Москва — 2011

4853778

Работа выполнена на кафедре математической статистики факультета вычислительной математики и кибернетики Московского государственного университета имени М. В. Ломоносова.

Научный руководитель:

кандидат физико-математических наук Матвеев Виктор Федорович

Официальные оппоненты:

доктор физико-математических наук Афанасьева Лариса Григорьевна

кандидат физико-математических наук Миранцев Валерий Георгиевич

Ведущая организация:

Центральный экономико-математический институт РАН

Защита диссертации состоится 18 февраля 2011 г. в 11:00 на заседании диссертационного совета Д 501.001.44 в Московском государственном университете имени М.В.Ломоносова до адресу: 119991, ГСП-1, Москва, Ленинские горы, МГУ, 2-й учебный корпус, факультет ВМК, аудитория 685.

С диссертацией можно ознакомиться в библиотеке факультета ВМК МГУ. С текстом автореферата можно ознакомиться на официальном сайте ВМК МГУ http://cs.msu.ru в разделе «Наука» — «Работа диссертационных советов» - «Д 501.001.44».

Автореферат разослан « » января 2011 г.

Ученый секретарь

диссертационного совета А

профессор Лк Трифонов Н. П.

Общая характеристика работы

Актуальность темы. Обобщенное гамматраспределение (ОГ) вероятностей случайной величины было впервые предложено Стейси1 в 1962 г. в качестве модели, обобщающей одновременно хорошо известные распределения гамма и Вейбулла. ОГ представляет собой трехпараметрическое семейство распределений и включает в себя, наряду с названным двумя распределениями, ряд частных и предельных случаев, к числу которых относятся распределения логнормальное, Накатами, Рэлея и обратное гамма. Особый интерес представляет случай конечных смесей ОГ-распределений. Такой объект возникает, когда имеющиеся наблюдения не являются однородными со статистической точки зрения, a, представляют собой объединение нескольких популяций с различными функциями распределения. Актуальность рассмотрения смесей ОГ-рзслределений состоит в том, что эти смеси могут рассматриваться как прямое обобщение некоторых разнотипных смесей распределений, включающих распределения гамма, Вейбулла, логнормальное, и потому возникают при решении широкого круга задач.

С теоретической точки зрения, ОГ-распределение представляет собой сложный объект. Основная проблема связана со сложностью оценивания значений параметров ОГ-распределения по выборке. В работах Стейси, Хагера, Винго2 разрабатывались оценки максимального правдоподобия, в работах Коэна, Хуанга, Сонга3 предлагались модификации метода моментов для оценки параметров ОГ-распределения. Ни один из существующих методов не обладает универсальной применимостью и не был удовлетворительно обоснован с теоретической точки зрения. Важнейшим открытым вопросом является статистическая состоятельность оценок, т. е. сходимость по вероятности оценок параметров к значениям соответствующих параметров генеральной совокупности, так называемым "истинным" значениям параметров, при неограниченном росте объема выборки.

При рассмотрении смесей распределений статистическая задача состоит в их разделении, т. е. нахождение как компонент смеси - распределений из которых возникают наблюдения, так и весовых коэффициентов при этих компонентах. Рассмотрению теоретических и практических аспектов использования ОГ-распределений и их смесей посвящен ряд работ,

1Stacy Е. W. A generalization of the gamma distribution // Ann. Math. Statist. 1962. Vol. 33. Pp. 1187-1192.

2 Wingo D. K.. Computing maximum-likelihood para meter estimates of the generalized gamma distribution by numerical mol, isolation //' IEEE Trans. Roliab. 1987. Vol. 30, no. 5. Pp. 586 S90.

3Song K. Globally convergent algorithms for estimating generalized gamma distributions in fast signal and image processing // IEEE Trans. Image Process. 2008. Vol. 17, no. 8. Pp. 1233-1250.

в том числе статьи Володина4, Радакришна5, Чукву6. Важнейшими вопросами при рассмотрении конечных смесей ОГ-распределений являются вопросы идентифицируемости и устойчивости относительно возмущений параметров. Первое гарантирует единственность разложения в виде конечной смеси ОГ-распределений, а второе позволяет рассматривать задачу приближения конечными смесями ОГ. Исследование этих вопросов для ОГ-распределения ранее не проводилось.

ОГ-распределение и его конечные смеси имеют большой прикладной потенциал в задачах статистического моделирования. В качестве наиболее активно исследуемых областей применения ОГ-распределений и их смесей стоит отметить модели дожития, возникающие в страховых задачах, анализе издержек медицинских исследований7, инженерных рисках, экономических задачах8. В диссертации в качестве применения разрабатывается новая прикладная область, связанная со статистическим моделированием в задачах обработки одномерных и многомерных спутниковых изображений. Актуальность этой прикладной области подчеркивается широкой востребованностью спутниковых данных и высокой интенсивностью разработки математических моделей в данной области в последнее десятилетие.

Цель диссертации. Основная цель диссертации состоит в исследовании теоретических свойств смесей обобщенных гамма-распределений и оценивании их параметров. Рассматривается применение смесей обобщенных гамма-распределений в прикладных задачах, связанных с обработкой спутниковых изображений.

Методы исследования. В работе использованы аналитические методы математического анализа, теории вероятностей, аппарат математической статистики. Применяется аппарат специальных функций, в частности для исследования свойств гамма и полигамма функций и их асимптотического поведения.

4Волод1ш И. Н. Проверка статистических гипотез о тиле распределения по малым выборкам // Учен. зап. Казан, гос. ун-та. 1965. Т. 125. N 6. С. 3-23.

5Radhakrishna С., Dattatreya Rao А. V., Anjaneyulu G. V. S. R. Estimation of parameters in a two-compoilent mixture generalized gamma distribution // Commun. Stat. - Tlieor. M. 1991. Vol. 21, no. 6. Pp. 1799-1805.

6Chukwu W. I. E., Gupta D. On mixing generalized Poisson with generalized gamma distribution // Metron. 1989. Vol. 47. Pp. 313-320.

7Basu A., Manning W. G. Issues for the next generation of health care cost analyses // Medical Care. 2009. Vol. 47, no. 7. Pp. 109-114.

8Gomes O., Combes C., Dussauchoy A. Parameter estimation of the generalized gamma distribution // Mathematics and Computers in Simulation. 2008. Vol. 79, no. 4. Pp. 955-963.

Научная новизна и основные результаты. Выносимые на защиту результаты являются новыми и состоят в следующем:

1. Для распределений неотрицательных случайных величин доказано достаточное условие состоятельности оценок параметров, полученных методом логарифмических кумулянт. С использованием указанного метода получены оценки параметров для обобщенного гамма и некоторых других распределений ц установлена их состоятельность.

2. Доказаны устойчивость относительно возмущений параметров и идентифицируемость конечных смесей обобщенных гамма-распределений и смесей их частных случаев.

3. На основе конечных смесей обобщенных гамма-распределений предложены и обоснованы методы аппроксимации распределений амплитуд и классификации для одно- и многоканальных спутниковых изображений.

Теоретическая и практическая значимость. Результаты диссертации носят как теоретический, так и прикладной характер. Теоретические результаты могут рассматриваться как база для дальнейших исследований свойств обобщенных гамма-распределений и их смесей. Результаты работы использовались на практике при решении прикладных задачах обработки спутниковых изображений.

Личный вклад автора. Выносимые на защиту результаты получены автором.

Апробация работы. Основные результаты диссертации докладывались и обсуждались: на научном семинаре «Теория риска и смежные вопросы» (факультет ВМиК, МГУ им. Ломоносова) под руководством проф. В. Е. Бенинга, проф. В. Ю. Королёва (март, ноябрь 2010), на научном семинаре «Многомерный статистический анализ и вероятностное моделирование ре&чьных процессов» (Центральный экономико-математический институт РАН) под руководством проф. С. А. Айвазяна, проф. Ю. Н. Благовещенского (октябрь 2010), на научном семинаре «Исследование асимптотического поведения и устойчивости стохастических моделей» (Механико-математический факультет, МГУ им. Ломоносова) под руководством проф. Л. Г. Афанасьевой, проф. Е. В. Булинской (ноябрь 2010), на международной конференции «SPIE Electronic Imaging 2009» (январь 2009, Сан Хосе, США), на международной конференции «SPIE Electronic Imaging 2010»

(январь 2010, Сан Хосе, США), на XVII международной конференции студентов, аспирантов и молодых ученых «Ломоносов-2010» (секция «Вычислительная математика и кибернетика», апрель 2010. Москва), на международной конференции по применению байесовских и энтропийных методов «MaxEnt'2010» (июль 2010, Шамони, Франция), на международной конференции «SPIE Remote Sensing 2010» (сентябрь 2010, Тулуза, Франция), на международной конференции «Graphicon'2010» (сентябрь 2010, Санкт-Петербург) .

Публикации. По теме диссертации опубликованы 9 научных работ: шесть [1-6] в сборниках трудов международных конференций, и три [7-9] в журналах из перечня ВАК.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, двух приложений и списка литературы, включающего 143 наименования. Объем работы составляет 171 страницу.

Краткое содержание диссертации

В первой главе рассматриваются свойства обобщенного гамма-распределения (ОГ) неотрицательных случайных величин (с. в.). ОГ-распределение имеет плотность

где 7(к, х) = JtK xexp[—t]dt и Г(к) = lim - неполная и полная

гамма функции соответственно. Это распределение является универсальным трехпараметрическим семейством, получившим широкое применение как обобщение нескольких широко известных классических моделей, таких как распределения гамма, Вейбулла, логнормалыюе, обратное гамма. Обзору частных и предельных случаев ОГ-распределения посвящен первый раздел.

(1)

оценки параметров ОГ-распределения не приводит к удовлетворительным с теоретической точки зрения результатам. В третьем разделе предлагается использование метода логарифмических кумулянт (МЛК) для оценки параметров ОГ-распределения. Этот недавно предложенный метод для оценки параметров неотрицательной с. в. X, имеющей плотность распределения р{х), основан на применении интегрального преобразования Меллина®

+00

фр(s) = J p(x)xs 1dx, s 6 С.

МЛК позволяет сформулировать зависимость между неизвестными параметрами распределения и логарифмическими моментами к, т. е. моментами с. в. 1пХ, в виде системы уравнений следующего вида:

M'CLHEllnA'M-! [1п0р]м(1) = Е[(1пЛ'-^)1, ¡/ = 2,3,... U

Стоит отметить, что МЛК—оценки получили широкое распространение на практике9.

В третьем разделе устанавливаются выражения для н

находится вид системы уравнений (2) для нахождения МЛК-оценок ОГ-распределения:

Г ,

Kl = — > 1па^ = 1псМ--.

N 1 V

л- ^ (3)

= j = 2,3,...,

г—1

где Xi, i — 1 ,...,N, - наблюдения и Ф(п,х) — Jpj^lnr(i) - полигамма-функция порядка п. Устанавливаются существование и единственность решения системы (3) относительно неизвестных параметров (¡/, к,<т).

Теорема 1 (разд. 1.3.1, теор. 2). МЛК-оценки {(¿>п, кп, crn)}%Li обобщенного гамма-распределения состоятельны, т. е.

Ve > 0 : lim Р {¡i>n - v*\ < е, |к„ - к*| < е, \ап - а*\ < с} = 1,

П-+ОС

где и*,к*,а* - истинные значения параметров.

9 A new statistical model for Markovian classification of urban areas in high-resolution SAR images / C. Tison, J.-M. Nicolas, F. Tupin, H. Maitre // IEEE Trans. Geosci. Remote Sens. 2004. Vol. 42, no. 10. Pp. 2046-2057.

Также устанавливается достаточное условие состоятельности МЛК-оце-нок для неотрицательных случайных величин.

Теорема 2 (разд. 1.3.1, теор. 3). Пусть дано семейство плотностей распределений рх{хх ^ 0, параметризуе.иое вектором £ 6 К"1. Пусть также система МЛК-уравнений (2) задает непрерывное и обратимое отображение. Тогда, если существует конечный центральный момент с. в. \пХ порядка 2т, то МЛК-оценки по наблюдениям {ж;}"?!

существуют и состоятельны.

Данный результат является значимым, так как предлагает общий метод обоснования состоятельности МЛК-оценок для неотрицательных случайных величин.

В второй главе исследуются свойства конечных смесей обобщенных гамма-распределений, т. е. распределений с плотностями вида

Мг) = 0, (4)

¡=1

с весовыми коэффициентами Р{ 6 (0,1), Рг = 1, где ~ плот-

ность ОГ-распределения (1). Стоит отметить, что такие смеси представляют интерес как прямое обобщение повсеместно применяемых смесей распределений гамма, логнормальных и Вейбулла.

Первый раздел главы посвящен рассмотрению конечных смесей ОГ-распределеннй и конечных смесей, полученных объединением его подсемейств и особых случаев. Исследуется свойство идентифицируемости этих смесей, т. е. единственность представления любой конечной смеси в следующем смысле.

Теорема 3 (разд. 2.1.2, теор. 5). Класс всех конечных смесей обобщенных гамма-распределений идентифицируем, т. е.. если рассматриваются две смеси Н и Н из семейства ОГ-распределений

к к я = я = л-Д-,

1=1 3=1

где Qi = Су г — j, и, аналогично. = I = тогда тождество Н = Н равносильно к — к и для любого г = 1,... ,к, найдется ) = 1,..., к, такое что щ — 7г,- и ^ = Ру

Теорема 4 (разд. 2.1.2, теор. 7). Класс всех конечных смесей, полученных объединением семейств логнормалъных распределений, обобщенных гамма-распределений, а также его частных форм: распределений гамма, noкaзameJlъnoгo, Эрланга, х2, Пакагами. полунормального, Рэлея, х, Максвелла, Вейбулла, обратного гамма и Леей идентифицируем.

Значимость теоремы 4 состоит в том, что она устанавливает свойство идентифицируемости для некоторых широко распространенных разнотипных конечных смесей.

Второй раздел посвящен устойчивости параметров ОГ-распределения относительно возмущений параметров. Исследуются загрязненные ("конта-минациопные") модели загрязнения по каждому из параметров и получены оценки следующего вида.

Теорема 5 (разд. 2.2.2, теор. 9). Пусть р £ (0,1], к1,кг € Л/к] для некоторых Мк > тк > 0 и для некоторого с > 0 имеет место

р(рд 1,К1д(.т) + (1 д1:К1,1) ^ г

в равномерной метрике р(Г.С) - 8ир^(х) — С(а;)|, где через

обозначена функция распределения ОГ с параметрами (¡л к, <т).

Тогда для параметров р, кг, кг выполнено ыедующее соотношение

, . тах[Г2(тк), Т2(МК)] _ (1-р)к-к,|.< 7(11Мк)Г(е>тк) е,

X ЭО

где 7(в,х) = ехр[—и Г(в, х) = / ехр[-4]сЙ - нижняя и верх-

0 х

няя неполные гамма-функции.

Результаты устойчивости могут быть сформулированы также и в метрике Леви Ь, метризующей слабую сходимость случайных величин. Для с. в. с функциями распределения Г(х) и С?(х) метрика Ь определяется как

Ь(В\ С) = Ы{г : С(х - г) - г ^ F(x) < + г) + г, для всех х в К}.

Например для масштабного параметра а устанавливается следующая теорема.

Теорема 6 (разд. 2.2.3, теор. 13). Пусть р £ (0,1], 01,(72 £ [та, +оо) для некоторой константы та > 0 и для некоторого г > 0 имеет место

Црд1М1(х) + (1 -р)д1Л,„2(х)>д1М1) < е.

Тогда выполнено следующее соотношение

L\VP„M<ri) < 1-85 е,

та +1

где через Up,Bl,ai, р € [0,1], обозначена с. в., принимающая значения ff\ с вероятностью р и иг с вероятностью 1 — р.

В третьем разделе предлагается применение ЕМ10 (Expectation-Maximization) метода для поиска решения задачи разделения конечных смесей ОГ-распределений по выборке. Проводится обзор методов для решения задачи разделения смесей и среди существующих моделей аргументируется выбор модификации стохастического ЕМ (SEM) алгоритма, как позволяющей ослабить зависимость оценки от инициализации и одновременно получить оценку параметра К - количества компонент смеси. Для поиска оценок параметров ОГ-распределений компонент смеси используются MJTK-оценки, применимость которых обеспечивается теоремой 1.

Третья глава диссертации посвящена применению смесей обобщенных гамма-распределений к задаче обработки спутниковых изображений. Рассматривается задача моделирования (аппроксимации) эмпирических распределений амплитуд одноканальных спутниковых изображений, полученных при помощи радара с синтезированной апертурой (РСА). Данная задача актуальна и является базовой при обрабоке РСА-данных, имеющих широкое распространение на практике.

В первом разделе рассматриваются особенности РСА-изображений, приводящие к разнообразию математических моделей, применяемых при их обработке. Во втором разделе представлена систематизация существующих на сегодняшний день моделей и семейств распределений, используемых для решения рассматриваемой задачи статистического моделирования.

В третьем разделе главы аргументируется необходимость введения новых моделей, способных работать с современными РСА-данными высокого геометрического разрешения (до 1 метра на пиксель). В качестве такой модели предлагается использование конечных смесей ОГ-распределений (4). Во-первых, такой выбор объясняется высокой универсальностью трехпара-метрического семейства ОГ-распределений. Во-вторых, применение конечных смесей является наиболее адекватной статистической моделью для аппроксимации смешанных распределений, возникающих при обработке данных высокого разрешения. Использование метода, основанного на применении модели конечных смесей ОГ-распределения, при допустимом уровне

10Celeux G., Diebolt J. The SEM algorithm: a probabilistic teacher algorithm derived from the EM algorithm for the mixture problem /7 Computational Statistics Quaterly. 1985. Vol. 2. Pp. 73-82.

■ Рис. 1: (а) Исходное спутниковое изображение. (Ь) Гистограммы: исходная, предложен-

ной оценки смесью и оптимального приближения одним распределением (логнормаль-ным). Расстояния Колмогорова-Смирнова: рпюа = 0.0040, рлотк>ры = 0.0583.

вычислительной сложности позволяет добиться высокой точности аппроксимации и, одновременно, устранить ограничения на применимость, присущие существующим моделям.

Для решения рассматриваемой задачи аппроксимации рассматривается также более общая смесевая модель, основанная на применении конечных смесей широкого диалозона распределений

¿=1

где плотности Д-) выбираются из словаря Т>м, включающего распределения Вейбулла, логнормальное, Фишера, обобщенное гамма, Накагами. А'1/2

-распределение, и обобщенные модели Гаусса-Рэлея и Рэлея с тяжелыми хвостами11. В сравнении с методом, основанным на, конечных смесях ОГ-распределений, модель со словарем Т>м позволяет резко повысить интерпретируемость смесей с прикладной точки зрения. Разрабатывается гистограммная модификация ЭЕМ-алгоритма для работы со словарем распределений. Для поиска оценок параметров моделей из словаря Т>м предлагается применение МЛК-оценок. С использованием достаточного условия состоятельности, полученного в теореме 2, доказывается следующее утверждение.

uMoser G., Zerubia J., Serpico S. B. SAR amplitude probability density function estimation based on a generalized Gaussian model IEEE Trans. Image Process. '2006. Vol. 15. no. 6. Pp. 1429-1442.

Теорема 7 (разд. 3.3.1, утверждения 10-13). МЛК-оценки параметров распределений логнормалъного. Фишера, К1!2 и обобщенного Рэлея с тяжелыми хвостами состоятельны.

С учетом доказанного в первой главе, это обеспечивает состоятельность МЛК-оненок для всех распределений из Т>м-

Четвертый раздел посвящен исследованию разработанных смесевых моделей и их сравнению с используемыми на практике методами. Эксперименты с РСА-изображениями высокого разрешения убедительно демонстрируют высокую применимость и превосходство разработанных моделей по сравнению с существовавшими ранее. Пример аппроксимации гистограммы спутникового изображения системы ТеггаБАК-Х высокого разрешения приведен на Рис. 1.

В четвертой главе рассматривается применение конечных смесей ОГ-распределений в задаче моделирования многоканальных спутниковых данных. В первом разделе разрабатывается подход, позволяющий использование результатов одномерного моделирования непосредственно в моделировании многомерных данных. Для этого предлагается использование статистического аппарата копул, позволяющего формализовать построение совместного распределения многомерной с. в. по ее маргинальным распределениям. При помощи копул строится плотность совместного распределения Д-канальных данных:

где С - копула, а р;(-) и F¿(■) - плотности и функции распределения одно-канальных данных.

При обработке многоканальных РСА-данных в качестве одноканальных (маргинальных) распределений предлагается использование конечных смесей ОГ-распределений

для каналов изображения (1 = 1,..., £).

С целью обеспечения более широкого выбора структур зависимости для моделируемых многоканальных данных предлагается использование набора из нескольких семейств копул Т>м■ Этот набор состоит из Л архимедовых, эллиптических и др. копул, где Я = 10 (при Б = 2) и Я = 3 (при

р(Уъ •••,№)= иЫ • • • Рд(Ы ^-• • •, ЫЫ),

си/1 ■ ■ ■ дуй

О ^ 3). Для оценки параметров копул используется связь между распределением, задаваемым копулой, и коэффициентом ранговой корреляции Кендалла. Для выбора оптимальной конулы из набора Т>м используется критерий согласия х2 Пирсона.

На основании предложенного подхода к моделированию многоканальных данных во втором разделе главы строится модель для решения задачи классификации многоканальных поляриметрических РСА (ПРСА) изображений. Этот вид спутниковых изображений получил широкое распространение и имеет важное прикладное значение. Для построения модели ПРСА-данных оценки плотностей совместных распределений для отдельных классов собираются в распределение Гиббса, описывающее модать скрытого марковского случайного поля меток классов ъ по наблюдениям у:

где S - множество всех пикселей изображения, С - множество клик на S и <L,=- = 1, если z¡ — zs, и 0, иначе. Использование модели марковского случайного поля позволяет добиться повышения регулярности классификации. Для оценки параметра модели ß используется метод имитации отжига глобальной оптимизации12.

Для решения оптимизационной задачи, связанной с поиском конфигурации меток, минимизирующей энергию Н(г\у, ß), используется модифицированный метод Метроиолнса13 (MMD) стохастической релаксации с охлаждающей процедурой. Этот метод представляет собой переходный вариант между глобальным (медленным) методом имитации отжига и локальным (быстрым) ICM-методом. Для MMD доказывается следующее утверждение.

Теорема 8 (разд. 4.2.2. теор. 14). Для любого значения а 6 (0,1) и любого начального значения температуры Гц, найдется такая температура Тп, после достижения которой MMD-алгоритм начинает вести себя как ICM, т. е. принимать только конфигурации с меньшей энергией.

Из этой теоремы следует, что выбор значения а позволяет разрешить проблему поиска начальной конфигурации, затрудняющей применение ГСМ-метода.

12Geman S., Geman D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images //' IEEE Trans. Patt. Anal. Mach. Intell. 1984. Vol. 6. Pp. 721-741.

I3Kato Z.. Zerubia J., Berthod M. Satellite image classification using a modified Metropolis dynamics / / Proceedings of Internat. Conf. on Acoust., Speech, Signal Process. San Francisco. USA: 1992. Pp. 573-576.

(

P(z\y,ß) = W-lexP(-H(z\y,ß))

ff(z|y,/3) = ^[-lnp(yí|Zt)-/3 XT S>

s:{i,s)eC

\ -(К i

\ А , • : % \ - ШМ

(Ь) классификация смесями ОГ (с) контрольная карта Н- копулами

Рис. 2: (а) Исходное спутниковое изображение; (Ъ) результат классификации предлагаемым методом и (с) контрольная карта местности. Точность классификации составляет 84.55%. Обозначения: вода (черный), влажные зоны (серый), сухие зоны (белый).

В третьем разделе проводится экспериментальное исследование предложенной модели классификации на многоканальных ПРСА-изображениях. высокого разрешения. Эксперименты позволяют констатировать высок\'ю точность и сравнительное превосходство предложенной модели. Пример классификации спутникового изображения системы TerraSAR-X высокого разрешения приведен на Рис. 2.

В Заключении приведены основные результаты, полученные в диссертации, и список семинаров и конференций, на которых были представлены результаты работы.

В Приложении А приведены выражения для логарифмических моментов некоторых распределений.

В Приложении Б описывается построение графиков Кендалла, применяемых в четвертой главе.

Публикации по теме диссертации

[1] Dictionary-based probability density function estimation for high-resolution SAR data / V. Krylov, G. Moser. S. B. Serpico, J. Zerubia // Proceedings of SPIE. - Vol. 7246. - San Jose, USA: 2009. - Pp. 72460S-01-72460S-12,

[2] High resolution SAR-image classification by Markov random fields and finite mixtures / G. Moser, V. Krylov, S. B. Serpico, J. Zerubia // Proceedings of SPIE. - Vol. 7533. - San Jose, USA: 2010. - Pp. 753308-01-753308-12.

(а) исходное изображение

[3] Крылов В. А. Классификация многоканальных дистанционных изображений с использованием марковских случайных полей и копул // Сборник тезисов XVII международной научной конференции студентов, аспирантов и молодых ученых «Ломоносов-2010». Секция «Вычислительная математика и кибернетика». — М.: МАКС-Пресс, 2010. — С. 122-123.

[4] Multichannel SAR image classification by finite mixtures, copula theory and Markov random fields / V. Krylov, G. Moser, S. B. Serpico, J. Zerubia // Proceedings of AIP. - Vol. 1305, — Chamonix, France: 2010. - Pp. 299-306.

[5] Classification of very high resolution SAR images of urban areas by dictionary-based mixture models, copulas and Markov random fields using textural features / A. Voisin, G. Moser, V. Krylov et al. // Proceedings of SPIE. - Vol. 7830. - Toulouse, Prance: 2010. - Pp. 7830004)1-783000-11.

[6] Krylov V., Zerubia J. Generalized gamma' mixtures for supervised SAR image classification // Proceedings of «Graphicon'2010». — Saint Petersburg, Russia: 2010. - Pp. 107-110.

[7] Крылов В. А. Аппроксимация распределений амплитуд изображений радара с синтезированной апертурой методом конечных смесей // Вестник Московского университета, сер. 15. Вычислительная математика и кибернетика. — 2010. — Т. 34, № 2. — С. 35-39.

[8] Крылов В. А. Моделирование и классификация многоканальных дистанционных изображений с использованием копул // Информатика и ее применения. - 2010. — Т. 4, № 4. — С. 35-39.

[9] Enhanced dictionary-based SAR amplitude distribution estimation and its validation with very high-resolution data / V. Krylov, G. Moser, S. B. Serpico, J. Zerubia // IEEE Geoscience and Remote Sensing Letters. — 2011,-Vol. 8, no. 1.- Pp. 148-152.

Напечатано с готового оригинал-макета

Издательство ООО "МАКС Пресс" Лицензия ИД N 00510 от 01.12.99 г. Подписано к печати 20.12.2010 г. Формат 60x90 1/16. Усл.печл. 1,0. Тираж 90 экз. Заказ 591. Тел. 939-3890. Тел./факс 939-3891. 119992;, ГСП-2, Москва, Ленинские горы, МГУ им. М.В. Ломоносова, 2-й учебный корпус, 627 к.

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Крылов, Владимир Андреевич

Введение

Глава 1. Обобщенное гамма-распределение и оценка его параметров

1.1 Обобщенное гамма-распределение.

1.2 Оценка параметров обобщенного гамма-распределения.

1.3 Метод логарифмических кумулянт оценки параметров.

1.3.1 Состоятельность МЛК-оценок.

1.3.2 Существование и единственность МЛК-оценки для обобщенного гамма-распределения

Глава 2. Смеси обобщенных гамма-распределений и их свойства

2.1 Идентифицируемость смесей обобщенных гамма-распределений

2.1.1 Конечные смеси распределений и их идентифицируемость

2.1.2 Идентифицируемость конечных смесей ОГ и смесей из объединения подсемейств ОГ.

2.2 Устойчивость смесей обобщенных гамма-распределений относительно возмущений параметров

2.2.1 Прямая и обратная задачи устойчивости

2.2.2 Равномерная метрика.

2.2.3 Метрика Леви.

2.3 Задача разделения конечных смесей распределений.

2.3.1 SEM—алгоритм в задаче разделения смесей.

2.3.2 Разделение смесей обобщенных гамма-раснределений

Глава 3. Применение к моделированию изображений радара с синтезированной апертурой

3.1 Характеристики РСА-изображений.

3.2 Задача аппроксимации и обзор существующих моделей.

3.2.1 Базовая модель Рэлея.

3.2.2 Эмпирические распределения.

3.2.3 Физически-обоснованные распределения.

3.3 Метод конечных смесей для амплитудных РСА-изображений

3.3.1 МЛК-оценки для словаря распределений.

3.3.2 Общая структура метода.

3.4 Экспериментальное исследование и сравнения.

Глава 4. Применение к моделированию многоканальных спутниковых изображений

4.1 Моделирование многоканальных спутниковых данных.

4.1.1 Использование копул.

4.1.2 Описание модели многоканальных РСА-данных.

4.2 Классификация многоканальных РСА-данных.

4.2.1 Модель марковского случайного поля.

4.2.2 Численное решение задачи минимизации.

4.3 Экспериментальное исследование и сравнения.

Введение диссертация по математике, на тему "О некоторых свойствах смесей обобщенных гамма-распределений и их применениях"

Обобщенное гамма-распределение (ОГ) вероятностей случайной величины было впервые предложено Стейси [1] в 1962 г. в качестве модели, обобщающей одновременно хорошо известные распределения гамма и Вейбулла. ОГ представляет собой трехпараметрическое семейство распределений и включает в себя, наряду с названным двумя распределениями, ряд частных и предельных случаев, к числу которых относятся распределения логнормаль-ное, Накагами, Рэлея и обратное гамма. Особый интерес представляет случай конечных смесей ОГ-распределений. Такой объект возникает, когда имеющиеся наблюдения не являются однородными со статистической точки зрения, а представляют собой объединение нескольких популяций с различными функциями распределения. Актуальность рассмотрения смесей ОГ-распределений состоит в том, что смеси ОГ-распределений могут рассматриваться как прямое обобщение некоторых разнотипных смесей распределений, включающих распределения гамма, Вейбулла, логнормальное, и потому возникают при решении широкого круга задач.

С теоретической точки зрения ОГ-распределение представляет собой сложный объект. Основная проблема связана со сложностью оценивания значений параметров ОГ-распределения по выборке. В работах Стейси, Хагера, Винго [2] разрабатывались оценки максимального правдоподобия, в работах Коэна, Хуанга, Сонга [3] предлагались модификации метода моментов для оценки параметров ОГ-распределения. Ни один из существующих методов не обладает универсальной применимостью и не был удовлетворительно обоснован с теоретической точки зрения. Важнейшим открытым вопросом является статистическая состоятельность оценок, т. е. сходимость по вероятности оценок параметров к значениям соответствующих параметров генеральной совокупности, так называемым "истинным" значениям параметров, при неограниченном росте объема выборки.

При рассмотрении смесей распределений статистическая задача состоит в их разделении, т. е. нахождение как компонент смеси — распределений из которых возникают наблюдения, так и весовых коэффициентов при этих компонентах. Рассмотрению теоретических и практических аспектов использования ОГ-распределений и их смесей посвящен ряд работ, в том числе статьи Володина [4], Радакришна [5], Чукву [6]. Важнейшими вопросами при рассмотрении конечных смесей ОГ-распределений являются вопросы идентифицируемости и устойчивости относительно возмущений параметров. Первое гарантирует единственность разложения в виде конечной смеси ОГ-распределений, а второе позволяет рассматривать задачу приближения конечными смесями ОГ. Исследование этих вопросов для ОГ-распределения ранее не проводилось.

ОГ-распределение и его конечные смеси имеют большой прикладной потенциал в задачах статистического моделирования. В качестве наиболее активно исследуемых областей применения ОГ-распределений и их смесей стоит отметить модели дожития, возникающие в страховых задачах, анализе издержек медицинских исследований [7], инженерных рисках [8], экономических задачах [9, 10]. В диссертации в качестве применения разрабатывается новая прикладная область, связанная со статистическим моделированием в задачах обработки одномерных и многомерных спутниковых изображений. Актуальность этой прикладной области подчеркивается широкой востребованностью спутниковых данных и высокой интенсивностью разработки математических моделей в данной области в последнее десятилетие [11].

Краткое содержание диссертации

В первой главе рассматриваются свойства обобщенного гамма-распределения (ОГ) неотрицательных случайных величин (с. в.). ОГ-распределение имеет плотность и

ГчК1/-1 г /Г\П

U ехр - и.

О, г > О г < О

1) с параметрами и,к,а > 0, и функцию распределения

Qv, к, <j(г) =

7 («.КГ)

Г(к) ' где 7(к, х) = ftK 1 ехр[—t]dt и Г(к) = lim 7(к, х) - неполная и полная гамма

Q X—»ОС функции соответственно. Это распределение является универсальным трехпараметрическим семейством, получившим широкое применение как обобщение нескольких широко известных классических моделей, таких как распределения гамма, Вейбулла, логнормальное, обратное гамма. Обзору частных и предельных случаев ОГ-распределения посвящен первый раздел.

Препятствием на пути использования ОГ-распределения является затруднительность построения процедуры оценки его параметров. Как демонстрируется во втором разделе, применение стандартных методов для оценки параметров ОГ-распределения не приводит к удовлетворительным с теоретической точки зрения результатам. В третьем разделе предлагается использование метода логарифмических кумулянт (МЛК) для оценки параметров ОГ-распределения. Этот недавно предложенный метод для оценки параметров неотрицательной с. в. X, имеющей плотность распределения р(х), основан на применении интегрального преобразования Меллина [12] оо fip(s) = J p(x)xs~1dx, sG С.

1п = Е[(ЫХ - кгП гу = 2, 3,.

Стоит отметить, что МЛК—оценки получили широкое распространение на практике [12].

В третьем разделе устанавливаются выражения для и находится вид системы уравнений (2) для нахождения МЛК-оценок ОГ-рас-пределения:

Ф(0,«) = 7J ln Xi = ln ° + if> = > = 2,3.(3) i~ 1 где Xi, г — 1,. ., N, - наблюдения и Ф(п, ж) = In T(t) - полигамма функция порядка п. Устанавливаются существование и единственность решения системы (3) относительно неизвестных параметров (v,k,(t).

Теорема 1 (разд. 1.3.1, теор. 2). MJIK-оценки {(/>„, «„, обобщенного гамма-распределения состоятельны, т. е.

Ve > 0 : lim ¥{\0п - v*\ < е, - к*| < е, \&„ - <т*| < е} = 1, где И, к*, сг* - истинные значения параметров.

Теорема 2 (разд. 1.3.1, теор. 3). Пусть дано семейство плотностей распределений рх(хх ^ 0; параметризуемое вектором £ € К771. Пусть также система МЛК-уравнений (2) задает непрерывное и обратимое отображение. Тогда, если существует конечный центральный момент с. в. 1п X порядка 2т, то МЛК-оценки по наблюдениям существуют и состоятельны.

В второй главе исследуются свойства конечных смесей обобщенных гамма-распределений, т. е. распределений с плотностями вида к

Ре{г) = г 2 0, (4) г=\ с весовыми коэффициентами Рг е (0,1), \рг = 1, где &/„к„<х,(г) - плотность ОГ-распределения (1). Стоит отметить, что такие смеси представляют интерес как прямое обобщение повсеместно применяемых смесей распределений гамма, логнормальных и Вейбулла.

Первый раздел главы посвящен рассмотрению конечных смесей ОГ-рас-пределений и конечных смесей, полученных объединением его подсемейств и особых случаев. Исследуется свойство идентифицируемости этих смесей, т. е. единственность представления любой конечной смеси в следующем смысле.

Теорема 3 (разд. 2.1.2, теор. 5). Класс всех конечных смесей обобщенных гамма-распределений идентифицируем, т. е. если рассматриваются две смеси Н и Й из семейства ОГ-распределений к к н = ^& =

1 7=1 где ^ = г = у, и, аналогично, фг = г = у, тогда тождество

Н = Н равносильно к = к и для любого г = 1,., к, найдется у = 1,., к, такое что щ = и ^ =

Теорема 4 (разд. 2.1.2, теор. 7). Класс всех конечных смесей, полученных объединением семейств логнормалъных распределений, обобщенных гамма-распределений, а также его частных форм: распределений гамма, показательного, Эрланга, х2> Накагами, полунормального, Рэлея, х> Максвелла, Вейбулла, обратного гамма и Леей идентифицируем.

Второй раздел посвящен устойчивости параметров ОГ-распределения относительно возмущений параметров. Исследуются загрязненные ("контами-национные") модели загрязнения по каждому из параметров и получены оценки следующего вида.

Теорема 5 (разд. 2.2.2, теор. 9). Пусть р е (0,1], £ [тк,Мк] для некоторых Мк > тк > 0 и для некоторого е > 0 имеет место р{рОМхдОс) + (1 ~р)Я\,к2,1{х)^ ^ ^ б равномерной метрике С) = вир — С(х)\, где через обоX значена функция распределения ОГ с параметрами (и, к, а).

Тогда для параметров р, выполнено следующее соотношение

X оо где 7(я, х) — / ехр[—¿](й и Г(з, х) = § £в-1 ехр[—{\<И - нижняя и верхняя о х неполные гамма функции.

Результаты устойчивости могут быть сформулированы также и в метрике Леви Ь, метризующей слабую сходимость случайных величин. Для с. в. с функциями распределения Р(х) и С (ж) метрика Ь определяется как

Ь(Г, в) = т£{г : <3(ж - г) - г ^ Р(х) < <3(ж + г) + г, для всех х 6 М}.

Например для масштабного параметра а устанавливается следующая теорема.

Теорема 6 (разд. 2.2.3, теор. 13). Пусть р е (0,1], сг^аъ £ [га^+оо) для некоторой константы та > 0 и для некоторого е > 0 имеет место

Ь{рд1Ха1{х) + (1 - р)д1,1,<Т2(х), 01д 1<Г1) ^ е.

Тогда выполнено следующее соотношение

Ь\иРм„сп)< 1.85-^-е, 1 где через ир,аъа2, р Е [0,1], обозначена с. в., принимающая значения с вероятностью р и сг2 с вероятностью 1 — р.

В третьем разделе предлагается применение ЕМ (Ехре^а^оп-Махншга-1поп) [13] метода для поиска решения задачи разделения конечных смесей ОГ-распределений по выборке. Проводится обзор методов для решения задачи разделения смесей и среди существующих моделей аргументируется выбор модификации стохастического EM (SEM) алгоритма, как позволяющей ослабить зависимость оценки от инициализации и одновременно получить оценку параметра К — количества компонент смеси. Для поиска оценок параметров ОГ-распределений компонент смеси используются МЛК-оценки, 'применимость которых обеспечивается теоремой 1.

В третьем разделе главы аргументируется необходимость введения "новых моделей, способных работать с современными РСА-данными высокого геометрического разрешения (до 1 метра на пиксель). В качестве такой модели предлагается использование конечных смесей ОГ-распределений (4). Во-первых, такой выбор объясняется высокой универсальностью трехпараметри-ческого семейства ОГ-распределений. Во-вторых, применение конечных смесей является наиболее адекватной статистической моделью для аппроксимации смешанных распределений, возникающих при обработке данных высокого разрешения. Использование метода, основанного на применении модели конечных смесей ОГ-распределения, при допустимом уровне вычислительной сложности позволяет добиться высокой точности аппроксимации и, одновременно, устранить ограничения на применимость, присущие существующим моделям.

Для решения рассматриваемой задачи аппроксимации рассматривается ' также более общая смесевая модель, основанная на применении конечных смесей широкого диапозона распределений где плотности Р1вг{') выбираются из словаря Т>м, включающего распределения Вейбулла, логнормальное, Фишера, обобщенное гамма, Накагами, К1/2-распределение [14], и обобщенные1 модели Гаусса-Рэлея [15] и Рэлея с тяжелыми хвостами [16]. В сравнении с методом, основанным на конечных смесях ОГ-распределений, модель со словарем Т>м позволяет резко повысить интерпретируемость смесей с прикладной точки зрения. Разрабатывается гисто-граммная модификация ЯЕМ-алгоритма для работы со словарем распределений. Для поиска оценок параметров моделей из словаря Т>м предлагается применение МЛК-оценок. С использованием достаточного условия состоятельности, полученного в теореме 2, доказывается следующее утверждение.

Теорема 7 (разд. 3.3.1, утверждения 10-13). МЛК-оценки параметров распределений логнормалъного, Фишера, К1/2 и обобщенного Рэлея с тяжелыми хвостами состоятельны.

С учетом доказанного в первой главе, это обеспечивает состоятельность МЛК-оценок для всех распределений из Т>м

В четвертой главе рассматривается применение конечных смесей ОГ-распределений в задаче моделирования многоканальных спутниковых данных [17]. В первом разделе разрабатывается подход, позволяющий использование результатов одномерного моделирования непосредственно в моделировании 'многомерных данных. Для этого предлагается использование статистического аппарата копул [18], позволяющего формализовать построение совместного распределения многомерной с. в. по ее маргинальным распределениям. При помощи копул строится плотность совместного распределения Л-канальных данных: где С - копула, а Рг(-) и - плотности и функции распределения однока-нальных данных.

При обработке многоканальных РСА-данных в качестве одноканальных (маргинальных) распределений предлагается использование конечных смесей ОГ-распределений для каналов изображения (I — 1,., Б.

С целью обеспечения более широкого выбора структур зависимости для моделируемых многоканальных данных предлагается использование набора из нескольких семейств копул Т>м• Этот набор состоит из Я архимедовых, эллиптических и др. копул, где Я = 10 (при В = 2) и Я = 3 (при В ^ 3). Для оценки параметров копул используется связь между распределением, задаваемым копулой, и коэффициентом ранговой корреляции Кендалла. Для выбора оптимальной копулы из набора Т>м используется критерий согласия X2 Пирсона. д°с дуг,

На основании предложенного подхода к моделированию многоканальных данных во втором разделе главы строится модель для решения задачи классификации многоканальных поляриметрических РСА (ПРСА) изображений. Этот вид спутниковых изображений получил широкое распространение и имеет важное прикладное значение. Для построения модели ПРСА-данных оценки плотностей совместных распределений для отдельных классов собираются в распределение Гиббса, описывающее модель скрытого марковского случайного поля меток классов ъ по наблюдениям у: 1

Р{ъ\у,Р) = И^ехр (-Я(а|у,/?))

Я(2|у,/?) = ]Г -ЫрЫъ) -0 Ь геБ 1 в:{г,б-}еС где в — множество всех пикселей изображения, С - множество клик на 5* п 621=2я = 1, если ^ = г51 и 0, иначе. Использование модели марковского случайного поля позволяет добиться повышения регулярности классификации. Для оценки параметра модели (3 используется метод имитации отжига глобальной оптимизации [19].

Для решения оптимизационной задачи, связанной с поиском конфигурации меток, минимизирующей энергию #(г|у,/3), используется модифицированный метод Метрополиса (ММБ) [20] стохастической релаксации с охлаждающей процедурой. Этот метод представляет собой переходный вариант между глобальным (медленным) методом имитации отжига и локальным (быстрым) 1СМ-методом [21]. Для ММБ доказывается следующее утверждение.

Теорема 8 (разд. 4.2.2, теор. 14). Для любого значения а £ (0,1) и любого начального значения температуры найдется такая температура Та> после достижения которой ММВ-алгоритм начинает вести себя как 1СМ, т. е. принимать только конфигурации с меньшей энергией.

Из этой теоремы следует, что выбор значения а позволяет разрешить проблему поиска начальной конфигурации, затрудняющей применение 1СМ-метода.

В третьем разделе проводится экспериментальное исследование предложенной модели классификации на многоканальных ПРСА-изображениях высокого разрешения. Эксперименты позволяют констатировать высокую точность и сравнительное превосходство предложенной модели.

В Приложении А приведены выражения для логарифмических моментов некоторых распределений.

В Приложении Б описывается построение графиков Кендалла, применяемых в четвертой главе.

Заключение диссертации по теме "Теория вероятностей и математическая статистика"

Основные результаты диссертации докладывались и обсуждались: на научном семинаре «Теория риска и смежные вопросы» (факультет ВМиК, МГУ им. Ломоносова) под руководством проф. В. Е. Бенинга, проф. В. Ю. Королёва (март, ноябрь 2010), на научном семинаре «Многомерный статистический анализ и вероятностное моделирование реальных процессов» (Центральный экономико-математический институт РАН) под руководством проф. С. А. Айвазяна, проф. Ю. Н. Благовещенского (октябрь 2010), на научном семинаре «Исследование асимптотического поведения и устойчивости стохастических моделей» (Механико-математический факультет, МГУ им. Ломоносова) под руководством проф. Л. Г. Афанасьевой, проф. Е. В. Булин-ской (ноябрь 2010), на международной конференции «SPIE Electronic Imaging 2009» (январь 2009, Сан Хосе, США), на международной конференции «SPIE Electronic Imaging 2010» (январь 2010, Сан Хосе, США), на XVII международной конференции студентов, аспирантов и молодых ученых «Ломоносов-2010» (секция «Вычислительная математика и кибернетика», апрель 2010, Москва), на международной конференции по применению байесовских и энтропийных методов «MaxEnt'2010» (июль 2010, Шамони, Франция), на международной конференции «SPIE Remote Sensing 2010» (сентябрь 2010, Тулуза, Франция), на международной конференции «Graphicon'2010» (сентябрь 2010, Санкт-Петербург).

Заключение

Список источников диссертации и автореферата по математике, кандидата физико-математических наук, Крылов, Владимир Андреевич, Москва

1. Stacy Е. W. A generalization of the gamma distribution // Ann. Math. Statist. - 1962. - Vol. 33. - Pp. 1187-1192.

2. Wingo D. R. Computing maximum-likelihood parameter estimates of the generalized gamma distribution by numerical root isolation // IEEE Trans. Reliab. 1987. - Vol. 36, no. 5. - Pp. 586-590.

3. Song K. Globally convergent algorithms for estimating generalized gamma distributions in fast signal and image processing // IEEE Trans. Image Process. 2008. - Vol. 17, no. 8. - Pp. 1233-1250.

4. Володин И. H. Проверка статистических гипотез о типе распределения по малым выборкам // Учен. зап. Казан, гос. ун-та. — 1965. — Т. 125, № 6. С. 3-23.

5. Radhakrishna С., Dattatreya Rao А. V., Anjaneyulu G. V. S. R. Estimation of parameters in a two-component mixture generalized gamma distribution // Commwi. Stat. Theor. M.— 1991.— Vol. 21, no. 6.— Pp. 1799-1805.

6. Chukwu W. I. E., Gupta D. On mixing generalized Poisson with generalized gamma distribution // Metron. — 1989. — Vol. 47. — Pp. 313-320.

7. Basu A., Manning W. G. Issues for the next generation of health care cost analyses // Medical Care. — 2009. — Vol. 47, no. 7. — Pp. 109-114.

8. Parr Van B., Webster J. T. A method for discriminating between failure density functions used in reliability predictions // Technometrics. — 1965. — Vol, 7, no. l.-Pp. 1-10.

9. Kleiber C., Kotz S. Statistical Size Distributions in Economics and Actuarial Sciences. — New York: Wiley-Interscience, 2003.

10. Gomes 0., Combes C., Dussauchoy A. Parameter estimation of the generalized gamma distribution // Mathematics and Computers in Simulation.— 2008. — Vol. 79, no. 4. — Pp. 955-963.

11. Richards J., Jia. X. Remote sensing digital image analysis. — 4th edition. — Berlin: Springer-Verlag, 2006.

12. A new statistical model for Markovian classification of urban areas in highresolution SAR images / C. Tison, J.-M. Nicolas, F. Tupin, H. Maitre // IEEE Trans. Geosci. Remote Sens. — 2004. — Vol. 42, no. 10. — Pp. 20462057.

13. Celeux G., Diebolt J. The SEM algorithm: a probabilistic teacher algorithm derived from the EM algorithm for the mixture problem // Computational Statistics Quaterly. — 1985, —Vol. 2. — Pp. 73-82.

14. Jakeman E., Pusey P. N. A model for non-Rayleigh sea echo // IEEE Trans. Antennas Propagat. — 1976. — Vol. 24. — Pp. 806-814.

15. Moser G., Zerubia J., Serpico S. B. SAR amplitude probability density function estimation based on a generalized Gaussian model // IEEE Trans. Image Process. — 2006. — Vol. 15, no. 6. — Pp. 1429-1442.

16. Kuruoglu E. E., Zerubia J. Modelling SAR images with a generalization of the Rayleigh distribution // IEEE Trans. Image Process. — 2004. — Vol. 13, no. 4. Pp. 527-533.

17. Landgrebe D. A. Signal Theory Methods in Multispectral Remote Sensing. — New-York: Wiley, 2003.

18. Nelsen R. B. An Introduction to Copulas. — 2nd edition. — New-York: Springer, 2006.

19. Geman S., Geman D. Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images // IEEE Trans. Patt. Anal. Mack. Intell. — 1984. Vol. 6. - Pp. 721-741.

20. Kato Z., Zerubia J., Berthod M. Satellite image classification using a modified Metropolis dynamics // Proceedings of Internat. Conf. on Acoust., Speech, Signal Process. — San Francisco, USA: 1992.— Pp. 573-576.

21. Besag J. On the statistical analysis of dirty pictures //J. Royal Stat. Soc. B. 1986. - Vol. 48. - Pp. 259-302.

22. Справочник по специальным функциям с формулами, графиками и математическими таблицами / Под ред. М. Абрамовица, И. Стиган. — М.: Наука, 1979.

23. Farewell V., Prentice R. A study of distributional shape in life testing // Technometrics. — 1977. Vol. 19. — Pp. 69-76.

24. Pham Т., Almhana J. The generalized gamma distribution: its hazard rate and stress-strength model // IEEE Trans. Reliab.— 1995.— Vol. 44, no. 3. — Pp. 392-397.

25. Lienhard J. H., Meyer P. L. A physical basis for the generalized gamma distribution // Q. Math.- 1967.-Vol. 25.-Pp. 330-334.

26. Image probability distribution based on generalized gamma function / J. H. Chang, J. W. Shin, N. S. Kim, S. K. Mitra // IEEE Signal Process. Lett. 2005. — Vol. 12, no. 4. - Pp. 325-328.

27. Shin J. W., Chang J. H., Kim N. S. Statistical modeling of speech signals based on generalized gamma distribution // IEEE Signal Process. Lett. — 2005.-Vol. 12, no. 3.—Pp. 258-261.

28. Li H.-G., Hong W., Wu Y.-R. Generalized gamma distribution with MoLC estimation for statistical modeling of SAR images // Proceedings of Asian and Pacific Conf. on SAR. — Huangshan, China: 2007. — Pp. 525-528.

29. An efficient and flexible statistical model based on generalized gamma distribution for amplitude SAR images / H.-C. Li, W. Hong, Y.-R. Wu, P.-Z. Fan // IEEE Trans. Geosci. Remote Sens. — 2010. Vol. 48, no. 6,— Pp. 2711-2722.

30. Hwang T. Y., Huang P. H. On new moment estimation of parameters of the generalized gamma distribution using its characterization // Taiwanese journal of mathematics. — 2006. Vol. 10, no. 4. - Pp. 1083-1093.

31. Nicolas J.-M. Introduction aux statistiques de deuxième espèce: applications des logs-moments et des logs-cumulants à l'analyse des lois d'images radar // Traitement du Signal (in french). — 2002. — Vol. 19, no. 3. — Pp. 139-167.

32. Nicolas J.-M., Tupin F. Gamma mixture modeled with "second kind statistics": application to SAR image processing // Proceedings of Internat. Geosci. Remote Sens. Symposium. — Toronto, Canada: 2002.— Pp. 24892491.

33. Sneddon I. The use of integral transforms. — New-York: McGraw-Hill, 1972.

34. Epstein В. Some applications of the Mellin transform in statistics // Ann. Math. Stat. 1948. - no. 19. — Pp. 370-379.

35. Papoulis A. Probability, Random Variables, and Stochastic Processes. — 3rd edition. — New York: McGraw-Hill, 1991.

36. Ильин В. А., Позняк Э. Г. Основы математического анализа. Ч. 1.— 2е изд. — М.: Наука, 1967.

37. Batir N. On some properties of digamma and polygamma functions //J. Math. Anal. Appl. 2007. - Vol. 328, no. 1. - Pp. 452-465.

38. Феллер В. Введение в теорию вероятностей и ее приложения. Том 1.— 2е изд. — М.: Мир, 1964.

39. Крамер Г. Математические методы статистики.— М.: Мир, 1975.

40. Васильев Ф. П. Методы оптимизации. — М.: Факториал Пресс, 2002.

41. Svensson I., Sjostedt-de Luna S., Bondesson L. Estimation of wood fibre length distributions from censored data through an EM algorithm // Scand. J. Statist. 2006. - Vol. 33. - Pp. 503-522.

42. Titterington D. M.} Smith A. F. M., Makov U. E. Statistical analysis of finite mixture distributions. — New York: Wiley, 1985.

43. Прикладная статистика. Классификация и снижение размерности. / С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, JI. Д. Мешалкин.— М.: Финансы и статистика, 1989.

44. Круглое В. М. Смеси распределений вероятностей // Вестник Московского университета, сер. 15. Вычислительная математика и кибернетика. — 1991. — № 2. — С. 3-15.

45. Prakasa Rao B. L. S. Identifiability in Stochastic Models. — New York: Academic Press, 1992.

46. McLachlan G. J., Peel D. Finite mixture models. — New York: Wiley, 2000.

47. Teicher H. Identifiability of finite mixtures // Ann. Math. Statist. — 1963. — Vol. 34. Pp. 1265-1269.

48. Al-Hussami E. K., Ahmad K. E. On the identifiability of finite mixtures of distributions // IEEE Trans. Inform. Theory. — 1981. — Vol. 27. — Pp. 664668.

49. Chandra S. On the mixtures of probability distributions // Scand. J. Statist. 1977. - Vol. 4. - Pp. 105-112.

50. Khalaf E. A. Identifiability of finite mixtures using a new transform // Ann. Inst. Stat. Math. — 1988. Vol. 40. - Pp. 261-265.

51. Henna J. Examples of identifiable mixtures // J. Jpn. Stat. Soc. — 1994. — Vol. 24. Pp. 193-200.

52. Atienza N., Garcia-Heras J., Munoz-Pichardo J. M. A new condition for identifiability of finite mixtures // Metrika.— 2006.— Vol. 63.— Pp. 215221.

53. Ashton W. D. Distribution for gaps in road traffic //J. Inst. Math. Appl — 1971.-Vol. 7.-Pp. 37-46.

54. Griffiths J. D., Hunt J. G. Vehicle headways in urban areas // Traffic Engineering and Control — 1991. — Vol. 32, — Pp. 458-462.

55. Fitting the distributions of length of stay by parametric models / A. Marazzi, F. Piccaud, C. Ruffieux, C. Begum // Medical care. — 1998.— Vol. 36, no. 6. — Pp. 915-927.

56. Королев В. Ю. Вероятностно-статистический анализ хаотических процессов с помощью смешанных гауссовских моделей. Декомпозиция во-латильности финансовых индексов и турбулентной плазмы. — М.: Изд-во ИПИ РАН, 2007.

57. Hall P. On measures of the distance of a mixture from its parent distribution // Stochastic Processes Appl — 1979. — Vol. 8. — Pp. 357-365.

58. Золотарев В. M. Современная теория суммирования независимых случайных величин.— М.: Наука, 1986.

59. Redner R. A., Walker Н. F. Mixture densities, maximum likelihood, and the EM algorithm // SI AM Review. — 1984. Vol. 26, no. 2. — Pp. 195-239.

60. Figueiredo M. A. F., Jain A. K. Unsupervised learning of finite mixture models // IEEE Trans. Patt. Anal. Mack. Intell. — 2002. — Vol. 24, no. 3. — Pp. 381-396.

61. Dempster A. P., Laird N. M., Rubin D. B. Maximum likelihood from incomplete data and the EM algorithm //J. Royal Stat. Soc. В. — 1977. — Vol. 39. Pp. 1-38.

62. Королев В. Ю. EM-алгоритм, его модификации и их применение к задаче разделения смесей вероятностных распределений. Теоретический обзор. — М.: Изд-во ИПИ РАН, 2007.

63. Celeux G., Chauveau D., Diebolt J. Stochastic versions of the EM algorithm:an experimental study in the mixture case 11 J. Statist. Comp. Sim. — 1996. Vol. 55, no. 4. - Pp. 287-314.

64. Chrétien S., Hero A. Kullback proximal algorithms for maximum likelihood estimation // IEEE Trans. Inform. Theory.— 2000.— Vol. 46, no. 5,— Pp. 1800-1810.

65. Celeux G., Govaert G. A classification EM algorithm for clustering and two stochastic versions // Comp. Stat. Data Anal— 1992.— Vol. 14.— Pp. 315-332.

66. A component-wise EM algorithm for mixtures / G. Celeux, S. Chretien, F. Forbes, A. Mkhadri //J. Comput. Graph. Statist.— 2001, —Vol. 10.— Pp. 699-712.

67. Nielsen S. F. The stochastic EM algorithm: estimation and asymptotic results // Bernoulli. — 2000. — Vol. 6, no. 3,- Pp. 457-489.

68. Delignon Y., Marzouki A., Pieczynski W. Estimation of generalized mixtures and its application to image segmentation // IEEE Trans. Image Process. 2001. - Vol. 6, no. 10. - Pp. 1364-1375.

69. Moon T. K. The Expectation-Maximization algorithm // IEEE Signal Processing Magazine. — 1996. — Vol. 13, no. 6.— Pp. 47-60.

70. Biernacki C., Celeux G., Govaert G. An improvement of the NEC criterion for assessing the number of clusters in a mixture model // Pattern Recognit. Lett. 1999. - Vol. 20. - Pp. 267-272.

71. Biernacki C., Celeux G., Govaert G. Assessing a mixture model for clustering with the integrated completed likelihood // IEEE Trans. Patt. Anal. Mach. Intell. 2000. - Vol. 22, no. 7. - Pp. 719-725.

72. Mauhk U., Bandyopadhyay S. Performance evaluation of some clustering algorithms and validity indices // IEEE Trans. Patt. Anal. Mach. Intell. — 2002. Vol. 24, no. 12. - Pp. 1650-1654.

73. Celeux G., Diebolt J. A stochastic approximation type EM algorithm for the mixture problem // Stochastics and Stochastics Reports.— 1992.— Vol. 41.-Pp. 119-134.

74. Diebolt J., Celeux G. Asymptotic properties of a stochastic EM algorithm for estimating mixing proportions // Stochastic Models. — 1993. — Vol. 9. — Pp. 599-613.

75. Кагикии В. В., Сухипип А. И. Дистанционное зондирование Земли из космоса. Цифровая обработка изображений. — М.: Логос, 2001.

76. Oliver С., Quegan S. Understanding Synthetic Aperture Radar Images.— 2nd edition. NC, USA: SciTech, Raleigh, 2004.

77. Lee J.-S., Pottier E. Polarimetric Radar Imaging: From Basics to Applications. — New York: CRC Press, 2009.

78. Дуда P., Xapm П. Распознавание образов и анализ сцен. — M.: Мир, 1976.

79. Bishop С. M. Pattern Recognition and Machine Learning. — New-York: Springer, 2006.

80. A model for extremely heterogeneous clutter / A. C. Frery, H.-J. Muller,C. C. F. Yanasse, S. Sant'Anna // IEEE Trans. Geosci. Remote Sens.— 1997. Vol. 35, no. 3. - Pp. 648-659.

81. Cribari-Neto F., Frery A., Silva M. Improved estimation of clutter properties in speckled imagery // Comput. Stat. Data Anal. — 2002. — Vol. 40. Pp. 801-824.

82. Eltoft T. The Rician inverse Gaussian distribution: a new model for non-Rayleigh signal amplitude statistics // IEEE Trans. Image Process. — 2005,-Vol. 14, no. 11.- Pp. 1722-1735.

83. Delignon Y., Marzouki A., Pieczynski W. Estimation of generalized mixtures and its application in image segmentation // IEEE Trans. Image Process. 1997. - Vol. 6, no. 10.- Pp. 1364-1375.

84. Oliver C. J. Correlated K-distributed scattering model // Opt. Acta.— 1985. Vol. 32. - Pp. 1515-1547.

85. Delignon Y., Garello R., Hillion A. Statistical modeling of ocean SAR images // Proc. Inst. Elect. Eng., Radar Sonar Navigat.— 1997.— Vol. 144, no. 6. Pp. 348-354.

86. Oliver C. J. Optimum texture estimators for SAR clutter // J. Phys. D.: Appl. Phys. 1993. - Vol. 26. - Pp. 1824-1835.

87. Unsupervised synthetic aperture radar image segmentation using Fisher distributions / F. Galland, J.-M. Nicolas, H. Sportouche ct al. // IEEE Trans. Geosci. Rem.ote Sens. — 2009. — Vol. 47, no. 8. — Pp. 2966-2972.

88. Goodman J. W. Statistical properties of laser speckle patterns // Laser Speckle and Related Phenomena / Ed. by J. C. Dainty. — Heidelberg, Germany: Springer-Verlag, 1975.—Pp. 9-75.

89. Joughin I.-R., Winebrenner D. P., Percival D. B. Probability density functions for multilook Polarimetrie signatures // IEEE Trans. Geosci. Remote Sens. 1994,- Vol. 32, no. 3. — Pp. 562-574.

90. Intensity and phase statistics of multilook Polarimetrie and interferometric SAR imagery / J.-S. Lee, K. W. Hoppel, S. A. Mango, A. R. Miller // IEEE Tivns. Geosci. Remote Sens. — 1994. — Vol. 32, no. 5. — Pp. 1017-1028.

91. Ziou D., Bouguila N. Unsupervised learning of a finite gamma mixture using MML: application to SAR image analysis // Proceedings of Internat. Conf. on Patt. Recognit. — Vol. 2. — Cambridge, UK: 2004. — Pp. 68 71.

92. Oliver C. J. A model for non-Rayleigh scattering statistics // Opt. Acta. — 1984.-Vol. 31, no. 6.- Pp. 701-722.

93. Delignon Y., Pieczynsh W. Modelling non-Rayleigh speckle distribution in SAR images // IEEE Trans. Geosci. Remote Sens. — 2002,— Vol. 40, no. 6. — Pp. 1430-1435.

94. K-distribution and Polarimetrie terrain radar clutter / S. H. Yueh, J. A. Kong, J. K. Jao et al. //J. Electromagn. Waves Applicat.— 1989.— Vol. 3.-Pp. 747-768.

95. Dictionary-based probability density function estimation for high-resolution SAR data / V. Krylov, G. Moser, S. B. Serpico, J. Zerubia // Proceedings of SPIE. Vol. 7246. - San Jose, USA: 2009. - Pp. 72460S-01-72460S-12.

96. Nikias C. L., Shao M. Signal Processing with Alpha-Stable Distributions and Applications. — New York: Wiley, 1995.

97. Cohen A. C., Whitten B. J. Parameter Estimation in Reliability and Life Span Models. — New York: Marcel Dekker, 1988.

98. Modeling the statistics of high resolution SAR images: Research Report 6722 / V. Krylov, G. Moser, S. B. Serpico, J. Zerubia. — France: INRIA, 2008. Available online]: http://hal.archives-ouvertes.fr/docs/00/35/76/27/PDF/RR-6722.pdf.

99. Ван дер Варден Б. JI. Математическая статистика. — М.: Изд-во иностр. лит., 1960.

100. Крылов В. А. Аппроксимация распределений амплитуд изображений радара с синтезированной апертурой методом конечных смесей // Вестник Московского университета, сер. 15. Вычислительная математика и кибернетика. — 2010. — Т. 34, № 2. — С. 35-39.

101. Krylov V., Zerubia J. Generalized gamma mixtures for supervised SAR image classification // Proceedings of «Graphicon'2010». — Saint Petersburg, Russia: 2010.-Pp. 107-110.

102. Enhanced dictionary-based SAR amplitude distribution estimation and its validation with very high-resolution data / V. Krylov, G. Moser, S. B. Serpico, J. Zerubia // IEEE Geoscience and Remote Sensing Letters. — 2011. — Vol. 8, no. 1.—Pp. 148-152.

103. Freitas С. C., Frery A. C., Correia A. H. The polarimetric G distribution for SAR data analysis // Environmetrics. — 2005. — Vol. 16, no. 1. — Pp. 1331.

104. Lee J.-S., Gruñes M. R., Kwok R. Classification of multilook polarimetric SAR imagery based on complex Wishart distribution // Int. J. Remote Sensing. 1994. - Vol. 15, no. 11. - Pp. 2299-2311.

105. Doulgeris A. P., Anfinsen S. N., Eltoft T. Classification with a non-Gaussian model for PolSAR data // IEEE Trans. Geosci. Remote Sens.— 2008. Vol. 46, no. 10. - Pp. 2999-3009.

106. McNeil A. J., Frei R., Embrechts P. Quantitative Risk Management. — NJ, USA: Princeton University Press, 2005.

107. Mercier G., Moser G., Serpico S. Conditional copulas for change detection in heterogeneous remote sensing images // IEEE Trans. Geosci. Remote Sens. 2008. — Vol. 46, no. 5. — Pp. 1428-1441.

108. Pieczynski W. Triplet Markov Chains and Image Segmentation // Inverse Problems in Vision and 3D Tomography / Ed. by A. Mohammad-Djafari. — London: ISTE-WILEY, 2010. Pp. 123-154.

109. Sklar A. Fonctions de répartition à n dimensions et leurs marges // Publ. Inst. Statist. Univ. Paris 8 (in french).— 1959, — Pp. 229-231.

110. Joe H. Multivariate Models and Dependence Concepts.— London: Chapman and Hall, 1997.

111. Mari D. D., Kotz S. Correlation and Dependence. — London: Imperial College Press, 2001.

112. Kojadinovic I., Yan J. Comparison of three semiparametric methods for estimating dependence parameters in copula models // Insurance: Mathematics and Economics. — 2010. — Vol. 47. — Pp. 52-63.

113. Embrechts PLindskog P., McNeil A. J. Modelling dependence with copulas and applications to risk management // Handbook of Heavy Tailed Distributions in Finance / Ed. by S. T. Rachev. — Amsterdam: Elsevier /North-Holland, 2003.- Pp. 329-384.

114. Marshall A. W., Olkin I. A multivariate exponential distribution //J. Am. Stat. Assoc. — 1967. Vol. 62. - Pp. 30-44.

115. Frahm G., Junker M., Szimayer A. Elliptical copulas: Applicability and limitations // Stat. Prob. Lett. — 2003. — Vol. 63. — Pp. 275-1286.

116. Huard D., Evin G., Favre A.-C. Bayesian copula selection // Comput. Statist. Data Anal. 2006. — Vol. 51, no. 2. — Pp. 809-822.

117. Lehmann E., Romano J. Testing statistical hypotheses. — 3rd edition. — New York: Springer, 2005.

118. Fermanian J.-D. Goodness-of-fit tests for copulas //J. Multivariate Anal. — 2005.-Vol. 95, no. l.-Pp. 119-152.

119. Genest C., Quessy J.-F., Remillard B. Goodness-of-fit procedures for copula models based on the probability integral transformation // Scand. J. Statist. 2006. - Vol. 33. - Pp. 337-366.

120. Dobric J., Schmid F. A goodness of fit test for copulas based on Rosenblatt's transformation // Comput. Statist. Data Anal. — 2007. — Vol. 51, no. 9.— Pp. 4633-4642.

121. Genest C., Boies J.-C. Detecting dependence with Kendall plots // Amer. Statistician. — 2003. — Vol. 57, no. 4. — Pp. 275-284.

122. Ito Y., Omatu S. Polarimetric SAR data classification using competitive neural networks // Int. J. Remote Sensing. — 1998. — Vol. 19, no. 14. — Pp. 2665-2684.

123. Classification of multifrequency polarimetric SAR imagery using a dynamic learning neural network / K. S. Chen, W. P. Huang, D. H. Tsay, F. Amar // IEEE Trans. Geosci. Remote Sens. — 1996. — Vol. 34, no. 3. — Pp. 814-820.

124. Fukuda S.; Kataqiri R., Hirosawa H. Unsupervised approach for polarimetric SAR image classification using support vector machines // Proceedings of Internat. Geosci. Remote Sens. Symposium. — Vol. 5. — Toronto, Canada: 2002, — Pp. 2599-2601.

125. Chen С. Т., Chen К. S., Lee J.-S. The use of fully Polarimetrie information for the fuzzy neural classification of SAR images // IEEE Trans. Geosci. Remote Sens. — 2003. Vol. 41, no. 9, — Pp. 2089-2100.

126. Cloude S. R., Pottier E. An entropy based classification scheme for land applications of Polarimetrie SAR // IEEE Trans. Geosci. Remote Sens. — 1997.- Vol. 35, no. 1,- Pp. 68-78.

127. Unsupervised terrain classification preserving Polarimetrie scattering characteristics / J.-S. Lee, M. R. Grünes, E. Pottier, L. Ferro-Famil // IEEE Trans. Geosci. Remote Sens. — 2004. — Vol. 42, no. 4, — Pp. 722-731.

128. К ersten P. R., Lee J.-S., Ainsworth T. L. Unsupervised classification of Polarimetrie synthetic aperture radar images using fuzzy clustering and EM clustering // IEEE Trans. Geosci. Remote Sens. — 2005. — Vol. 43, no. 3. — Pp. 519-527.

129. Besag J. Spatial interaction and the statistical analysis of lattice systems // J. Royal Stat. Soc. B. 1974. - Vol. 36, no. 2. — Pp. 192-236.

130. Розанов Ю. А. Марковские случайные поля. — M.: Наука, 1981.

131. Kato Z., Zerubia J., Berthod M. Unsupervised parallel image classification using Markovian models // Pattern Recognit. — 1999. — Vol. 32, no. 4. — Pp. 591-604.

132. Hastings W. K. Monte Carlo sampling method using Markov chains and their applications // Biometrika.— 1970.— Vol. 57, no. 1, — Pp. 97-109.

133. Granville V., Krivanek M., Rasson J.-P. Simulated annealing: a proof of convergence // IEEE Trans. Patt. Anal. Mach. Intell— 1994.— Vol. 16, no. 6. Pp. 652-656.

134. Benedek С., Sziranyi Т. Change detection in optical aerial images by a multilayer conditional mixed Markov model // IEEE Trans. Geosci. Remote Sens. 2009. — Vol. 47, no. 10. — Pp. 3416-3430.

135. Krylov V., Zerubia J. High resolution SAR image classification: Research Report 7108.— France: INRIA, 2009. Available online]: http://hal.archives-ouvertes.fr/docs/00/44/81/40/PDF/RR-7108.pdf.

136. High resolution SAR-image classification by Markov random fields and finite mixtures / G. Moser, V. Krylov, S. B. Serpico, J. Zerubia // Proceedings of SPIE. Vol. 7533. - San Jose, USA: 2010. - Pp. 753308-01-753308-12.

137. Крылов В. А. Моделирование и классификация многоканальных дистанционных изображений с использованием копул // Информатика и ее применения. — 2010. — Т. 4, № 4. — С. 35-39.

138. Multichannel SAR image classification by finite mixtures, copula theory and Markov random fields / V. Krylov, G. Moser, S. B. Serpico, J. Zerubia // Proceedings of AIP. — Vol. 1305. — Chamonix, France: 2010. — Pp. 299-306.

139. Genest C., Rivest L.-P. Statistical inference procedures for bivariate Archimedean copulas // J. Am. Stat. Assoc. — 1993. — Vol. 88. — Pp. 10341043.