Исследование методов совмещения видеоданных дистанционного зондирования тема автореферата и диссертации по физике, 01.04.01 ВАК РФ

На правах рукописи

Василейский Александр Сергеевич

" ИССЛЕДОВАНИЕ МЕТОДОВ СОВМЕЩЕНИЯ ВИДЕОДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ

Специальность 01.04.01 -приборы и методы экспериментальной физики

АВТОРЕФЕРАТ на соискание ученой степени кандидата физико-математических наук

Москва, 2(503""

Работа выполнена в Институте космических исследований Российской академии наук (ИКИ РАН)

Ч '

Научный руководитель:

доктор технических наук, профессор Зиман Я.Л.

Официальные оппоненты: д.ф-м.н. Орлов В.М. к.ф-м.н. Гершензон В.Е.

Ведущее предприятие: Центр по проблемам экологйи и продуктивности лесов РАН (ЦЭПЛ РАН)

Защита диссертации состоится " " октября 2003 года в_часов на

заседании диссертационного совета Д.002.113.01 в Институте космических исследований по адресу: 117997 Москва, ул.Профсоюзная, 84/32, 2-й подъезд, конференц-зал.

С диссертацией можно ознакомиться в библиотеке ИК|И РАН

Автореферат разослан" " сентября/ 2003 года

Ученый секретарь диссертационного совета Д.002.113.01

к.ф-м.н. Акимов В.В.

2аоЗ - А

Общая характеристика работы

Актуальность работы

Видеоданные дистанционного зондирования Земли (ДЗЗ), получаемые с космических аппаратов (КА), уже на протяжении нескольких десятков лет с успехом применяются в решении научных, хозяйственных и прикладных задач. Наблюдающаяся в последнее время устойчивая тенденция роста объема видеоинформации ДЗЗ и необходимость оперативного использования большой ее части требуют , разработки и реализации эффективных методов автоматизированной и автоматической обработки.

Космическую съемку одних и тех же участков земной поверхности проводят в разное время, разными съемочными системами, с разных КА, в различных спектральных зонах и с разным пространственным разрешением. В то же время эффективность исследования большинства характеристик земной поверхности и происходящих на ней процессов может быть достигнута только при совместной обработке большей части всех вышеперечисленных видеоданных. Такая совместная обработка разных изображений одного и того же участка земной поверхности требует их координатного совмещения с субпиксельной точностью.

Совмещение видеоданных ДЗЗ направлено на установление взаимно однозначного соответствия между соответствующими одним и тем же участкам земной поверхности пикселами одного изображения, обычно называемого совмещаемым, и пикселами другого изображения, обычно называемого/эпорным или базовым. Другими словами, совмещение изображений - это процесс трансформирования совмещаемого изображения таким образом, чтобы одни и те же пространственные структуры на нем и на базовом изображении имели одинаковые координаты в используемой системе координат (например, в системе координат базового изображения). Кроме того, проблему совмещения различных получаемых из космоса изображений земной поверхности можно рассматривать как задачу координатной привязки совмещаемого изображения к базовому.

Традиционно применяемое на практике ручное совмещение изображений является очень трудоемким процессом, требующим привлечения большого количества операторов, существенно увеличивая общие финансовые затраты на обработку данных ДЗЗ. Автоматизация процесса совмещения является весьма актуальной задачей, особенно в условиях жестких временных ограничений, накладываемых при

оперативном использовании видеоданных, и высокой требуемой точности их совмещения, недостижимой при ручной обработке.

Проблема совмещения изображений традиционно привлекает к себе внимание многих исследователей во всем мире. За последнее десятилетие опубликовано более тысячи печатных работ, посвященных разработке автоматизированных методов совмещения, но универсальнее решение задачи не было найдено.

Предмет исследования

Предметом исследования в диссертационной работе является проблема совмещения изображений, получаемых при ДЗЗ.

Научная новизна

Научная новизна работы определяется основными результатами проведенных исследований:

■ Разработан метод и реализующий его алгоритм совмещения с субпиксельной точностью разновременных и разноканальных данных ДЗЗ.

■ Предложен метод выбора сети опорных точек (ОТ), обеспечивающий их однородное распределение по площади изображения. Разработан метод расчета ожидаемого положения ОТ с учетом локальных свойств изображений.

■ Разработан двухступенчатый метод идентификации и уточнения положения ОТ на основе метода наименьших квадратов (МНК), обеспечивающий субпиксельную точность совмещения изображений.

■ Предложен комбинированный многоступенчатый метод верификации ОТ с использованием остаточных ошибок и сравнения текстурных признаков фрагментов изображений с помощью преобразования Уолша.

Практическая значимость

Разработанный в диссертационной работе метод и программно-алгоритмическое обеспечение позволяют решать с использованием разновременных космических снимков задачу мониторинга динамических процессов и явлений, происходящих на земной поверхности. Метод разработан в обеспечение проекта Европейского космического агентства (ЕКА) РиЕвОДТЕУУ (работа \ZVP-3350 ТРЕ\Л/А1_ Исследование точной координатной привязки") и принят для мониторинга

лесных пожаров по изображениям, которые планируется получать со спутника FUEGO/FFEW.

Разработанное программное обеспечение с 2000 года используется для оперативной автоматизированной обработки данных ДЗЗ в Лаборатории дистанционного зондирования университета Вальядо-лида (LATUV, Испания) и в нескольких • других научных центрах, проводящих работы в рамках различных проектов ЕКА.

В рамках сотрудничества ИКИ РАН и Немецкого аэрокосмического центра (DLR) автором диссертационной работы на основе предложенного метода совмещения изображений разработана методика для прецизионной межканальной геометрической калибровки аппаратуры ДЗЗ, установленной на борту КА BIRD.

В настоящее время результаты исследования используются при разработке программно-алгоритмического обеспечения геометрической коррекции изображений, получаемых создаваемой в Оптико-

физическом отделе ИКИ РАН цифровой аэросъемочной камерой.

/

Основные положения, выносимые на защиту

1. Общий алгоритм совмещения разновременных и разноканальных данных ДЗЗ.

2. Метод выбора сети ОТ, обеспечивающий их однородное распределение на изображениях.

3. Метод расчета ожидаемого положения ОТ с учетом локальных свойств изображений.

4. Метод идентификации ОТ на основе МНК.

5. Метод субпиксельного уточнения положения ОТ на основе МНК.

6. Комбинированный многоступенчатый метод верификации ОТ с использованием остаточных ошибок и сравнения с помощью преобразования Уолша текстур фрагментов изображений.

7. Методика выбора параметров алгоритма совмещения, обеспечивающих заданную точность и минимальные вычислительные затраты.

8. Методика прецизионного определения межканальных сдвигов в изображениях, получаемых многоканальными съемочными системами.

Апробация работы

Результаты диссертационной работы докладывались и обсуждались на четырех рабочих встречах разработчиков в рамках

проекта Европейского космического агентства FUEGO/FFEW, включены в отчет по проекту*, были представлены на 21-м ежегодном симпозиуме EARSeL "Observing our Environment from Space: New Solutions for a New Millennium" (Париж, Франция, 2001 г.), 22-м ежегодном симпозиуме EARSeL (Прага, Чехия, 2002 г.) и международной конференции Teledetection. Medio Ambiente у Cambio Global" (Льеда, Испания, 2001 г.).

По теме диссертационной работы автором опубликовано 13 печатных работ. Из них 5 затрагивают вопросы обработки изображений, разработки космических систем ДЗЗ и обработки результатов ДЗЗ [1,2,5,6,13], 5 посвящены разработке методов и алгоритмов географической координатнбй привязки данных ДЗЗ и совмещения изображений [3,4,7-9]. В 3 работах [10-12] приведены результаты, полученные при выполнении диссертационной работы.

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка, включающего 102 наименования, и трех приложений. Общий объем работы составляет 160 страниц (из них 22 страницы занимают приложения). Работа содержит 112 рисунков и 10 таблиц.

Содержание работы

Во введении обоснована актуальность темы, сформулированы цели работы, раскрыты научная новизна и практическая ценность диссертационной работы.

В первой главе перечислены задачи исследования Земли из космоса (ИЗК), при решении которых необходимо проведение совмещения разных изображений, и приведены основные требования к решению задачи совмещения.

Анализ определенного Российским космическим агентством перечня задач мониторинга природной среды, для решения которых целесообразно использовать данные ДЗЗ в оптическом диапазоне излучений, показывает, что в большинстве случаев необходима совместная обработка данных, получаемых в разных спектральных областях. Это требует использования различной съемочной аппаратуры, зачастую существенно отличающейся по пространственному

■ FFEWAL fine geo-location study. LATUV, Valladolid 2000. FUT-LATUV-3350-TN-01.-120 p.

разрешению. Во многих случаях критичными являются требования высокой периодичности обновления информации и оперативности доставки данных потребителям, достигаемой за счет применения группировок из нескольких однотипных КА или путем совместного использования информации с разнух КА. '

При совместном использовании нескольких изображений одного и того же участка местности практически всегда необходимо совмещение этих изображений. Задачи, требующие проведения .совмещения, можно разделить на следующие группы:

■ совместная обработка изображений, полученных разными съемочными системами;

■ совместная обработка изображений, полученных в разное время;

■ координатная привязка изображений;

■ восстановление рельефа снимаемой поверхности с использованием стереопар;

■ обработка изображений, полученных многоканальными съемочными системами, при наличии межканальных сдвигов.

Приведенный в диссертационной работе анализ показывает, что , каждой группе задач присущи свои требования к процессу совмещения изображений. В силу того, что в основу работы легли требования проекта Р11Е60/РРЕ\Л/, в приведенном исследовании рассматриваются в основном задачи совмещения разновременных многозональных изображений с одинаковым пространственным разрешением, полученных идентичными съемочными системами, и'устранения межканальных сдвигов в таких изображениях.

На основе анализа достаточно типичных требований, предъявляемых к системе обработки изображений в проекте Р11Е60/РРЕ\Л/, в диссертационной работе сформулирована задача совмещения видеоданных в автоматическом режиме с высокой точностью (среднеквад-ратическая ошибка (СКО) не более 0,5 размера пиксела) при жестких временных ограничениях (не более нескольких минут).

В заключительной части первой главы рассмотрены факторы, позволяющие облегчить решение поставленной задачи. Характеристики однотипных съемочных систем практически идентичны, поэтому подлежащие совмещению изображения мало отличаются как по пространственному разрешению, так и радиометрически. Передаваемые на наземные приемные станции изображения сопровождаются дополнительной информацией о местоположении и ориентации КА, используемой для предварительной географической привязки, точность которой ограничена в первую очередь ошибками навигационных

определений и деформациями конструкции КА. Проведенный на основе характеристик съемочной системы КА риЕвО/РЯВ/У расчет максимальной возможной ошибки предварительной координатной привязки позволил сформулировать дополнительное требование к процедуре совмещения получаемых изображений, заключающееся в ее работоспособности при априорном совмещении с точностью не хуже величины ±10 пикселов.

Вторая глава содержит изложение и сравнительный анализ известных методов совмещения изображений.

Традиционно процесс совмещения разделяется на следующие основные этапы: выбор характерных элементов на подлежащих совмещению изображениях, идентификация элементов и установление соответствия между ними, определение вида и параметров геометрического преобразования совмещаемого изображения для приведения его в соответствие с базовым изображением и собственно трансформирование.

В соответствии с общепринятой классификацией алгоритмов совмещения на так называемые площадные и контурные, в диссертационной работе подробно рассматриваются основные принципы, этапы, особенности, преимущества и недостатки алгоритмов, принадлежащих к каждой из этих групп. Сравнительный анализ известных алгоритмов совмещения показывает, что выбор оптимального алгоритма в каждом конкретном случае зависит от характеристик съемочной системы, с которой получены изображения, ландшафта, условий съемки и требований к точности совмещения. Основными преимуществами площадных методов являются простота реализации, независимость от наличия ярко выраженных деталей на подлежащих совмещению изображениях и устойчивость к шумам. При этом достигается высокая, вплоть до субпиксельной, точность совмещения. Контурные методы характеризуются высокой надежностью и приемлемой точностью при совмещении полученных в разных областях спектра изображений с существенными взаимными геометрическими искажениями.

Особое внимание при рассмотрении алгоритмов совмещения уделено концепции использования так называемых опорных точек (ОТ), применяемых для описания местоположения соответствующих элементов на совмещаемом и базовом изображениях. Применение концепции ОТ позволяет гибко, эффективно и экономично с точки зрения хранения, обработки и обмена информацией описывать взаимные геометрические искажения изображений и обеспечивает простоту

последующего воплощения разрабатываемых методов совмещения в программное обеспечение.

. Отдельно рассмотрена не затрагиваемая в других разделах диссертационной работы проблема финального трансформирования совмещаемых изображений.

Третья глава, являющаяся основной; включает детальное изложение предлагаемого метода совмещения разновременных и разно-канальных видеоданных с субпиксельной точностью.

Предложен обобщенный площадной алгоритм, основанный на применении ОТ и обеспечивающий высокоточное и надежное автоматическое совмещение разновременных изображений одинакового пространственного разрешения в условиях относительно небольших взаимных геометрических искажений. Блок-схема алгоритма представлена на рис.1. Алгоритм может быть разделен на приведенные ниже основные этапы:

■ Предобработка совмещаемого и базового изображений для представления их в наиболее удобной для последующего совмещения форме. Этот этап может включать радиометрическую коррекцию, пространственную фильтрацию для устранения шумов, а иногда и передискретизацию одного из изображений для его поворота и приведения к необходимому масштабу.

■ Выбор ОТ на одном из изображений и расчет их ожидаемого положения на другом изображении.. ОТ выбираются на базовом изображении в местах хорошо различимых деталей. Для обеспечения наилучшего возможного расчета ожидаемого положения этих ОТ на совмещаемом изображении на данном шаге используются результаты предварительной географической координатной привязки.

■ Идентификация ОТ. На этом шаге положение выбранных ОТ уточняется таким образом, чтобы они указывали на соответствующие детали совмещаемого и базового изображения. у

■ Верификация полученного набора ОТ. Этот этап подразумевает исключение из дальнейшего рассмотрения ОТ, неправильно идентифицированных на совмешаемом и базовом изображениях.

■ Оценка функции,,преобразования, описывающей взаимные геометрические соотношения между совмещаемым и базовым изображениями. Оценка осуществляется на основе ранее полученного набора ОТ.

Трансформирование совмещаемого изображения в проекцию базового путем передискретизации с использованием оцененной функции преобразования.

Приемная станция

Архив базовых изображений

Предварительная привязка

§ Совмещаемое изображение

ч

ч

ж \ изображение

Щ Базовое

Список ОТ

Оценка функции трансформирования

<

Предварительное трансформирование

----

Предобработка Предобработка

Предсказание Выбор ОТ

Дальнейшая обработка

Рис.1. Алгоритм автоматического совмещения изображений..

Прерывистыми линиями на блок-схеме показаны:

1 - Выбор дополнительных ОТ после исключения на этапе верифи-

кации большого количества неправильно идентифицированных ОТ, что может привести к неоднородности распределения ОТ по изображению и, вследствие этого, к существенным локальным ошибкам совмещения.

2 - Итерационная ужесточающаяся проверка с оценкой функции

трансформирования.

3 - Исключение этапа предварительного трансформирования в слу-

чае незначительных взаимных геометрических искажений подлежащих совмещению изображений.

4 - Прямое использование исходного совмещаемого изображения на

этапе финального трансформирования для исключения неизбежных в противном случае ошибок передискретизации и обеспечения наибольшего радиометрического и геометрического качества результатов совмещения.

5 - Использование некоторых из совмещенных и географически при-

вязанных изображений в качестве базовых для последующей привязки получаемых в дальнейшем изображений.

В работе детально рассматриваются этапы предобработки изображений, отбора, идентификации и верификации ОТ. Этап финального трансформирования предлагается осуществлять подробно хорошо известными и описанными в литературе методами.

Предварительная координатная привязка осуществляется с использованием дополнительной информации о местоположении и ориентации КА во время съемки и заключается в определении на базовом изображении координат выбранной на совмещаемом изображении регулярной сетки ОТ. Результаты этого этапа являются необходимой априорной информацией для алгоритма совмещения.

Этап идентификации ОТ является основным и во многом определяют эффективность решения задачи совмещения. В случае использования площадных методов совмещения вместо формализованно описанных деталей оперируют фрагментами изображений. На этапе идентификации в работе используется методика скользящего окна, обеспечивающая нахождение наилучшего положения заданного фрагмента (образца) одного из изображений на другом изображении. Сравнение фрагментов осуществляется с использованием некоторой численной меры сходства.

Поиск образца проводится внутри предопределенной области (в зоне поиска) на совмещаемом изображении вокруг расчетного ожидаемого положения по следующему алгоритму:

■ Попиксельное перемещение окна, размер которого равен размеру образца базового изображения, внутри зоны поиска на совмещаемом изображении.

■ Сравнение получаемого фрагмента-кандидата совмещаемого изображения внутри окна с образцом путем вычисления значения меры сходства для каждого положения скользящего окна.

■ Позиция, демонстрирующая наилучшее значение меры сходства, указывает положение образца на совмещаемом изображении.

При таком подходе сравнение искомого образца со всеми возможными фрагментами-кандидатами совмещаемого изображения приводит к надежной идентификации.

В работе подробно рассмотрен корреляционный метод совмещения, основанный на применении методики скользящего окна и использовании коэффициента корреляции в качестве меры сходства фрагментов. Этот метод является достаточно надежным и точным, в том числе и при наличии шумов. Он может применяться и для совмещения изображений с существенно различающимися радиометрическими характеристиками. Недостатком метода является то, что целевая корреляционная функция зачастую демонстрирует очень гладкий и трудно детектируемый максимум.

В качестве альтернативы корреляционному методу в работе предлагается использовать идентификацию на основе МНК. Применение МНК для совмещения изображений позволяет оценить вертикальные и горизонтальные сдвиги образца относительно фрагмента базового изображения, предполагая линейную зависимость между значениями яркости пикселов изображений. Получаемая при этом так называемая нормальная система уравнений наблюдения имеет четыре неизвестных параметра и является нелинейной. Линеаризация этой системы приводит к итерационному процессу решения. Данный подход может обеспечивать очень высокую точность совмещения (порядка 5% размера пиксела), однако его применение осложняется рядом факторов. Количество итераций для достижения необходимой точности решения в общем случае непредсказуемо. При некоторых формах поверхности целевой функции итерационный процесс из части стартовых точек не может достичь реального минимума. В некоторых случаях итерационный процесс может зацикливаться в виде бесконечных шагов вокруг минимального значения. Кроме того,

используемые при линеаризации градиентные функции должны быть гладкими и определенными для любых значений параметров. В реальном случае, однако, градиентные функции являются гладкими только в пределах одного пиксела и имеют разрывы на границах пикселов. Следовательно, надежное решение системы для любых фрагментов изображений не гарантировано.

В работе предложен упрощенный подход, основанный на комбинации МНК и методики скользящего окна и позволяющий избежать вышеперечисленных проблем. Для каждого положения скользящего окна предполагается линейная модель зависимости значений яркости пикселов совмещаемого и базового изображений:

где Вху - значение яркости пиксела базового изображения с координатами - значение яркости пиксела совмещаемого изображения с координатами, сдвинутыми относительно (х,у) на (/,т); к\л Ь-неизвестные параметры линейной зависимости значений яркости пикселов совмещаемого и базового изображений. Подобные уравнения, составленные для всех пикселов фрагмента, формируют избыточную систему линейных уравнений наблюдения с двумя неизвестными.

Оценка по МНК вектора | = используется для вычисления значения квадратической ошибки Еы для текущего положения скользящего окна (/,т), используемого как мера рассогласования фрагмейтов совмещаемого и базового изображений:

Предлагаемый комбинированный подход к решению задачи с использованием МНК гарантирует надежную идентификацию фрагментов благодаря тому, что проверяются все возможные фрагменты-претенденты внутри зоны поиска совмещаемого изображения. Объем необходимых вычислений постоянен для фиксированного размера зоны поиска и размера фрагмента.

Приведенный в работе сравнительный анализ эффективности идентификации ОТ на базе корреляции и МНК основан на оценке ошибок совмещения и вероятности правильной идентификации ОТ. Анализ зависимости этих показателей от основных параметров алгоритмов - размеров используемого фрагмента и зоны поиска -позволил не только сравнить методы идентификации ОТ, но и сфор-

мулировать основные правила для выбора оптимальных значений параметров, обеспечивающих заданную точность и надежность и минимизирующих вычислительные затраты. Размер фрагмента, обеспечивающий некоторое заданное значение вероятности правильной идентификации, зависит от характеристик снимаемого ландшафта. Для выбора на этапе идентификации оптимального размера фрагмента предложено, аналйзировать автокорреляционную функцию, характеризующую статистическую зависимость между пикселами изображения. Идентификация ОТ на основе МНК обеспечивает несколько большую надежность, хотя и требует больших вычислительных затрат.

Благодаря попиксельному перемещению скользящего окна, местоположение ОТ при идентификации определяется с точностью не более одного пиксела. Для обеспечения субпиксельной точности необходимо проводить уточнение местоположения ОТ, причем для уменьшения общих вычислительных затрат этот этап целесообразно осуществлять после верификации ОТ.

Предложенный в работе метод субпиксельного уточнения ОТ основан на предположении о постоянстве линейной зависимости между значениями яркости соответствующих пикселов совмещаемого и базового изображений в пределах некоторой окрестности. При этом используются оценки коэффициентов £ и В, полученные при сопоставлении фрагментов по МНК на пиксельном уровне. Оценка величины субпиксельного сдвига фрагментов осуществляется на основе МНК. Избыточная система уравнений наблюдения является нелинейной и содержит два незвестных параметра. Линеаризация системы ведет к необходимости ее итерационного решения. Одним из основных требований для надежного получения решения итерационным путем является определенность градиентных функций на каждом шаге. Величины этих функций направляют следующий шаг итерационной процедуры к местоположению минимума целевой функции. Однако, в случае целочисленных величин сдвигов фрагментов, градиентные функции определены неоднозначно.

Для обеспечения надежного уточнения местоположения ОТ предложено использовать альтернативный итерационному принцип. Он основан на том, что градиентные функции гладкие, а целевая функция имеет единственный минимум внутри каждого из четырех квадрантов вокруг точки нулевого сдвига ((-1+0,-1+о), (0+1,-1+0), (-1+0,0+1), (0+1,0+1)). Эти квадранты представляют четыре возможных случая смешивания пикселов совмещаемого изображения внутри одного

пиксела базового изображения или четыре возможных сдвига в вертикальном или горизонтальном направлениях на величину от нуля до одного пиксела. Вместо выбора некоторой стартовой точки и последующей итерационной процедуры предлагается проводить четыре одинарных шага начиная от центров квадрантов. Начальные точки в этом случае расположены в положениях (-0,5;-0,5), (0,5;-0,5), (-0,5;0,5) и (0,5;0,5) относительно точки нулевого сдвига.

Предлагаемый метод графически представлен на рис.2. Здесь оцененное по МНК на пиксельном уровне наилучшее положение ОТ показано темным квадратным маркером, четыре начальные точки для одношаговых оценок по МНК субпиксельного смещения обозначены светлыми, а точка реального решения - круглым темным маркером.

Х-1 Х-05 X Х+0.5 Х+1 У-1 . .

У05 ----

I ■

• ~; * , • • - ; •

'* .. ■ у

I I у - -

У+05-----б*-------нК-—-

I I

у+1 1

Рис.2. Четыре стартовые точки для одношаговых оценок субпиксельного смещения по МНК.

Градиентные функции однозначно определены в четырех начальных точках. Благодаря выбору этих четырех начальных точек появляется возможность оценить с некоторой точностью все четыре возможные локальные минимумы целевой функции. Выбор глобального минимума осуществляется путем сравнения четырех полученных значений целевой функции в локальных минимумах.

Основным преимуществом предложенного метода является большая надежность получаемого решения. Использование двух неизвестных вместо традиционно используемых четырех упрощает вычисления. Проведение четырех одношаговых оценок вместо итерационной процедуры обеспечивает фиксированное время субпиксельного уточнения ОТ. Оба этих преимущества достигаются за счет некоторой потери точности. Однако надежность получаемого результата более важна. Время вычислений также крайне важно во многих приложениях, требующих совмещения изображений.

Исследование- методов выбора ОТ в диссертационной работе включает в первую очередь анализ их влияния на точность и надежность всего процесса совмещения.

Простейший метод автоматического отбора состоит в выборе регулярной сети ОТ с некоторым фиксированным шагом. При этом не используется информация, содержащаяся в самих изображениях, и велика вероятность того, что будет отобрана ОТ, вокруг которой на изображении нет никаких различимых деталей.

При использовании площадных методов совмещения целесообразно следовать алгоритму, основанному на отборе опорных фрагментов на базовом изображении. При этом изображение разделяется на набор фрагментов равного размера, для каждого из них вычисляется значение оператора интереса, численно характеризующего присутствие различимых деталей внутри фрагмента. Затем в качестве ОТ выбираются центральные точки фрагментов, демонстрирующих наилучшие значения оператора интереса. В работе рассмотрены два метода, использующие операторы Моравека и энтропии. Оба метода обеспечивают существенно лучшие результаты, чем отбор регулярной сетки ОТ. Применение оператора Моравека дает намного более высокую вероятность последующей правильной идентификации ОТ и меньшие величины ошибок даже для малых размеров фрагментов.

Однородность распределения ОТ по изображению является одним из главных требований к процедуре выбора, ведущим к увеличению точности результатов совмещения. При однородном распределении на изображении отсутствуют большие области, не покрытые ОТ, где возможны существенные локальнее ошибки. Отбор ОТ по наибольшим значением оператора интереса зачастую приводит к достаточно неравномерному покрытию изображения.

В работе предложен следующий метод итеративного выбора ОТ, гарантирующий, что расстояние между любой точкой изображения и, по крайней мере, одной ОТ не превышает некоторого заданного характеристического расстояния:

■ Рассчитывается поле значений оператора интереса.

■ Находится фрагмент с наибольшим значением оператора интереса, его центральная точка выбирается в качестве ОТ.

■ Значения операторов интереса окружающих фрагментов уменьшаются в соответствии со следующей затеняющей функцией:

где /,, и /, I - исходное и модифицированное значения оператора интереса для фрагмента с координатами / и /, х и у - координаты очередного выбранного опорного фрагмента, с/лэ? - заданное значение характеристического расстояния между ОТ. Переходим к поиску следующей ОТ до тех пор, пока не будет выбрано некоторое заданное количество ОТ.

После этого, для заполнения оставшихся свободными областей дополнительными ОТ необходимо выполнить вторую фазу алгоритма, реализующую более строгий подход к отбору фрагментов:

■ Маскируются все фрагменты изображения, расстояние от которых до, по крайней мере, одного опорного фрагмента меньше заданного характеристического расстояния.

■ В случае если на изображении присутствует хотя бы один незамаскированный фрагмент, выбирается дополнительный опорный фрагмент с наибольшим значением оператора интереса. Все расположенные вокруг него фрагменты маскируются.

■ Этот процесс повторяется до тех пор, пока на изображении остаются незамаскированные фрагменты.

При использовании предложенного алгоритма ОТ распределяются однородно по площади изображения (см. правую часть рис.3). Отобранные фрагменты всегда демонстрируют локально максимальные значения оператора интереса в пределах некоторых окрестностей.

58

—'.ч!

'Л

Рис.3. Выбор опорных фрагментов на поле значений оператора интереса с затенением близлежащих фрагментов (слева) и выбранная однородная сеть ОТ (справа).

Расчет ожидаемого положения выбранной ОТ осуществляется на основе функции преобразования, определяющей взаимно однозначное соответствие координат любого пиксела на базовом и на совмещаемом изображении. Обычно в качестве функции преобразования используется полином первого или второго порядка. Оценка коэффициентов функции преобразования производится с помощью МНК на основе координат ОТ, известных по результатам предшествующих этапов алгоритма (например, предварительной координатной привязки). В случае существенных локальных искажений при перспективной съемке холмистой местности вместо полиномиального предсказания предлагается использовать кусочно-линейную аппроксимацию функции преобразования. Расчет ожидаемого местоположения каждой ОТ на совмещаемом изображении производится в соответствии с линейной функцией, параметры которой задаются тремя ближайшими ОТ.

Следующая часть третьей главы посвящена рассмотрению влияния различных методов предварительной обработки изображений на точность и надежность последующего совмещения с использованием корреляционного метода или МНК. Рассмотрены радиометрические преобразования, методы пространственной фильтрации (медианная и гауссовская фильтрация) и выделения границ на изображениях (фильтр Лапласа и направленный фильтр).

Изучение радиометрических преобразований показало, что их целесообразно применять только для последующего визуального анализа изображений и ручного совмещения.

Исследование методов пространственной фильтрации продемонстрировало преимущество медианного фильтра, обеспечивающего меньшие ошибки и несколько большую вероятность правильной идентификации ОТ, чем гауссовская фильтрация. Однако предварительная обработка изображений как гауссовским, так и медианным фильтрами практически не обеспечивает улучшения точности и надежности последующего совмещения. Поэтому пространственная фильтрация должна проводиться перед совмещением только в случае присутствия на изображениях сильных случайных шумов.

Применение методов выделения границ, а особенно фильтра Лапласа, продемонстрировало существенное (в некоторых случаях двукратное) снижение ошибок совмещения и повышение вероятности правильной идентификации. Наилучшие результаты достигались при использовании для отбора ОТ оператора Моравека. Результаты, получаемые при использовании корреляционного метода и МНК, в

этом случае практически совпадали, что позволяет утверждать предпочтительность использования корреляционного метода, как требующего меньших вычислительных затрат. Направленный фильтр продемонстрировал несколько худшие результаты, несмотря на то, что обработанные им изображения визуально легче интерпретировать. Поэтому его целесообразно использовать для ручного совмещения.

Рекомендуемая многими авторами комбинированная предварительная обработка, заключающаяся в пространственной фильтрации изображений гауссовским фильтром и последующем выделении границ фильтром Лапласа, продемонстрировала низкую эффективность. .

Последняя часть третьей главы посвящена изучению этапа верификации ОТ. Подробно рассмотрен традиционный метод вери- • фикации, основанный на анализе остаточных ошибок ОТ, определяемых как расстояние между ожидаемым положением ОТ (на основе функции преобразования) и определенным в процессе идентификации реальным положением на базовом изббражении. При этом все ОТ, остаточные ошибки которых превышают некоторый заданный порог, исключаются из дальнейшего рассмотрения как неправильно идентифицированные. Два альтернативных метода верификации, основанные на сравнении деталей изображений в окрестности ОТ, используют в качестве меры сходства коэффициент .корреляции или ошибку МНК, вычисленные по значениям яркости пикселов подлежащих совмещению изображений в пределах квадратного окна вокруг ОТ. Сравнение полученной величины меры сходства с предварительно установленным пороговым значением позволяет отбраковывать неправильно идентифицированные ОТ. Два последних метода верификации продемонстрировали недостаточную эффективность, хотя 11 позволяли отсеивать небольшую часть неправильно идентифицированных ОТ.

Для эффективной верификации предложено использовать комбинированный подход, сочетающий дискриминацию по МНК и коэффициентам корреляции, а также многоступенчатую дискриминацию ОТ по остаточным ошибкам с ужесточением пороговых значений и пересчетом функции преобразования.

В работе предложен метод верификации ОТ, основанный на анализе текстуры соответствующих фрагментов изображений с использованием преобразования Уолша. Свойством преобразования Уолша является его способность разделять информацию по разным пространственным частотам. Основное описание содержимого фраг-

мента изображения.- информация о текстуре и деталях - хранится в области средних частот. В качестве меры сходства для верификации ОТ предложено использовать коэффициент корреляции преобразований Уолша от фрагментов изображений. Для сравнения текстурной информации предложено исключать из преобразованных фрагментов части, соответствующие низким и высоким пространственным частотам. Эффективность предложенного, метода верификации ОТ иллюстрируется рис.4, где приведен пример существенно различающихся распределений коэффициентов корреляции преобразования Увлша для правильно и неправильно идентифицированных ОТ на тестовом изображении.

Рис.4. Гистограмма распределения коэффициентов корреляции преобразования Уолша для правильно (слева) и неправильно (справа) идентифицированных ОТ.

В четвертой главе представлено экспериментальное подтверждение эффективности предложенного алгоритма на основе совмещения модельных видеоданных, которые планируется получать с КА FUEGO/FFEW, а также совмещения и разноканапьных изображений, полученных с КА Landsat, SPOT, "Ресурс-01".

На момент выполнения диссертационной работы реальные изображения с КА FUEGO/FFEW еще не были получены. Поэтому проверка работоспособности алгоритма проводилась с использованием двух изображений одной и той же области на земной поверхности, полученных съемочной аппаратурой SPOT-XS в 2000 году с временным интервалом около 2 месяцев. Такой подход не влияет на адекватность эксперимента по причине достаточно близких спектральных характеристик и незначительного различия пространствен-

ного разрешения. Результаты предварительной географической координатной привязки моделировались путем ручного выбора с заведомо низкой точностью (средняя ошибка 3 пиксела) десяти соответствующих ОТ, равномерно распределенных по площади изображений.

Совмещение изображений проводилось по разработанному алгоритму в автоматическом режиме с использованием специально разработанного программного обеспечения - программы "Registrator". В результате был получен набор из 106 ОТ, равномерно распределенных по площади изображений. Полученные при' этом с использованием линейной функции трансформирования оценки остаточных ошибок ОТ (среднее значение - 0,975 пиксела, максимальное значение - 2,244 пиксела) достаточно велики, что вызвано в первую очередь. локальными геометрическими искажениями при перспективной съемке холмистой местности.

Для достоверной численной оценки точности полученных результатов совмещаемое изображение было трансформировано путем кусочно-афинного преобразования в проекцию базового в соответствии с полученным набором координат ОТ. Затем на обоих изображениях были вручную отобраны и идентифицированы 30 проверочных ОТ, равномерно распределенных по площади изображений. Среднее значение ошибки проверочных ОТ составило 0,3 пиксела (СКО=0,56).

Вторая серия представленных в работе экспериментов была направлена на оценку величины межканальных сдвигов в изображениях, полученных многоканальными съемочными системами Landsat-TM, Landsat-ETM, SPOT-XS, "Ресурс-01" МСУ-Е. Точная оценка величины межканальных сдвигов является отдельной задачей совмещения. Кроме того, эти эксперименты позволили оценить точность предлагаемого алгоритма совмещения изображений на субпиксельном уровне.

В качестве совмещаемого и базового изображения поочередно выбиралось каждое из изображений отдельных каналов (например, всего для случая шестиканального изображения, полученного системой Landsat-TM - 36 возможных комбинаций). Получаемые при автоматическом совмещении по разработанному алгоритму наборы ОТ позволили оценивать величины вертикальных и горизонтальных взаимных сдвигов для каждой пары канальных изображений.

С учетом того, что найденные величины описывают сдвиги в единой системе из нескольких канальных изображений, с помощью

МНК были получены более точные оценки межканальных сдвигов. При этом сдвиг первого канала предполагался равным нулю. Полученные величины горизонтальных и вертикальных межканальных сдвигов представлены в табл.1. Для наглядности на рис.5 представлено графическое отображение межканальных сдвигов изображения, полученного аппаратурой 1_апс)за{-ТМ (соответствующие пикселы шести канальных изображений показаны смещенными друг относительно друга на найденную величину межканальных сдвигов).

Таблица 1

Величины межканальных сдвигов на изображениях, полученных многоканальными съемочными системами (в пикселах)

Каналы Горизонталь- Вертикаль- Каналы Горизонталь- Вертикаль-

ный сдвиг ный сдвиг ный сдвиг ный сдвиг

Landsat-TM Landsat-ETM

Канал 1 0,0000 0,0000 Канал 1 0,0000 0,0000

Канал 2 -0,0107 -0,0929 Канал 2 0,0715 0,0260

Канал 3 -0,0422 -0,1086 Канал 3 0,2000 0,0070

Канал 4 -0,0168 -0,0716 Канал 4 -0,0600 -0,0849

Канал 5 -0,5885 -0,4946 Канал 5 0,0127 0,1291

Канал 6 - - Канал 6 -0,4348 0,5799

Канал 7 -0,5834 -0,3755 Канал 7 0,0391 0,1447

SPOT-XS Канал 8 -0,4135 0,5743

Канал 1 0,0000 0,0000 «Ресурс-01» МСУ-Е

Канал 2 0,0353 -0,2861 Канал 1 0,0000 0,0000

Канал 3 -0,2363 -0,2817 Канал 2 0,4402 1,6838

Канал 4 -0,2625 -0,0850 Канал 3 1,2344 2,7919

Ch5

Рис.5. Межканальные сдвиги изображения, полученного аппаратурой 1_апс1за1-ТМ.

Приведенные результаты подтверждают наличие существенных межканальных сдвигов в изображениях, полученных разными многоканальными съемочными системами.

В случае камеры МСУ-Е на КА "Ресурс-ОГ эти сдвиги особенно велики - до 2,8 размера пиксела. Съемочная система Landsat-ETM продемонстрировала похожую на Landsat-TM картину межканальных сдвигов. Изображение, полученное съемочной системой SPOT-XS продемонстрировало наименьшие межканальные сдвиги - около 0,25 размера пиксела. Эти результаты хорошо согласуются с известными величинами межканальных сдвигов, полученными при летной геометрической калибровке съемочной аппаратуры КА SPOT.

Средние величины ошибок определения отдельных межканальных сдвигов и средние ошибки определения индивидуальных ОТ для изображений, полученных разными съемочными системами приведены в табл.2.

Таблица 2

Средние ошибки определения межканальных сдвигов на изображениях, полученных разными съемочными системами

Съемочная система Кол-во каналов Ошибка определения межканальных сдвигов, в пикселах Ошибка определения ОТ, в пикселах

Landsat-TM 6 0,0165 0,113

"Ресурс-01" МСУ-Е 3 0,0220 0,221

Landsat-ETM 7 0,0901 0,349

SPOT-XS 4 0,0461 0,273

Для большинства съемочных систем ошибка определения величины межканальных сдвигов не превышает 5% размера пиксела (несколько большая ошибка - около 9% размера пиксела -наблюдается лишь в случае изображения с/ Ьж^эа^ЕТМ, часть каналов которого первоначально имела худшее пространственное разрешение). Полученная высокая точность подтверждает возможность использования предложенного метода совмещения для оценки межканальных сдвигов многоканальных изображений. Средние значения ошибок для отдельных ОТ составили 0,1-0,35 размера пиксела, что подтверждает высокую субпиксельную точность предложенного алгоритма совмещения.

В заключении сформулированы выводы и перечислены основные результаты, полученные при выполнении диссертационной работы.

В приложениях представлен определенный Российским космическим агентством состав задач' мониторинга природной среды, для решения которых целесообразно использовать данные ДЗЗ в оптическом диапазоне излучений, приведено краткое описание системы ДЗЗ РиЕСО/РРЕ\Л/, а также представлено описание программного обеспечения совмещения видеоданных, реализующего предложенный и разработанный в диссертации метод.

Выводы и основные полученные результаты

В представленной диссертационной работе приведены результаты разработки методов и программно-алгоритмического обеспечения совмещения изображений ДЗЗ.

На основе анализа задач исследований Земли из космоса, при решении которых необходимо проведение совмещения изображений, сформулированы основные требования к алгоритму совмещения. Проведенный сравнительный анализ известных методов совмещения изображений позволил предложить структуру обобщенного алгоритма совмещения разновременных и разноканальных данных ДЗЗ, обеспечивающего субпиксельную точность.

При разработке алгоритма совмещения в рамках диссертационной работы предложен ряд методов для реализации отдельных его этапов. Проведены исследования, позволяющие выбирать оптимальные параметры алгоритма, максимизирующие точность и минимизирующие временные затраты на его выполнение. Предложенный алгоритм совмещения изображений реализован в виде специализированного программного обеспечения.

Эффективность разработанных в рамках диссертационной рабо--ты алгоритма и методов подтверждается рядом проведенных экспериментов по совмещению разновременных изображений. Высокая точность предложенного алгоритма демонстрируется проведенными по "разработанной методике экспериментами по определению межканальных сдвигов в изображениях, полученных многоканальной съемочной аппаратурой 1_ап(18аММ, иапс^-ЕТМ, БРОТ-ХЭ, "Ресурс-ОГ МСУ-Е.

Разработанное при выполнении диссертационной работы программно-алгоритмическое обеспечение в настоящее время используется для оперативной автоматизированной обработки данных ДЗЗ в

нескольких европейских научных центрах, проводящих работы в рамках различных проектов ЕКА, и позволяет решать с использованием разновременных космических снимков задачу мониторинга динамических процессов и явлений, происходящих на земной поверхности.

В настоящее время полученные диссертантом результаты используются при разработке программно-алгоритмического обеспечения обработки изображений, получаемых создаваемой в Оптико-физическом отделе ИКИ РАН аппаратурой ДЗЗ.

Работы, опубликованные по теме диссертации

1. Василейский A.C., Витриченко Э.А. Решение кривых блеска звезды ВМ Ori, полученных Волфом в полосах UVBYRI // Письма в астрономический журнал.- 2000.- Т.26.- № 8.- С.613-624.

2. Василейский A.C., Гридин А.Н., Юсупова О.Х. Оптимизация программы развертывания орбитальных группировок спутниковых систем / Современные технологии в задачах управления, автоматики и обработки информации: сборник трудов 8-го международного научно-технического семинара.- М.: Издательство МАИ, 1999.- С.333-335.

3. Василейский A.C., Железное М.М., Зиман Я.Л. Алгоритмы координатной привязки космических видеоданных по навигационным измерениям // Известия ВУЗов: приборостроение.-2003.- Т.46.- № 4.- С.37-43.

4. Василейский A.C., Железное М.М., Зиман Я.Л., Форш A.A. Повышение точности координатной привязки данных дистанционного зондирования Земли // Известия ВУЗов: приборостроение.- 2003.- Т.46,- № 4.- С.62-65.

5. Василейский A.C., Лапшев Ю.В., Максимов H.A. Система распространения изображений, полученных с метеорологического спутника GOMS / Современные технологии в задачах управления, автоматики и обработки информации: сборник • трудов 8-го международного научно-технического семинара.- М.: Издательство МАИ, 1999.- С.335-337.

6. Al-Rawi K.R., Casanova J.-L., Vasileisky A.S. A very quick neural network algorithm for cloud detection // Geocartô International.- 2001.-Vol.16.- № 2.- P.53-57.

7. Berger M., Kaufmann H., Ziman Y., Kuzmin A., Nik'rtin A., Polyanski I., Vasileisky A., Oertel D., Zhukov B. Entwicklung neuer Bildregistrierungsverfahren zur Fusion von Fernerkundungsdatensätzen mit unterschiedlichen geometrischen und spektralen

Auflösungen.- 1998.- Endbericht zum Vorhaben:. BMBF 93F20GUS; GeoForschungsZentrum Potsdam: GFZ-STR 98/02, 52 s.

8. Maximov N.A., Vasileisky A.S. Image processing technology, for remote sensing / Proceedings of the 1993 MAI/BUAA international symposium on Automatic control.- Moscow, MAI.-1993.- P.38-42.

9. Vasileisky A.S., Berger M. Automated Co-registration of Multi-sensor Images on the Basis of Linear Feature Recognition for Subsequent Data Fusion. Proceedings of the "Fusion of Earth Data" conference, Sophia Antipolis, France, 1998.- P.59-66.

10. Vasileisky A.S., Casanova J.-L.R., Al-Rawi K.R. Automatic sub-pixel co-registration of the same sensor images by the least square technology // Observing our environment from space: new solutions for a new millenium. Ed. G.Begni.- 2002.- Rotterdam: Balkema.- P.221-226.

11. Vasileisky A.S., Casanova J.-L.R., Al-Rawi K.R. Accurate images' co-registration technique for fine geo-location in the FUEGO/FFEW project / Teledeteccion. Medio ambiente y cambio global. Eds. J.I.R.Urrutia, JAMartinez-Casasnovas.- 2001.- Universidad de Lleida.- P.481-484.

12. Vasileisky A.S., Casanova J.-L.R., Romo A. Control points verification technique for reliable and accurate images co-registration / Proceedings of the 22-nd EARSEL Symposium, Praha, June 4-7, 2002.

13. Vitrichenko E.A., Lazarev V.l., Panferov V.l., Poskonin Yu.A., Revzina N.B., Vasileisky A.S., Altov V.V., Kopiatkevich R.M., Starostin A.N., Belyavskiy E.P., Elchin A.P. Star Sensor Thermal Mode / Proceedings of the 28-th ICES conference, No 981546,1998.'

055(02)2 Размножено на ротапринте ИКИ РАН

_Москва, 117997, Профсоюзная 84/32

Подписано к печати 9.09.2003

Заказ /gд£ Формат 70x108/32 Тираж 100 1 уч.-изд.л.

» 15 70 4 х57<А

%

* í «

„л

1. Введение

2. Глава 1. Постановка задачи совмещения изображений 8 ш 2.1. Задачи, решаемые на основе совмещения изображений

2.2. Требования к процессу совмещения изображений

2.3. Точность предварительной привязки как требование к процессу совмещения изображений

2.3.1. Методика оценки точности предварительной привязки

2.3.2. Исходные данные для оценки точности

2.3.3. Результаты оценки точности предварительной привязки

3. Глава 2. Известные методы совмещения видеоданных

3.1. Площадные методы совмещения

3.2. Контурные методы совмещения

3.3. Трансформирование изображений при совмещении

3.4. Сравнительный анализ методов совмещения

4. Глава 3. Предлагаемый метод субпиксельного совмещения видеоданных и его преимущества

4 4.1 Предлагаемый общий алгоритм совмещения

4.2. Идентификация опорных точек

4.2.1. Методика скользящего окна

4.2.2. Корреляционный метод

4.2.3. Метод наименьших квадратов

4.2.4. Выбор размера фрагмента и области поиска

- Зона поиска

- Размер фрагмента

- Выбор размера фрагмента для корреляционного метода

- Выбор размера фрагмента для МНК

4.3. Отбор опорных точек

4.3.1. Оператор Моравека

4.3.2. Оператор энтропии 61 it 4.3.3. Сравнение операторов Моравека и энтропии

4.3.4. Выбор однородной сети опорных точек

4.3.5. Предсказание положения опорных точек

- Функция преобразования

- Оценка функции преобразования

4.4. Предобработка изображений

4.4.1. Радиометрические преобразования

4.4.2. Пространственная фильтрация

4.4.3. Выделение границ

4.5. Уточнение местоположения опорных точек 98 4.5.1. Субпиксельное уточнение с использованием МНК

4.6. Верификация опорных точек

4.6.1. Верификация по остаточным ошибкам

4.6.2. Верификация по корреляционному коэффициенту

4.6.3. Верификация по ошибке МНК

4.6.4. Верификация по корреляции Уолша

4.6.5. Комбинированная многоступенчатая верификация

5. Глава 4. Экспериментальная проверка метода субпиксельного совмещения видеоданных

5.1. Совмещение модельных видеоданных с КА FUEGO/FFEW

5.2. Совмещение изображений разных каналов

Актуальность работы

Изображения земной поверхности, получаемые с космических аппаратов (КА), уже на протяжении нескольких десятков лет с успехом применяются для изучения Земли. В последнее время наблюдается устойчивая тенденция роста использования видеоданных дистанционного зондирования Земли (ДЗЗ) в решении научных, хозяйственных и прикладных задач.

Объем видеоинформации ДЗЗ и необходимость оперативного использования большей ее части требуют разработки и реализации эффективных методов автоматизированной и автоматической обработки получаемых из космоса изображений земной поверхности.

Космические видеоданные, отражающие результаты съемки одних и тех же участков земной поверхности, получают в разное время, разными съемочными системами, с разных КА, в различных спектральных зонах и с разным пространственным разрешением. В то же время, эффективность исследования большинства характеристик земной поверхности и происходящих на ней процессов может быть достигнута только при совместной обработке большей части всех вышеперечисленных видеоданных.

Такая совместная обработка разных изображений одного и того же участка земной поверхности требует их координатного совмещения с субпиксельной точностью.

При совмещении двух изображений одно из них принято называть базовым или опорным, второе обычно называют совмещаемым. Совмещение изображений это процесс трансформирования совмещаемого изображения, осуществляемого таким образом, чтобы одни и те же пространственные структуры на нем и на базовом изображении имели одинаковые координаты в принятой системе координат (например, в системе координат базового изображения).

Таким образом, проблема совмещения различных получаемых из космоса изображений земной поверхности может рассматриваться как задача координатной привязки совмещаемого изображения к базовому. Автоматизация такого совмещения является весьма актуальной задачей.

Цель работы

Целью диссертационной работы явилась разработка метода, алгоритма и программного обеспечения автоматизированного совмещения крупномасштабных разновременных изображений одних и тех же участков земной поверхности. В основу представляемой к защите диссертационной работы легла работа автора в рамках проекта ESA FUEGO/FFEW. Основной задачей этого проекта является разработка системы КА ДЗЗ для детектирования и мониторинга лесных пожаров. Разрабатываемое диссертантом программно-алгоритмическое обеспечение предназначалось для совмещения изображений, получаемых в разное время оптико-электронной съемочной системой перспективного КА FUEGO/FFEW. В то же время представленные в диссертационной работе методические и алгоритмические решения могут с успехом использоваться для совмещения видеоданных с других съемочных систем.

Методы исследования

Основные результаты данной диссертационной работы получены путем изучения существующих методов совмещения изображений, анализа их эффективности и разработки алгоритма, оптимизирующего решение задачи совмещения, а также компьютерного моделирования процесса совмещения для подтверждения эффективности предлагаемого алгоритма и выбора его основных параметров.

Структура и основное содержание работы

Диссертационная работа включает введение, четыре главы, заключение, список литературы и приложения.

Заключение

В представленной диссертационной работе приведены результаты исследования методов и разработки программно-алгоритмического обеспечения совмещения изображений, получаемых при дистанционном зондировании Земли (ДЗЗ). Совместная обработка изображений одного и того же участка земной поверхности, полученных в разное время, разными съемочными системами, на борту разных космических аппаратов (КА), в различных спектральных зонах и с разным пространственным разрешением требует их координатного совмещения с субпиксельной точностью. Большие объемы видеоинформации ДЗЗ и необходимость ее оперативного использования требуют разработки эффективных методов автоматизированного совмещения.

Разработка метода совмещения видеоданных в рамках представленной диссертационной работы осуществлялась на основе анализа задач исследований Земли из космоса, при решении которых необходимо проведение совмещения разных изображений, и основных требований к решению задачи совмещения.

Проведенный подробный сравнительный анализ известных методов совмещения изображений и их эффективности позволил выбрать структуру предложенного алгоритма совмещения разновременных и разноканальных данных ДЗЗ.

При разработке алгоритма совмещения и выборе оптимальных методов, используемых на каждом из его шагов, в рамках представленной диссертационной работы:

Предложен метод выбора оптимальной сети опорных точек на изображениях, обеспечивающий их однородное распределение. Разработан эффективный метод предсказания положения опорных точек на основе одновременного использования глобальных функций преобразования и локальных свойств изображений.

Разработан двухступенчатый метод уточнения положения опорных точек на основе метода наименьших квадратов (МНК), обеспечивающий надежную идентификацию опорных точек и субпиксельную точность совмещения изображений.

Предложен комбинированный многоступенчатый метод верификации опорных точек с использованием остаточных ошибок и сравнения текстурных признаков фрагментов изображений с помощью преобразования Уолша.

Проведены исследования, позволяющие выбирать оптимальные параметры алгоритма, минимизирующие временные затраты на его выполнение и максимизирующие точность получаемых результатов.

Предложенный алгоритм совмещения изображений реализован в виде специализированного программного обеспечения.

Эффективность разработанного в рамках данной диссертационной работы метода и алгоритма подтверждается рядом проведенных экспериментов по совмещению разновременных и разноканальных изображений, полученных с съемочной аппаратурой КА Landsat, SPOT, Ресурс-01.

Разработанное при выполнении представленной диссертационной работы программно-алгоритмическое обеспечение предназначалось для совмещения изображений, получаемых в разное время оптико-электронной съемочной системой перспективного КА FUEGO/FFEW, создаваемого в рамках проекта Европейского Космического Агентства (ESA). В то же время представленные методические и алгоритмические решения и программное обеспечение могут с успехом использоваться для совмещения видеоданных, получаемых другими съемочными системами.

В настоящее время разработанное программно-алгоритмическое обеспечение используется для оперативной автоматизированной обработки данных ДЗЗ в нескольких европейских научных центрах, проводящих работы в рамках различных проектов ESA, и позволяет решать с использованием разновременных космических снимков задачу мониторинга динамических процессов и явлений, происходящих на земной поверхности. На основе предложенного метода совмещения изображений автором диссертационной работы в рамках совместного проекта ИКИ РАН и Немецкого Аэрокосмического Центра (DLR) разработана методика для прецизионной межканальной геометрической калибровки аппаратуры ДЗЗ, установленной на борту КА BIRD.

1. Агапов С.В. Фотограмметрия сканерных снимков. М., Картгеоцентр-Геодезиздат, 1976.-176 с.

2. Андросов В.А., Бойко Ю.В., Бочкарев А.М., Однорог А.П. Совмещение изображений в условиях неопределенности // Зарубежная радиоэлектроника.- 1985.- № 8, С.54-70.

3. Василейский А.С., Витриченко Э.А. Решение кривых блеска звезды ВМ Ori, полученных Волфом в полосах UVBYRI // Письма в астрономический журнал.- 2000.- Т.26.- № 8.- С.613-624.

4. Василейский А.С., Железное М.М., Зиман Я.Л. Алгоритмы координатной привязки космических видеоданных по навигационным измерениям // Известия ВУЗов: приборостроение.- 2002.- Т.46.- № 4.- С.37-43.

5. Василейский А.С., Железное М.М., Зиман Я.Л., Форш А.А. Повышение точности координатной привязки данных дистанционного зондирования Земли // Известия ВУЗов: приборостроение.- 2002.- Т.46.- № 4.- С.62-65.

6. Гарбук С.В., Гершензон В.Е. Космические системы дистанционного зондирования Земли.- М.: Издательство А и Б, 1997.- 296 с.

7. Гимельфарб Г.Л. Автоматизированная межотраслевая обработка снимков земной поверхности, получаемых с ИСЗ серии LANDSAT // Зарубежная радиоэлектроника, 1988, № 8, С.56-84.

8. Ю.Злобин В.К., Селиванов А.С., Еремеев В.В., Тучин Ю.М. Мультипроцессорная технология межотраслевой обработки видеоданных, полученных системой Ресурс-01 // Исследования Земли из космоса,- 1992.- № 2.- С.82-90.

9. Космическая съемка Земли. М.: ИПРЖР.-2002.- С.131.

10. Левшин В. Л. Биокибернетические оптико-электронные устройства автоматического распознавания изображений.- М.: Машиностроение, 1987.-176 с.

11. Математические и технические проблемы обработки изображений. Под ред. АС.Алексеева, Новосибирск.- 1986.

12. Мишев Д. Дистанционное зондирование Земли из космоса: Пер.с болг.- М.: Мир, 1985.- 232 с.

13. Непоклонов Б.В. Решение обратной фотограмметрической задачи по изображениям, получаемым с помощью многозональных сканирующих устройств с плоскостной разверткой // Труды ГосНИЦИПР.- Вып.27, Л.: Гидрометеоиздат, 1986.-С.141-148.

14. Непоклонов Б.В. Фотограмметрия изображений, получаемых с помощью многозональных сканирующих устройств с плоскостной разверткой // Труды ГосНИЦИПР.- Вып.27, Л.: Гидрометеоиздат, 1986.- С.122-140.

15. Прэтт У. Цифровая обработка изображений: Пер. с англ.- М.: Мир, 1982, 4.1, С.1-310.

16. Прэтт У. Цифровая обработка изображений: Пер. с англ.- М.: Мир, 1982, 4.2, С.316-790.

17. Собчук В. Г., Координатная привязка видеоинформации по опорным точкам / Аэрокосмические исследования Земли, обработка видеоинформации на ЭВМ.- М.: Наука.-С.71-78.

18. Тищенко А.П., Головчин В.Р. Пространственная привязка спутниковых сканерных изображений по траекторным данным / Аэрокосмические исследования Земли, обработка видеоинформации на ЭВМ,- М.: Наука.- С.56-65.

19. Фу К., Гонсалес Р., Ли К. Робототехника: Пер. с англ.- М.: Мир.- 1989.- 624 с.22.