Метод корреляции фоновых изображений для анализа смещений крупномасштабных поверхностей

Поройков, Антон Юрьевич

Метод корреляции фоновых изображений для анализа смещений крупномасштабных поверхностей тема автореферата и диссертации по физике, 01.04.05 ВАК РФ

Поройков, Антон Юрьевич АВТОР

кандидата технических наук УЧЕНАЯ СТЕПЕНЬ

Москва МЕСТО ЗАЩИТЫ

2012 ГОД ЗАЩИТЫ

01.04.05 КОД ВАК РФ

Диссертация по физике на тему «Метод корреляции фоновых изображений для анализа смещений крупномасштабных поверхностей»

Автореферат диссертации на тему "Метод корреляции фоновых изображений для анализа смещений крупномасштабных поверхностей"

На правах рукописи

Поройков Антон Юрьевич

МЕТОД КОРРЕЛЯЦИИ ФОНОВЫХ ИЗОБРАЖЕНИЙ ДЛЯ АНАЛИЗА СМЕЩЕНИЙ КРУПНОМАСШТАБНЫХ ПОВЕРХНОСТЕЙ

01.04.05-Оптика

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

1 7 [¿АП М

Москва - 2012

005044361

Работа выполнена в ФГБОУ ВПО Национальном исследовательском университете «МЭИ» на кафедре физики им. В.А. Фабриканта

Научный руководитель

Официальные оппоненты:

Ведущая организация:

кандидат технических наук,

доцент Скорнякова Надежда Михайловна

Левин Геннадий Генрихович,

доктор технических наук, профессор,

ФГУП «ВНИИОФИ»,

руководитель научно-исследовательского

отделения;

Мурсенкова Ирина Владимировна, кандидат физико-математических наук, доцент, ФГБОУ ВПО "Московский государственный университет им. М.В. Ломоносова", доцент.

ФГУП «Центральный институт авиационного моторостроения имени П.И. Баранова».

Защита состоится « 2012 г. в часов 00 минут на заседании

диссертационного совета Д308.006.01 при Всероссийском научно-исследовательском институте оптико-физических измерений по адресу: 119361, г. Москва, ул. Озерная, д. 46.

С диссертацией можно ознакомиться в библиотеке ФГУП «ВНИИОФИ». Автореферат разослан « ^^ »_

2012 г.

Ученый секретарь диссертационного совета, д.т.н.

Вишняков Г.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Измерение деформации различных объектов является одной из наиболее часто встречающихся задач в современной науке и технике. Такие задачи возникают в строительстве, авиастроении, машиностроении и других отраслях.

В настоящее время в авиастроении и авиации существует проблема проведения полетных испытаний. Данные испытания позволяют существенно сократить время, уходящее на тестирование, как новых экспериментальных моделей, так и только что произведенных серийных образцов летательных аппаратов.

Полетные испытания накладывают множество ограничений на методы и оборудование, которые можно использовать на летательных аппаратах. Использование лазерных источников запрещено по технике безопасности, возможности расположения датчиков вне планера сильно ограничены, использование сложных оптических систем осложнено сильными вибрациями во время полета, расположение оборудования ограничивается конструктивными особенностями летательного аппарата.

Поэтому для проведения полетных испытаний требуется разработка новых методов и методик для измерений различных физических величин удовлетворяющих всем условиям полетных испытаний. Одной из наиболее важных величин является деформация (изменение положения и смещения) различных аэродинамических поверхностей летательных аппаратов (крыльев, элеронов, рулей высоты, лопастей и др.).

Существует большое количество различных, как оптических, так и не оптических методов диагностики деформации: контактная и фазовая профилометрия, тензодатчики, поляризационно-оптические методы, интерферометрические методы и др. Но для полетных испытаний из-за ограничений, перечисленных выше, данные методы не подходят.

Метод корреляции фоновых изображений (МКФИ) - оптический метод измерения смещений различных поверхностей, основанный на применении современных средств компьютерной обработки цифровых изображений. Суть

метода состоит в получении с помощью камер изображений специального рисунка - фонового экрана, который наносится на исследуемую поверхность. Изображения фонового экрана называют картинами метода корреляции фоновых изображений. При воздействии на поверхность фоновый экран подвергается смещению вместе с ней. Таким образом, изображения фонового экрана при различных состояниях поверхности будут различаться. Современные алгоритмы кросскорреляционной обработки позволяют получить информацию о произошедших с поверхностью смещениях.

Основными достоинствами данного метода является простота экспериментальной установки, возможность получить поле смещений крупномасштабной поверхности, а также возможность проводить исследования на натурных объектах, т.е. в полетных испытаниях.

Данный метод достаточно новый и его тщательное изучение не проводилось, поэтому становится актуальным проведение разработки данного метода для анализа смещений крупномасштабных поверхностей.

Цель работы. Разработка и исследование метода корреляции фоновых изображений для анализа смещений крупномасштабных поверхностей. Решение данной задачи потребовало:

• провести анализ контактных и бесконтактных методов измерения деформаций поверхности;

• разработать теоретические основы метода, а также алгоритм моделирования картин метода корреляции фоновых изображений;

• провести моделирование картин метода корреляции фоновых изображений для различных видов смещений;

• по разработанной теории и результатам моделирования произвести компьютерный подбор параметров экспериментальной установки;

• с учетом подобранных параметров разработать экспериментальную установку для проведения лабораторных исследований по применению метода корреляции фоновых изображений для получения численных результатов и картин визуализации;

• разработать алгоритм обработки картин метода корреляции фоновых изображений с учетом перспективной проекции и конечной величины глубины резкости изображаемого пространства и реализовать его в виде программного обеспечения;

• разработать алгоритм проведения калибровки для измерения 31) смещений, а также алгоритм автоматизации определения прямолинейных структур на изображениях и реализовать их в виде программного обеспечения;

• разработать экспериментальную установку для проведения лабораторных исследований по применению метода корреляции фоновых изображений для анализа ЗБ смещений;

• провести лабораторные исследования по применению метода корреляции фоновых изображений для измерения смещений.

Научная новизна работы:

1. Разработана теория метода корреляции фоновых изображений и получена аппаратная функция системы.

2. Разработаны алгоритмы и программная реализация компьютерного моделирования картин метода корреляции фоновых изображений для различных типов смещений поверхности.

3. Реализован алгоритм расчета калибровочных матриц, а также алгоритм автоматизации проведения калибровки на основе преобразования Хафа.

4. Создан программно-аппаратный комплекс измерения смещений поверхности в реальном масштабе времени на основе метода корреляции фоновых изображений.

Практическая ценность работы. Разработанные методы и алгоритмы обработки картин метода корреляции фоновых изображений применимы для построения оитоэлектронных комплексов определения смещения различных поверхностей, позволяющих проводить измерения в лабораторных и натурных экспериментах, в режиме реального времени.

Разработанное специализированное программное обеспечение позволяет проводить калибровку цифровых видеокамер для последующего проведения экспериментов по измерению ЗЭ смещений.

Личный вклад автора. Автором была получена аппаратная функция МКФИ системы, разработаны алгоритмы моделирования и обработки картин МКФИ, калибровки нескольких камер по получаемым изображениям, нахождения прямых для последующей автоматизации проведения калибровки. Разработанные алгоритмы были реализованы автором в виде программного обеспечения для персонального компьютера. Совместно с сотрудниками кафедры физики им. В.А. Фабриканта были проведены экспериментальные исследования.

Внедрение. Материалы исследования включены в научно-технические отчеты по грантам ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009 - 2013 годы (госконтракг № П1936 от 29.10.2009 г. и госконтракт № 02.740.11.0449 от 30.09.2009), международных проектов Евросоюза (6-ая и 7-ая рамочные программы), проект АВЦП «Развитие научного потенциала высшей школы» (проект 2.2.2.2/10404). Результаты работы были использованы при создании программного средства учебного назначения для лабораторной работы по курсу «Автоматизация оптического эксперимента» для студентов, обучающихся по направлению «Электроника и микроэлектроника».

Достоверность полученных результатов: ■ Тестирование программного обеспечения для обработки картин метода корреляции фоновых изображений проводилось путем сравнения результатов с результатами программного обеспечения, широко использующегося для кросскорреляционной обработки изображений. Оно показало совпадение результатов в пределах допустимой погрешности машинных вычислений. " Результаты процедуры калибровки по изображениям мишени при обратном расчете трехмерных координат точки по стереопаре показали погрешность не превышающую 6%.

" Сравнение результатов, получаемых при обработке экспериментальных картин метода корреляции фоновых изображений, с контрольными значениями

измеряемых величин показало совпадение результатов с погрешностью не превышающей 3%.

Апробация работы. Основные материалы работы докладывались на следующих конференциях и семинарах в период с 2008 по 2011 г.г.:

■ 14, 15, 17 / Международные научно-технические конференции студентов и аспирантов "Радиоэлектроника, электротехника и энергетика", МЭИ (ТУ), 2008-2011 г.г.

■ 4-rd International conference on Laser Optics for Young Scientists; St. Petersburg, 2008 r.

■ X, XI Международные научно-технические конференции «Оптические методы исследования потоков»; Москва, 2009, 2011 г.г.

■ 52-ая научная конференция МФТИ «Современные проблемы фундаментальных и прикладных наук», Долгопрудный, 2009 г.

■ 20-ая Международная конференция «Лазеры. Измерения. Информация», Санкт-Петербург, 2010 г.

■ III Международная научно-техническая конференция Авиадвигатели XXI века, Москва, 2010 г.

■ Научная сессия НИЯУ МИФИ - 2011. Научно-техническая конференция -семинар по фотонике и информационной оптике, Москва, 2011 г.

■ XIX Международная Конференция Лазерно-информационные технологии в медицине, биологии и геоэкологии, Новороссийск, 2011 г.

Публикации. Основные материалы диссертации опубликованы в 14 печатных работах, из них 1 статья - в реферируемом журнале, без соавторов - 4 работы, а также в 4 тезисах докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 146 страниц машинописного текста, включая 85 рисунков, 9 таблиц, 48 наименований списка литературы.

Основные положения, выносимые на защиту:

1. Разработанные теория метода корреляции фоновых изображений и алгоритм моделирования получаемых картин позволяют выполнить компьютерный подбор параметров экспериментальной установки для измерения смещений заданного типа с вертикальной амплитудой смещений от 0,5 мм до 100 мм на площади поверхности от 90 см2 до 350 см2 при углах наблюдения от 90° до 20° с относительной погрешностью не более 3%.

2. Использование кросскорреляционной обработки для фоновых изображений позволяют определять смещения в реальном масштабе времени.

3. Калибровка программно-аппаратного комплекса с использованием преобразований Хафа позволяет автоматически определять прямолинейные структуры на изображениях.

4. Использование калибровочных матриц стереосистемы и двухмерных полей смещений позволяют получить поле трехмерных смещений и восстановить ЗБ профиль исследуемой поверхности.

СОДЕРЖАНИЕ РАБОТЫ Во введении обосновывается выбор научного направления и актуальность работы. Приведены цель и основные задачи диссертации. Кратко рассмотрены существующие как оптические, так и не оптические методы для решения задач анализа деформаций поверхностей различных объектов. Сформулированы научная новизна работы и основные положения, выносимые на защиту.

В первой главе проведен краткий обзор научно-технической литературы по существующим методам диагностики деформации. В ходе обзора были рассмотрены различные методы измерения деформаций. Приведены результаты, полученные в различных научно-технических работах за последние несколько лет. Эти результаты позволяют оценить современные возможности этих методов.

Были рассмотрены как оптические методы: метод делительных сеток, поляризационно-оптический метод, метод чувствительных покрытий, интерференционно-голографический метод, метод спекл-интерферометрии, метод корреляции фоновых изображений. Так и не оптические методы - использующие датчики на пьезо эффектах, и волоконные датчики.

Так как в настоящее время для всех рассмотренных методов возможное улучшение существующих схем и качества оптических деталей практически достигло предела, то на данный момент главным путем уменьшения погрешности и увеличением чувствительности оптических методов является использование цифровой обработки сигналов, поэтому в обзор был включен соответствующий раздел.

Были приведены достоинства и недостатки всех методов. В ходе обзора было определенно, что наименьшей погрешностью обладают интерференционные методы, однако именно они требуют наиболее дорогостоящего и сложного оборудования и плохо применимы для быстропротекающих процессов. Широко распространенный поляризационно-оптический метод требует изготовления моделей исследуемых объектов, что не позволяет использовать его в натурных экспериментах. Перспективный метод корреляции фоновых изображений имеет низкую погрешность (0,1 мм на площади поверхности 1 м2), при этом он наиболее прост в реализации с точки зрения оборудования и экспериментальной установки. А современные цифровые методы обработки, являющиеся одной из основ метода, позволяют выделить его как наиболее перспективный для разработки и исследования.

Таким образом, из всех рассмотренных методов наиболее перспективным является метод корреляции фоновых изображений, позволяющий с помощью простых экспериментальных установок проводить натурные испытания с малой погрешностью.

В продолжение обзора описано состояние исследований по разработке метода корреляции фоновых изображений к началу работы над диссертацией. Показаны результаты исследований проводимых в рамках совместного

международного проекта Евросоюза по разработке методов диагностики в полетных испытаниях.

Во второй главе рассмотрены теоретические основы метода корреляции фоновых изображений. Определена аппаратная функция (кружок рассеяния) МКФИ системы, учтено влияние эффекта квантования при использовании ПЗС или КМОП матрицы. С помощью полученной функции проведен расчет импульсного отклика МКФИ системы при различных параметрах системы. Пример результатов, полученных при расчете с различными значениями диаметра апертурной диафрагмы (с!) и длины рабочего отрезка (/), представлен на рисунке 1.

Для компьютерного моделирования картин, получаемых методом корреляции фоновых экранов, была разработана математическая модель смещения точек на фоновом экране при смещении поверхности исследуемого объекта. В качестве фоновых экранов обычно используют специальные изображения, представляющие из себя случайное распределение черных точек на белом фоне.

Представим схему смещения точки на рисунке 2.

Первоначально рассматриваемая точка находилась на несмещенной поверхности, обозначенной на рисунке жирной горизонтальной линией, в пространственных координатах (д:0, >>0). После смещения поверхности по некоему закону /(х,у) (искривленная поверхность представлена на рисунке пунктирной линией) точка переместилась в пространственные координаты , }'|). Рассматривается перемещение точки только по координате х, так как с помощью одной цифровой камеры в реальном эксперименте невозможно определить изменение расстояния от точки до камеры. Перемещение точки в горизонтальной плоскости обозначим через Д.

Точка была жестко привязана к определенной координате на поверхности объекта - х0. При смещении поверхности координата точки относительно самой

с1 - диаметр апертурной диафрагмы, I - длина рабочего отрезка

Рисунок 1 - Результаты, полученные при моделировании аппаратной функции при различных параметрах приемной оптической системы

X 'У (*о, Уо) г*-—>1 0

- * — N __ __. _ /

(*ь Уі) /(х, у)

Рисунок 2 - Схема смещения точки

поверхности не изменилась, но изменилась координата точки относительно пространственных координат. Поэтому для расчета положения точки в пространственных координатах необходимо вычислить длину кривой, которую образовала после смещения поверхность объекта. Рассчитанная длина кривой при интегрировании до новой координаты точки будет соответствовать старым пространственным координатам точки, т.е.

= М + (1)

Задав функцию, соответствующую искривлению поверхности, можно с помощью алгоритмов численного дифференцирования и интегрирования смоделировать картины МКФИ, переставив точки фонового экрана на исходном изображении с координат до смещения на рассчитанные координаты после него.

На рисунке 3 приведен пример функции, соответствующей одному из смоделированных профилей поверхности. Результаты обработки представим в виде зависимости определенных смещений от горизонтальной координаты на изображении (рисунок 4) вместе с численным расчетом теоретических смещений.

Проведено моделирование картин метода корреляции фоновых изображений с помощью алгоритмов численного интегрирования и численного дифференцирования.

20»--:-

100---

пикселей

~ 100

- "чн--

О 200 400 600 800

х, пикселей

Рисунок 3 - Функция, соответствующая одному из смоделированных профилей

поверхности

30 25 20

Л, 15

пикселей

5 0

О 100 200 300 400 500 600 700 800 /, пикселей

Рисунок 4 - Результаты обработки смоделированного изображения

Проведено моделирование смещения поверхности при различных параметрах смещения, которые могут встречаться в реальных экспериментах.

Разработанная методика моделирования картин МКФИ позволяет определить параметры будущей экспериментальной установки и параметры обработки до проведения экспериментальных исследований.

Третья глава посвящена рассмотрению принципов обработки картин метода корреляции фоновых изображений. Обработка полученных картин осуществляется с помощью кросскорреляционной обработки, которая заключается в нахождении корреляционной функции соответствующих окон опроса двух изображений. Схема обработки картин метода корреляции фоновых изображений представлена на рисунке 5.

Каждое изображение делится на участки в соответствии с выбранным шагом, в общем случае прямоугольные, так называемые окна опроса. Причем окна опроса могут перекрываться, если шаг разбития меньше чем размер окна опроса. Далее для двух соответствующих окон опроса происходит расчет функции

__ 6 * 4 & <| 4

• Результаты обработки А Теоретический расчет

i А

корреляции, которую, с учетом дискретности цифровых изображений, можно выразить следующим образом

1 м N „

/і и У) ° /2 и. У) = — X Е А (»'. Л " Л (* + 3' + У),

МИ о

(2)

где /і(х,у) и /2 (дс, у) - двухмерные функции распределения яркости на изображениях; ° - операция свертки; М , N - размер изображений по вертикали и горизонтали; * - оператор комплексного сопряжения.

1 •:.*; • • і • • *

•< . ' • *

• «1 і • • * •

• - 1 • * • • ! I ---»Г--»-Г"«"*Г--»Т--«-' ••і I ••• '1

.'У

:>.••♦• у»

-Г - - * « г* -»7* •

• •! • • • * • • 1 »7 1 • • : 7 •

/ ✓ у У

/ / / *

Г'У ГУ "У "7

ж --- *

* * \

• • •

•

• • о • • •

•

1 - опорное изображение, 2 - измерительное изображение, 3 — расчет корреляции для окон опроса, 4 - полученная функция корреляции, 5 - найденный вектор смещения, 6 - итоговое векторное поле смещений

Рисунок 5 - Схема обработки картин метода корреляции фоновых изображений

Следующий этап кросскорреляционной обработки заключается в нахождении максимума рассчитанной функции. Для увеличения чувствительности при нахождении максимума применяют интерполяцию функции корреляции по нескольким точкам, которые соответствуют области

нахождения максимума. Наиболее часто используют трехточечную интерполяцию с помощью функции Гаусса. Такой метод дает возможность нахождения максимума корреляционной функции с точностью до десятых или сотых долей пикселя, то есть с субпиксельной точностью.

Исследования с применением МКФИ проводят как с использованием одной цифровой камеры, так и с использованием нескольких. В отдельных случаях, когда хорошо известны геометрические параметры экспериментальной установки или характер смещений ограничен конструктивными особенностями исследуемого объекта, возможна визуализация и получение информации о смещениях в трех координатах (ЗЭ) при использовании одной камеры. Однако в большинстве случаев такой подход позволяет получить информацию только о двухмерном смещении (например, определение угла поворота жесткой пластины). Поэтому в общем случае в экспериментах для получения ЗБ визуализации смещений необходимо использование стереосистем, состоящих из двух или более цифровых камер.

Применение более одной камеры в эксперименте делает обязательным проведение процедуры калибровки, которая позволяет в дальнейшем сопоставить изображения, полученные различными камерами. Схема формирования стереопар представлена на рисунке 6.

Изображение некоторого трехмерного объекта получают с помощью двух видеокамер. Точка Р рассматриваемого объекта проецируется в точки С и О на светочувствительных матрицах двух видеокамер. В системе существует четыре системы координат - мировая (ИО, предметная (М), матрицы первой видеокамеры (С) и матрицы второй видеокамеры (£)). Первые две системы трехмерные и имеют компоненты X, У п 2. Две последних имеют только компоненты X и У и представляют собой цифровые изображения.

Таким образом, для процедуры калибровки необходимо узнать каким образом происходит проецирование точек рассматриваемого предмета на матрицы видеокамер. То есть, определить, каким образом происходит преобразование трехмерных мировых координат в двухмерные координаты на изображениях.

Рисунок 6 - Схема формирования стереопар

Для решения этой задачи была выбрана модель матрицы камеры, включающая в себя 12 параметров

Г wp^ 1 X И< р «11 «12 «13 «14 Г«>1 * л "р 'у V

- 'с ґу - «21 «22 «23 «24 (3)

5 С 1 .«31 «32 «33 «34. 1

где !P¡,tPj - координаты точки на изображении; ууС - матрица камеры, преобразующая координаты мирового пространства в координаты на изображении; Рх,хуРу?УР, - координаты точки в мировых координатах; ап...а34

- элементы матрицы камеры; 5 - масштабный коэффициент. Матрица С содержит в себе в неявном виде другие матрицы, которые содержат в себе физические параметры камеры и оптической системы.

Таким образом, согласно (3), процедура калибровки сводится к нахождению 12 неизвестных параметров матрицы камеры. Для этого необходимо определить

на изображении минимум 6 точек, у которых будут точно известны координаты в мировом пространстве. После этого можно получить систему, состоящую из 12 уравнений, решение которой позволит определить 12 искомых параметров.

На практике использование только 6 точек при калибровке приводит к увеличению погрешности этой процедуры. Поэтому необходимо увеличение количества точек с известными координатами. В свою очередь повышение количества точек усложняет проведение калибровки вручную и требует автоматизации этого процесса.

Для решения задач, рассмотренных в третье главе, были созданы два программных средства. Первое для кросскорреляционной обработки картин метода корреляции фоновых изображений - 1РСТ_Ргос (рисунок 7). Данное программное средство позволяет проводить корреляционную обработку цифровых изображений с помощью алгоритмов быстрого фурье-преобразования, графически отображать результаты обработки и сохранять их в различных форматах.

Рисунок 7 - Внешний вид программного средства 1РСТ_Ргос с примером результата обработки картин МКФИ

Использование в программе преобразования Фурье обусловлено тем, что расчет корреляционной функции по формуле (2) трудоемкая вычислительная задача, и использование такого приема позволяет ускорить обработку вплоть до обработки в режиме реального времени.

Второе программное средство (СатСаШэгТоо1) предназначено для проведения процедуры калибровки цифровых камер и ее автоматизации. Пример нахождения прямых на экспериментальных изображениях представлен на рисунке 8.

Данное программное обеспечение позволяет проводить калибровку цифровых видеокамер по полученным изображениям путем решения системы уравнений и

А - исходное изображение, Б - изображение после оператора Собеля и пороговой фильтрации, В - графическое представление пространства Хафа, Г - найденные прямые

Рисунок 8 - Пример работы программного обеспечения на экспериментальном

изображении

нахождения неизвестных элементов калибровочных матриц. Для автоматизации процесса калибровки данное программное средство позволяет проводить автоматический поиск прямых линий на изображении с помощью преобразования Хафа. Найденные прямые могут быть использованы для нахождения точек (пересечения прямых) на калибровочной мишени с известными координатами.

В четвертой главе приведено описание созданной экспериментальной установки для визуализации и измерения смещений различных поверхностей. С помощью нее были проведены лабораторные исследования по применению метода корреляции фоновых изображений. Схема данной установки приведена на рисунке 9. Установка состоит из: 1 - цифровой видеокамеры Раз1ес ИЗрес 1, 2— трансфокаторного объектива Шукаг 002-10x16, 3 - источника освещения, 4 -поворотного устройства, имеющего шкалу деления с ценой 1°, 5 - жесткой пластины, закрепленной в поворотном устройстве, 7 - фонового экрана, закрепленного на пластине.

4 - поворотное устройство, 5 - первоначальное положение жесткой пластины, 6 - положение пластины после поворота, 7 - нанесенный на пластину фоновый экран

Рисунок 9 - Схема разработанной лабораторной экспериментальной установки

Фоновый экран, используемый в экспериментальных исследованиях, был создан с помощью разработанной на кафедре физики им. В.А. Фабриканта НИУ «МЭИ» программы. Фоновый экран представляет собой набор из черных точек,

определенного радиуса, расположенных на белом фоне. На изображение в дальнейшем добавлялись нормировочные отметки.

В ходе экспериментальных исследований проводились серии опытов при разных начальных углах наклона между плоскостью камеры и плоскостью пластины. Серии проводились при начальных углах 30° и 60°. В каждой серии проводился пошаговый поворот пластины на 10°. Шаг поворота составлял 1°. С помощью цифровой видеокамеры были получены изображения фонового экрана после каждого поворота, а так же его изображение при начальном угле.

Экспериментальные картины подвергались кросскорреляционной обработке, результат которой представлял собой поле векторов смещений. Численные значения полученных векторов смещения позволяют рассчитать угол поворота. Для его расчета при обработке для каждого угла поворота в качестве опорного изображения выбиралось предыдущее, а в качестве измерительного -изображение соответствующее повернутому положению пластины. Таким образом для каждой пары обработанных изображений угол поворота составлял 1°.

При такой методики расчета достигалась минимальная погрешность. Приведем полученные результаты при обработке серии с начальным углом поворота равным 30° на рисунке 10А. Так же приведем значения относительной погрешности определения угла поворота для каждого измерения на рисунке 10Б. Как видно из рисунка, погрешность носит случайный характер и не превышает 3%.

Следующей задачей, рассмотренной в данной главе, стала визуализация быстропеременных смещений. Такие смещения могут встречаться и в натурных исследованиях, при этом возможность их измерения дает рассматриваемому методу дополнительные преимущества.

Для визуализации экспериментальная установка была модифицирована. В нее были добавлены устройство для фиксации мембраны, мембрана с нанесенным на нее фоновым экраном и устройство выстрела снаряда в мембрану.

1 ! ! .....Н .....\.....! 1 I

; !

..... ! !

1 ! !

0123456789 10 11 Номер измерения

Рисунок 10 -График зависимости определяемого угла поворота жесткой пластины, и относительной погрешности определяемого ула от номера измерения для серии с начальным углом поворота 30°

Методика экспериментальных исследований заключалась в съемке попадания снаряда, представлявшего собой шарик диаметром 3 ММ, в мембрану. За счет высокой скорости снаряда происходили колебания мембраны, которая визуализировалась с помощью кросскорреляционной обработки. Съемка производилась со скоростью 500 и 1000 кадров в секунду.

Последней задачей рассмотренной в 4 главе было применение МКФИ для ЗЭ смещений. Для этого экспериментальная установка для исследования 20 смещений была модифицирована для проведения диагностики ЗБ смещений. Ее схема представлена на рисунке 11 А. В установку была добавлена возможность получения изображений одновременно с двух камер, а также возможность верификации получаемых при обработке результатов показаниями механических датчиков.

Методика экспериментальных исследований заключалась в съемке фонового экрана, нанесенного на поверхность металлической пластины. Один конец пластины был жестко закреплен, а второй смещался с помощью координатного устройства. При изменении положения второго конца происходило смещение всей пластины. Получая с помощью цифровых видеокамер изображение фонового экрана с разных ракурсов до и после смещений, становится возможным восстановить ЗБ поверхность исследуемой пластины. Для определения взаимного положения видеокамер (коэффициентов калибровочных матриц) и исследуемого объекта использовалась специальная калибровочная мишень.

1 - оптический стол, 2 - гибкая металлическая пластина с фоновым экраном, 3 - координатное устройство, 4 -микрометры, 5 - цифровые видеокамеры, 6 - некогерентный источник света

1,2- опорные изображения с первой и второй камер, 3, 4 - измерительные изображения с первой и второй камер, 5, 6 - расчет корреляции для окон опроса, 7, 8 - найденные вектора смещения, 9 -итоговый 30 вектор смещения

Рисунок 11 - Схема экспериментальной установки для измерений ЗО смещений (А), схема обработки ЗО картин МКФИ (Б)

Обработка полученных экспериментальных изображений проводилась аналогично предыдущим двум случаям. Проводя процедуру калибровки видеокамер, стало возможным по двум рассчитанным 20 векторам восстановить ЗО вектор смещения (рисунок 11Б).

На рисунке 12А представлена восстановленная ЗБ поверхность исследуемой пластины. На рисунке 12Б представлены несколько положений восстановленного профиля поверхности пластины с контрольными значениями в точках, в которых производились измерения с помощью микрометров.

Из последнего рисунка хорошо видно, что левый край пластины загибается относительно первоначального горизонтального положения. Также видно, что контрольные точки совпадают с восстановленными положениями поверхности пластины.

Положение левого конца пластины: -0,2 мм ■ -1,0 мм | -1,8 мм -2.5 мм

^ Положение точек, измеренных микрометрическими головками

У.И1

Рисунок 12 - Восстановленная ЗО поверхность исследуемой пластины при ее смещении (А), восстановленные 30 поверхности исследуемой пластины при различных ее положениях (Б)

Проведенные исследования позволяют говорить как о возможностях визуализации смещений, так и о возможностях получения их количественных характеристик с помощью метода корреляции фоновых изображений. Результаты эксперимента позволяют говорить о возможности применения МКФИ в натурных исследованиях и исследованиях быстропеременных смещений, а также для 30 смещений. Погрешность метода в данных исследованиях составила менее 3%.

В заключении кратко сформулированы основные результаты, полученные в диссертации.

ЗАКЛЮЧЕНИЕ

В процессе выполнения диссертационной работы были получены следующие результаты:

■ Проведен анализ контактных и бесконтактных методов измерения деформаций поверхности, указаны их достоинства и недостатки;

• Разработаны теоретические основы метода, а также алгоритм моделирования картин метода корреляции фоновых изображений;

■ Проведено моделирование картин метода корреляции фоновых изображений для различных видов смещений;

■ По разработанной теории и результатам моделирования произведен

компьютерный подбор параметров экспериментальной установки;

■ С учетом подобранных параметров разработана экспериментальная установка для проведения лабораторных исследований по применению метода корреляции фоновых изображений для получения численных результатов и картин визуализации;

■ Разработан алгоритм обработки картин метода корреляции фоновых изображений с учетом перспективной проекции и конечной величины глубины резкости изображаемого пространства. Алгоритм реализован в виде программного обеспечения;

■ Разработан алгоритм проведения калибровки для измерения 3D смещений, а также алгоритм автоматизации определения прямолинейных структур на изображениях на основе преобразования Хафа. Алгоритмы реализованы в виде программного обеспечения;

■ Разработана экспериментальная установка для проведения лабораторных исследований по применению метода корреляции фоновых изображений для анализа 3D смещений;

■ Проведены лабораторные исследования по применению метода корреляции фоновых изображений для измерения смещений.

Таким образом, в настоящей работе решена актуальная научно-техническая задача разработки метода корреляции фоновых изображения для анализа смещений крупномасштабных поверхностей, что имеет существенное значение для авиационной промышленности.

Список основных публикаций по теме диссертации

1. Поройков А.Ю., Скорнякова Н.М. Анализ метода корреляции фоновых изображений для измерения изгиба металлической поверхности // Измерительная техника №10,2010. - С. 43-46.

(Poroikov A. Yu., Skornyakova N. М. An analysis of the image pattern correlation technique for measuring the bending of a metal surface // Measurement technique, Vol. 53, №10,2011. Pp. 1147-1151)

2. Поройков А.Ю., Скорнякова H.M., Программа генерации фоновых экранов по статистическим распределениям плотности вероятности // Четырнадцатая

Междунар. науч.-техн. конф. студентов и аспирантов: Тез. Докл. В Зх т. М.: Издательский дом МЭИ, 2008. Т. 1. С. 158 - 159.

3. Poroykov A.Yu., Michalev A.S., Skornyakova N.M. Adjustment of laser resonator with help of Image Pattern Correlation Technique // 4th International Conference on Laser Optic for Young Scientists and Engineers: St. Petersburg, June 25,2008.

4. Поройков А.Ю., Скорнякова H.M., Исследование метода корреляции фоновых изображений //Пятнадцатая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. докл. В 3-х т. М.: Издательский дом МЭИ, 2009. Т. 1. С. 152 - 153.

5. Поройков А.Ю., Скорнякова Н.М., Обработка картин теневого фонового метода on-line // Оптические методы исследования потоков: Труды X Межд. науч-технич. конференции. М.: Изд-во МЭИ, 2009. С. 288-291.

6. Поройков А.Ю. Обработка картин метода корреляции фоновых изображений // Оптические методы исследования потоков: Труды X Межд. науч-технич. конференции. М.: Изд-во МЭИ, 2009. С. 542-545.

7. Rinkevichyus B.S., Skornyakova N.M., Popova E.M., Mikhalev A.S., Poroikov A.Yu., Udalov A.V. Background Oriented Schlieren (BOS) Method for Vortex Investigation / In book "Advanced in-flight measurement techniques". Springer, 2012.

(Ринкевичюс B.C., Скорнякова H.M., Попова E.M., Михалев A.C., Поройков А.Ю., Удалов A.B. Использование теневого фонового метода для исследования вихрей / Монография «Современные методы измерений в полетных испытаниях». Спрингер, 2012.)

8. Поройков А.Ю., Скорнякова Н.М., Михалев A.C. Диагностика деформации поверхности методом корреляции фоновых изображений // Труды 52-й научной конференции МФТИ «Современные проблемы фундаментальных и прикладных наук»: Часть V. Физическая и квантовая электроника. Т. 1. - М.: МФТИ, 2009. - С. 147-149.

9. Поройков А.Ю. Моделирование картин метода корреляции фоновых изображений //Труды 20 международной конференции «Лазеры. Измерения. Информация» - СПб.: Политехнический университет, 2010. - С. 42-43.

Ю.Поройков А.Ю., Скорнякова Н.М., Ринкевичюс Б.С. Использование метода корреляции фоновых изображений для диагностики деформации поверхности // Авиадвигатели XXI века [Электронный ресурс]: материалы конф. - Электрон, дан. -М.: ЦИАМ, 2010. - 1696 с. - 1 электрон, опт. диск (CD-ROM). С 1155 - 1156.

11.Поройков А.Ю., Толкачев A.B. Применение метода корреляции фоновых изображений в натурных экспериментах // Научная сессия НИЯУ МИФИ-2011. Научно-техническая конференция-семинар по фотонике и информационной оптике: Сборник научных трудов. М.: НИЯУ МИФИ, 2011. С 226 - 227.

12.Поройков А.Ю., Скорнякова Н.М. Обработка картин методом корреляции фоновых изображений on-line // Семнадцаттая Междунар. науч.-техн. конф. студентов и аспирантов: Тез. Докл. В Зх т. М.: Издательский дом МЭИ, 2011. Т. 1.С. 172- 173.

13.Поройков А.Ю. Методика калибровки видеокамер для визуализации 3D деформаций методом корреляции фоновых изображений // Оптические методы исследования потоков: XI Межд. науч-технич. конференция [Электронный ресурс]: труды конференции. - Электрон, дан. - М.: МЭИ (ТУ), 2011. - 1 электрон, опт. диск (CD-ROM). - Доклад №15, 5 с.

14.Поройков А.Ю. Использование преобразований Хафа в задачах 3D калибровки цифровых видеокамер // XIX Межднар. конф. «Лазерно-информационные технологии в медицине, биологии и геоэкологии - 2011»: труды конф. -Новороссийск: Вариант, 2011. С. 88 - 89.

Усл.п.л. - 1.5 Заказ №08380 Тираж: ЮОэкз.

Копицентр «ЧЕРТЕЖ.ру» ИНН 7701723201 107023, Москва, ул.Б.Семеновская 11, стр.12 (495) 542-7389 www.chertez.ru

Текст научной работы диссертации и автореферата по физике, кандидата технических наук, Поройков, Антон Юрьевич, Москва

61 12-5/2533

ФГБОУ ВПО НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ «МЭИ»

На правах рукописи

Поройков Антон Юрьевич

МЕТОД КОРРЕЛЯЦИИ ФОНОВЫХ ИЗОБРАЖЕНИЙ ДЛЯ АНАЛИЗА СМЕЩЕНИЙ КРУПНОМАСШТАБНЫХ ПОВЕРХНОСТЕЙ

01.04.05 - Оптика

Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель к.т.н., доцент Скорнякова Н.М.

Москва-2012

СОДЕРЖАНИЕ

СОДЕРЖАНИЕ............................................................................................................................................2

ВВЕДЕНИЕ..........................................................................

1 МЕТОДЫ ДИАГНОСТИКИ ДЕФОРМАЦИЙ ПОВЕРХНОСТИ.................11

1.1 Цели и методы диагностики деформаций поверхности..........................11

1.2 Контактные методы..............................................................................................^ ^

1.3 Оптические методы................................................................................................^ £

1.3.1 Метод делительных сеток..........................................................................................................] 8

1.3.2 Поляризационно-оптические методы.......................................... 20

1.3.3 Интерференционные методы................................................. 26

1.3.4 Метод корреляции фоновых изображений........................................30

1.4 Методы цифровой обработки картин деформации..................................38

1.5 Выводы по главе....................................................................................................................^

2 ТЕОРИЯ МЕТОДА КОРРЕЛЯЦИИ ФОНОВЫХ ИЗОБРАЖЕНИЙ............43

2.1 Аппаратная функция 2В системы метода корреляции фоновых изображений..................................................................................................................................^

2.2 Компьютерное моделирование картин метода корреляции фоновых изображений......................................................................................................................................^

2.2.1 Принципы получения экспериментальных картин...........................53

2.2.2 Алгоритмы компьютерного моделирования картин метода корреляции фоновых изображений................................................. 57

2.2.3 Компьютерное моделирование картин метода корреляции фоновых изображений...................................................................

2.3 Выводы по главе..........................................................................................................................................^

3 ОБРАБОТКА КАРТИН МЕТОДА КОРРЕЛЯЦИИ ФОНОВЫХ ИЗОБРАЖЕНИЙ.......................................................................................... 71

3.1 Картины 2В системы метода корреляции фоновых изображений.........71

3.1.1 Общие принципы обработки................................................................................................71

3.1.2 Использование постфильтрации для обработки картин метода корреляции фоновых изображений.............................................................75

3.2 Картины ЗЭ системы метода корреляции фоновых изображений.........80

3.2.1 Методика проведения процедуры калибровки.................................80

3.2.2 Использование преобразования Хафа для автоматизации процедуры калибровки..................................................................................84

3.3 Создание программного средства для обработки картин метода корреляции фоновых изображений.................................................................86

3.4 Создание программного средства для проведения процедуры калибровки..........................................................................................................96

3.5 Выводы по главе........................................................................................101

4 ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ............................................103

4.1 Лабораторные исследования разработанной экспериментальной установки..........................................................................................................103

4.1.1 Описание экспериментальной установки........................................103

4.1.2 Обработка экспериментальных результатов...................................108

4.1.3 Результаты экспериментальных исследований...............................114

4.2 Визуализация быстропеременных смещений.........................................120

4.2.1 Описание экспериментальной установки........................................120

4.2.2 Результаты экспериментальных исследований...............................123

4.3 Восстановление ЗБ поверхности при смещении гибкой пластины.....126

4.3.1 Описание экспериментальной установки........................................126

4.3.2 Обработка экспериментальных данных...........................................131

4.3.3 Результаты экспериментальных исследований...............................133

4.4 Выводы по главе........................................................................................136

ЗАКЛЮЧЕНИЕ....................................................................................................137

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ..........................................140

ВВЕДЕНИЕ

В современной науке и технике измерениям деформаций уделяется особая роль. Любой механизм и конструкция в ходе своей эксплуатации подвергается различным видам нагрузки, что, соответственно, вызывает деформацию узлов и элементов. Измерения деформаций становятся очевидной необходимостью, без которой возможны нежелательные последствия вплоть до полного разрушения механизмов и конструкций.

Измерения деформаций производятся множеством различных методов, начиная с простейших механических датчиков, заканчивая сложными топографическими установками, использующими высокоточные оптические системы и когерентные источники света.

Оптические методы измерения деформаций имеют одно несравнимое преимущество перед механическими и пьезоэлектрическими датчиками. Этим преимуществом является бесконтактность проведения измерений. Этот факт означает, что оптические методы не вносят дополнительную погрешность в результаты измерений и позволяют проводить измерение деформаций в более сложных случаях, нежели другие методы.

Все методы можно разделить на две большие группы: методы, использующие тензоэлектрические, пьезоэлектрические и механические датчики и опто-геометрические методы.

Методы первой группы используют тензодатчики, основанные на таких эффектах как тензорезистивный, прямой пьезоэлектрический и некоторых других. Основной принцип работы таких датчиков заключается в изменении параметров чувствительного элемента, таких как электрическое сопротивление, емкость, индуктивность и тому подобных при его механической деформации. Основной недостаток таких методов заключается в невозможности получить поле деформации на всей поверхности исследуемого объекта, так как измерения происходят локально.

Основными методами второй группы являются: метод делительных сеток, поляризационно-оптический метод, метод голографической и спекл-интерферометрии. Все эти методы бесконтактные и позволяют получить поле деформации на всей поверхности исследуемого объекта. Основными недостатками таких методов является высокая погрешность (метод делительных сеток), необходимость выполнения точных копий исследуемых объектов из специальных материалов (поляризационно-оптический метод), сложность и большая стоимость необходимых специализированных оптических приборов (интерферометрические методы).

Один из перспективных оптических методов измерения деформаций -метод корреляции фоновых изображений (МКФИ). Данный метод сочетает в себе простоту экспериментальной установки, использование цифровых методов обработки и низкую погрешность. Эти достоинства позволяют использовать его в натурных экспериментах и производить измерение деформаций на крупномасштабных поверхностях.

В первой главе рассмотрены различные методы измерения деформаций. Приведены результаты, полученные в различных научно-технических работах за последние несколько лет. Эти результаты позволяют оценить современные возможности этих методов.

Рассмотрены как оптические методы: метод делительных сеток, поляризационно-оптический метод, метод чувствительных покрытий, интерференционно-голографический метод, метод спекл-интерферометрии, метод корреляции фоновых изображений. Так и не оптические методы -использующие датчики на пьезо эффектах, и волоконные датчики.

Метод корреляции фоновых изображений на данный момент является наиболее перспективным для его дальнейшей разработки, так как он обладает низкой погрешностью, простотой экспериментальной установки и основан на современных алгоритмах цифровой обработки изображений. Приведено современно состояние развитие МКФИ.

Во второй главе определена аппаратная функция МКФИ системы, учтено влияние эффекта дискретизации при использовании ПЗС или КМОП матрицы. Проведено математическое моделирование аппаратной функции при разных параметрах системы.

Проведено моделирование картин метода корреляции фоновых изображений с помощью алгоритмов численного интегрирования и численного дифференцирования. Проведено моделирование смещения различного вида, которые могут встречаться в реальных экспериментах.

Разработанная методика моделирования картин метода корреляции фоновых изображений позволяет определить оптимальные параметры будущей экспериментальной установки и параметры обработки для заданных условий экспериментальных исследований до начала их проведения.

В третьей главе рассмотрены основы цифровой обработки картин метода корреляции фоновых изображений, приведены основные этапы обработки и принципы кросскорреляционной обработки. Рассмотрены принципы использования алгоритмов быстрого фурье-преобразования в цифровой кросскорреляционной обработке.

Рассмотрены теоретические вопросы калибровки цифровых камер для диагностики ЗБ смещений, приведены основные подходы к проведению процедуры калибровки. Выбран алгоритм и модель для проведения процедуры калибровки, рассмотрен вопрос автоматизации данной процедуры с помощью алгоритма преобразования Хафа.

Приведено созданное программное обеспечение, позволяющее проводить обработку картин метода корреляции фоновых изображений, проводить процедуру калибровки по стереопарам, а так же проводить автоматизированный поиск прямых на изображениях с помощью преобразования Хафа.

В четвертой главе проведены экспериментальные лабораторные исследования по применению метода корреляции фоновых изображений для анализа смещений. Исследования позволяют говорить о возможности получения, как количественных характеристик смещений поверхности, так и

о возможностях их визуализации. Результаты эксперимента позволяют говорить о возможности применения МКФИ в натурных исследованиях и исследованиях быстропеременных смещений. Погрешность метода в данных исследованиях составила менее 3%.

В заключении кратко сформулированы основные результаты, полученные в диссертации

• провести анализ контактных и бесконтактных методов измерения деформаций поверхности;

• провести моделирование картин метода корреляции фоновых изображений для различных видов смещений;

• разработать алгоритм проведения калибровки для измерения ЗБ смещений, а также алгоритм автоматизации определения прямолинейных структур на изображениях и реализовать их в виде программного обеспечения;

• разработать экспериментальную установку для проведения лабораторных исследований по применению метода корреляции фоновых изображений для анализа ЗD смещений;

• провести лабораторные исследования по применению метода

корреляции фоновых изображений для измерения смещений.

Научная новизна работы:

• Разработана теория метода корреляции фоновых изображений и получена аппаратная функция системы.

• Разработаны алгоритмы и программная реализация компьютерного моделирования картин метода корреляции фоновых изображений для различных типов смещений поверхности.

• Реализован алгоритм расчета калибровочных матриц, а также алгоритм автоматизации проведения калибровки на основе преобразования Хафа.

• Создан программно-аппаратный комплекс измерения смещений поверхности в реальном масштабе времени на основе метода корреляции фоновых изображений.

Практическая ценность работы. Разработанные методы и алгоритмы обработки картин метода корреляции фоновых изображений применимы для построения оптоэлектронных комплексов определения смещения различных поверхностей, позволяющих проводить измерения в лабораторных и натурных экспериментах, в режиме реального времени.

Разработанное специализированное программное обеспечение позволяет проводить калибровку цифровых видеокамер для последующего проведения экспериментов по измерению ЗБ смещений.

проектов Евросоюза (6-ая и 7-ая рамочные программы), проект АВЦП «Развитие научного потенциала высшей школы» (проект 2.2.2.2/10404). Результаты работы были использованы при создании программного средства учебного назначения для лабораторной работы по курсу «Автоматизация оптического эксперимента» для студентов, обучающихся по специальности «Квантовая и оптическая электроника».

Достоверность полученных результатов:

■ Тестирование программного обеспечения для обработки картин метода корреляции фоновых изображений проводилось путем сравнения результатов с программным обеспечением, широко использующимся для кросскорреляционной обработки изображений. Оно показало совпадение результатов в пределах допустимой погрешности машинных вычислений.

■ Результаты процедуры калибровки по изображениям мишени при обратном расчете трехмерных координат точки по стереопаре показали погрешность не превышающую 5%.

■ Сравнение результатов, получаемых при обработке экспериментальных картин метода корреляции фоновых изображений, с контрольными значениями измеряемых величин показало совпадение результатов с погрешностью не превышающей 3%.

■ 14, 15, 17 Международные научно-технические конференции студентов и аспирантов "Радиоэлектроника, электротехника и энергетика", МЭИ (ТУ), 2008-2011 г.г.

■ 4-rd International conference on Laser Optics for Young Scientists; St. Petersburg, 2008 r.

■ 20-ая Международная конференция «Лазеры. Измерения. Информация», Санкт-Петербург, 2010 г.

■ III Международная научно-техническая конференция Авиадвигатели XXI века, Москва, 2010 г.

Основные положения, выносимые на защиту:

1. Разработанные теория метода корреляции фоновых изображений и алгоритм моделирования получаемых картин позволяют выполнить компьютерный подбор параметров экспериментальной установки для измерения смещений заданного типа с вертикальной амплитудой смещений от 0,5 мм до 100 мм на площади поверхности от 90 см до 350 см2 при углах наблюдения от 90° до 20° с относительной погрешностью не более 3%.

3. Калибровка программно-аппаратного комплекса с использованием пр