Методы обработки нестационарных экспериментальных данных с использованием вейвлет-преобразования тема автореферата и диссертации по физике, 01.04.01 ВАК РФ

№4604126

На правах рукописи

Князева Татьяна Николаевна

Методы обработки нестационарных экспериментальных данных с использованием вейвлет-преобразования

01.04.01 - Приборы и методы экспериментальной физики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

|1 7 ИЮН 2010

Санкт-Петербург 2010

004604126

Работа выполнена в ОАО "Научно-инженерный центр Санкт-Петербургского электротехнического университета"

Научный руководитель:

доктор физико-математических наук

Новиков Лев Васильевич

Официальные оппоненты:

доктор физико-математических наук

Буляница Антон Леонидович

кандидат физико-математических наук Максименко Ирина Евгеньевна

Ведущая организация: Санкт-Петербургский университет телекоммуникаций им. проф. М.А. Бонч-Бруевича

Защита состоится "25" июня 2010 г. в 15°° часов на заседании диссертационного совета Д 002.034.01 при Учреждении Российской академии наук Институте аналитического приборостроения РАН по адресу: 190103, Санкт-Петербург, пр. Рижский, д. 26.

С диссертацией можно ознакомиться в библиотеке ИАП РАН

Автореферат разослан мая 2010 г.

Ученый секретарь Диссертационного Совета, кандидат физико-математических наук

А.П. Щербаков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Повышение качества обработки данных физического эксперимента, состояния объекта исследований или технологического процесса, полученных с помощью приборов, было и остается важнейшей задачей, решаемой разработчиками информационно-измерительных систем. Однако существующие методы обработки базируются в основном на предположении стационарности поступающих в обработку данных. В то же время при работе приборов в критических условиях, например, в промышленности, на подвижных объектах (спутниках) при получении информации по телеметрическим каналам, данные искажены скачками шума, разрывами в полезном сигнале и т.п. Например, дисперсия нестационарного шума может изменяться по кусочно-постоянному закону или по неизвестному закону, описываемому гладкой функцией, что требует создания соответствующих методов адаптивной фильтрации.

Реальные сигналы нередко содержат особенности (резкие изменения, разрывы производной), которые необходимо максимально точно восстановить из зашумленных данных. Чаще всего эти особенности содержат главную информацию о сигнале. Если особенности представляются значительным количеством отсчетов (неизолированные особенности), то при очистке от шума таких сигналов традиционными методами информация о тонких деталях резких изменений сигнала или ее производных теряется. Если особенности представляются малым количеством отсчетов (изолированные особенности), то в результате обработки, в местах особенностей (как и в классическом случае Фурье преобразования, но в меньшей степени) наблюдается эффект Гиббса.

Цель работы заключается в разработке методов и эффективных вычислительных алгоритмов очистки сигналов от шума в сложной помеховой обстановке, то есть содержащих выбросы, осциллирующие составляющие, временные разрывы, нестационарный или коррелированный шум, изолированные и неизолированные особенности.

Методы исследований.

Для достижения указанной цели были исследованы возможности современной теории вейвлетов, свойства частотно-временной локализации которых, позволяют восстанавливать функции с разрывами в производных и сигналы с особенностями.

В диссертационной работе приводятся методы и алгоритмы обработки и анализа данных построенные на основе методов математической статистки и вейвлет-теории. Предлагаемые алгоритмы были реализованы и протестированы в среде МАТЛАБ.

Научная новизна состоит в том, что: 1. Предложены методы восстановления полезного сигнала в условиях нестационарного шума и разрывов сигнала, отличительной чертой которых является использование вейвлет-преобразования (ВП) на всех этапах обработки, что позволяет создавать быстрые вычислительные и эффективные

алгоритмы обработки. В частности, разработаны методы удаления нестационарного шума, дисперсия которого изменяется по кусочно-постоянному закону и неизвестному закону, описываемому гладкой функцией. Разработаны методы сегментной очистки сигналов от шума на основе обнаружения изолированных и неизолированных особенностей.

2. Разработаны методы обработки данных перед очисткой сигналов от шума. В частности, метод отбраковки выбросов на основе максимально накладывающегося дискретного вейвлет-преобразования (МНДВП), работающий при наличии осциллирующих составляющих на фоне тренда. Исследован способ выделения и удаления осциллирующих и др. составляющих сигнала с использованием мультиразрешающего анализа на основе МНДВП. Разработан метод адаптивного заполнения разрывов, позволяющий заполнять большие разрывы, чем известные методы, основанные на B-сплайнах и локально-полиномиальной регрессии.

3. Разработан метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком, который обеспечивает лучшие результаты очистки от шума на границах, по сравнению методами, основанными на симметричном и периодическом продолжении.

Практическая ценность работы состоит в том, что предложенные методы могут быть использованы для создания алгоритмов восстановления сигналов с особенностями, содержащих выбросы, нестационарный или коррелированный шум.

Положения, выносимые на защиту.

1. Методы обработки нестационарных данных с использованием ВП. В частности, метод удаления шума, дисперсия которого изменяется по кусочно-постоянному закону или по неизвестному закону, описываемому гладкой функцией, методы сегментной очистки сигналов от шума на основе обнаружения изолированных и неизолированных (с использованием максимальных кривизн) особенностей.

2. Метод отбраковки выбросов на основе МНДВП.

3. Метод адаптивного заполнения разрывов сигнала, основанный на полиномиальном прогнозировании.

4. Метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком.

Апробация полученных результатов. Результаты работы докладывались на семинарах в ИАП РАН, третьей всероссийской научной конференции "Проектирование инженерных и научных приложений в среде MatLab", Санкт-Петерб1ург, 2007; конференции «Технологии Microsoft в теории и практике программирования», Санкт-Петербург, 2008; на 10-ой Международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва 2008; XI Международной конференции по мягким вычислениям и измерениям (SCM'2008), Санкт-Петербург, 2008; на международной конференции "Wavelets and Applications", St. Petersburg,

2009; на 11-ой Международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва, 2009.

Публикации. По теме диссертации опубликовано 10 работ, в том числе 2 работы в рецензируемых журналах, список которых приведен в конце автореферата.

Структура и объем работы. Диссертация объемом 190 стр. состоит из введения, шести глав, разбитых на параграфы, приложений и списка литературы, содержащего 116 названий.

Личный вклад автора состоит в создании методов очистки от шума в специфических условиях, методики очистки нестационарных сигналов от шума, разработке, реализации и отладке методов, включенных в состав программных комплексов, проверке работы методов на реальных данных телеметрических и аналитических приборов.

СОДЕРЖАНИЕ И ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Первая глава посвящена анализу существующих методов очистки от шума сигналов и постановке задачи. Рассматриваются дискретные сигналы, получаемые на выходе различных измерительных устройств, используемых при проведении эксперимента. Анализируемый дискретный сигнал >>(?,) является функцией дискретной переменной г = 0,1,...,N-1, принимающей фиксированные равноотстоящие значения. Модель рассматриваемого в работе сигнала у имеет вид

*=/(',0) где /{(¡) - кусочно-непрерывная и кусочно-гладкая составляющая на К, ат_х ] такая, что существует разбиение 0 = а0 < а, <... < атЛ = .¿V -1 и

/о(л)'

/„МО' '

где (/,), у' = 0,1,...,от-1 - гладкие сигналы, /0(?,) - осциллирующая составляющая, £неспшц.(1,) = " в общем случае нестационарная

случайная составляющая, включающая нестационарный шум, дисперсия которого о"2(/,) изменяется по кусочно-постоянному или неизвестному закону, описываемому гладкой функцией и выбросы, - независимые величины, имеющие распределение Тьюки (1-аг)ф(£) + аФ(^/А:), а -

вероятность появления выброса, уровень которого в к раз превосходит среднеквадратическое отклонение (СКО) шума, Ф - функция стандартного нормального распределения. Общая задача заключается в поиске оценки /

полезного сигнала /. В зависимости от исследований в работе рассматриваются и частные постановки задачи, предполагающие наличие различных составляющих в других комбинациях.

В главе проводится анализ основных подходов к очистке сигналов от шума, перечисляются преимущества и недостатки существующих методов, представляется итоговая классификация. По результатам анализа методов сделан вывод о неприемлемости линейных методов оценивания для поставленной задачи. Основным недостатком линейных методов является то, что они применимы лишь для восстановления гладких функций, не содержащих особенностей (резких изменений). Анализ нелинейных методов приводит к выбору вейвлет-обработки, как наиболее эффективному методу оценивания полезного сигнала из модели (1).

Во второй главе проводится анализ нелинейных методов вейвлет-пороговой обработки, объясняются преимущества использования вейвлетов для очистки от шума, анализируются различные виды ВП.

В результате анализа ВП были выявлены две группы: неизбыточные (например, для дискретного вейвлет-преобразования (ДВП), число вейвлет-коэффициентов (ВК) на уровне разложения 3 соответствует объему выборки Ъ! ) и избыточные (например, для МНДВП [1] число ВК на уровне / равно С/ + 1Ж).

Исследования, проведенные в работе, показали, что использование избыточных ВП, в частности, МНДВП, для очистки сигналов от шума обладает рядом преимуществ. Поскольку число ВК в ДВП с увеличением уровня разрешения уменьшается в два раза за счет процедуры децимации, то на старших уровнях нельзя провести достоверный статистический анализ ВК. При МНДВП число ВК на каждом уровне разложения одинаково и равно размеру входной выборки. Несмотря на то, что МНДВП является избыточным неортогональным преобразованием, оно обеспечивает более качественную очистку от шума, инвариантно относительно сдвига и способно работать с выборками произвольного объема. Поэтому все основные этапы обработки и анализа данных, используемые в работе, были адаптированы под это преобразование.

Отличительной чертой МНДВП является нормирование коэффициентов высокочастотного и низкочастотного фильтров на Л и отсутствие операции децимации.

Далее рассматриваются отдельные этапы, показанные на рис.2, обработки сигналов, полученных в условиях реальных измерений.

Третья глава включает процедуры предварительной обработки и анализа данных: поиск и удаление выбросов, осциллирующих и др. составляющих, заполнение разрывов.

Удаление выбросов. Процедура пороговой вейвлет-обработки основана на предположении, что шум имеет близкое к гауссовскому распределение, поэтому выброс в вейвлет-области рассматривается как локальная особенность сигнала. Следовательно, выбросы необходимо выявить и

Обработка данных перед очисткой сигнала от шума

Разведочный анализ для адаптивного выбора способа и параметров очистки от шума

_ Проверка шума на коррелированность

и гетероскедастичность - *

Компенсация краевых аффектов

Ш

Поиск наиболее подходящего ВП

Процедура очистки от шума

Анализ и интерпретация результатов обработки

Поиск наилучшего базиса и его параметров

Определение способа пороговой

вейвлет-об раооткм >

Определение правила и порогов для модификации ВК

Определение числа уровней вейвлет-разложення

Рис.2. Схема обработки сигналов с использованием ВП.

исключить из дальнейшего рассмотрения перед этапом очистки от шума. Были исследованы и

проанализированы представленные в

литературе методы

отбраковки выбросов и предложен новый метод обнаружения выбросов, основанный на МНДВП, который более эффективен при обработке

допплероподобных сигналов и осциллирующих сигналов на фоне трендов.

Основная идея предлагаемого метода отбраковки выбросов на основе МНДВП опирается на три наблюдения. Первое основное наблюдение заключается в том, что выброс соответствует скачку в свойствах непрерывности функции или ее производных, поэтому он соответствует большим по амплитуде ВК. Вся гладкая составляющая не проходит в вейвлет-область, а переходит в область аппроксимирующих коэффициентов. Второе заключается в том, что при правильном выборе порядка базисной функции вся информация о тонких особенностях сигнала сосредоточена в вейвлет-области. На рис.За представлен исходный сигнал, являющийся смесью полинома, гармонического сигнала, гауссовского шума и выбросов. На рис.Зб показаны фрагменты ВК, полученных с помощью МНДВП для фильтра Добеши длины 4. Видно, что в область ВК первого уровня попали шумовая составляющая сигнала, выбросы, а также гармоническая составляющая, которая может быть искажена при модификации ВК первого уровня. Для того чтобы исключить возможные изменения гармонической

увеличить

составляющей, необходимо проиллюстрировано на рис.Зв.

Третье наблюдение состоит в том, что в вейвлет-области общий вид одиночных выбросов имеет форму, схожую с используемым высокочастотным вейвлет-фильтром (рис.4).

Алгоритм обнаружения выбросов следующие шаги:

длину носителя.

Это

Рис.3, (а) Исходный сигнал;

(б) ВК уровня 1 для Добеши 4;

(в) ВК уровня 1 для Добеши 20.

на основе МНДВП включает

1) определяются ВК первого уровня Щ с помощью МНДВП;

2) полученные ВК разбиваются на интервалы, равные длине фильтра;

3) находится

максимальный по модулю ВК в каждом интервале;

4) определяются индексы ВК, соответствующие предполагаемым выбросам в соответствии с максимумом импульсной

\ 1 1

/

I

I

-м

Тс

(а)

(б)

(в)

(г)

Рис.4, (а) Представление одиночного выброса в вейвлет-области; (б) Импульсная

характеристика высокочастотного фильтра Добеши длины 4 на первом уровне ВП; (в) Пример группы близких выбросов в исходном сигнале; (г) Представление группы близких выбросов в вейвлет-области.

характеристики высокочастотного фильтра;

5) с учетом требуемого уровня отбраковки Р рассчитывается величина порога для определения ВК, соответствующих выбросам Т = Ра, где а -СКО ВК. Формула для расчета СКО на первом уровне ВП имеет вид

чЛГ-1

MED

W{(j)-MED{{lVx(i))N^)]~n

(2)

0.6745

где MED обозначает медиану, Щ - вектор ВК первого уровня разложения;

6) с учетом рассчитанного порога определяются наибольшие ВК, которые соответствуют выбросам;

7) проводится коррекция индексов найденных выбросов для исходного сигнала;

8) повторяются шаги 2-7, но при этом окно сдвигается на половину длины фильтра. Находится пересечение индексов найденных выбросов в первом случае и в случае сдвинутого окна для исключения обнаружения ложных выбросов;

9) коррекция обнаруженных выбросов;

10) повторяются шаги 1-9 до тех пор, пока алгоритм не найдет ни одного выброса или в случае превышения максимально возможного числа итераций.

Удаление осциллирующих и др. составляющих. Мулыпиразрешающий анализ на основе МНДВП. Произвольный входной сигнал можно рассматривать в виде суммы разнотипных составляющих: тренда, различных осциллирующих компонент, флуктуаций, локальных особенностей. Инструментом разделения сигналов на такие составляющие является мультиразрешающий анализ. Предлагается проводить разделение сигнала на составляющие с помощью мультиразрешающего анализа во временной области, а не в традиционной вейвлет-области. Преимуществом представления сигнала по частотным полосам во временной области является то, что мы получаем проекции на детализирующее и аппроксимирующее пространства для различных частотных полос, используя фильтры с нулевой

фазой. Их легче анализировать, поскольку в вейвлет-области за счет формы используемого вейвлет-фильтра составляющие, соответствующие различным частотным полосам, сдвигаются, и общая картина становится менее понятной. Мультиразрешающий анализ на основе МНДВП на уровне 7 представляется в виде суммы следующих составляющих:

У=Вру{+А[Вт^2++...+А1..А]_хВт№+а(...Ат^АХ ,

А V} й] Б]

где = \vJfVj и у^Ку - проекции на детализирующее и

аппроксимирующее пространства соответствующих частотных полос во временной области, = ВуАу_1...А1, = Д/Л,,,...^ - матрицы

преобразования размерности Ых N для выделения высокочастотных и низкочастотных ВК соответственно, В^ и А} - матрицы размерности NxN,

соответствующие ] -у уровню, каждая строка матрицы содержит коэффициенты вейвлет и масштабирующего фильтров соответственно.

Наиболее информативные частотные составляющие в работе определяются из распределения средних энергий по частотным полосам на основе мультиразрешающего анализа с использованием декомпозиции выборочной дисперсии исходного сигнала.

Заполнение разрывов. При обработке и анализе сигналов нередко возникает задача восстановления пропущенных значений на важных для анализа участках. Эти пропуски могут быть обусловлены, например, сбоями в регистрирующей аппаратуре или пропусками, образованными в результате удаления выбросов. В данном разделе предлагается вариант адаптивного заполнения разрывов, основанный на полиномиальном прогнозировании. Для заполнения разрыва строятся проверочные полиномы слева и справа от разрыва, по которым формируются прогнозы и выбирается наилучший прогноз, обеспечивающий наименьшую суммарную ошибку.

В четвертой главе поясняется этап разведочного анализа данных, решается проблема компенсации краевых эффектов. В конце главы приводится общая схема очистки сигналов от шума и способы оценки результатов очистки на основе диагностики остатков.

Универсального метода очистки сигналов от шума, эффективно работающего на всех классах сигналов, нет. Метод очистки от шума должен выбираться с учетом вида шума (коррелированный или некоррелированный, гетероскедастический или гомоскедасгический) и типа сигнала (гладкие сигналы или сигналы с особенностями). Поэтому для выбора подходящего метода необходимо провести анализ исходного сигнала для получения как можно более полной априорной информации, в соответствие с которой выбор метода очистки среди их большого разнообразия будет наиболее простым и эффективным.

Проверка шума на коррелированностъ. Фактически все подходы к очистке сигналов от шума, использующие модификацию ВК основываются на допущении, что ВК на самом тонком уровне разложения являются

независимыми, однако это условие может не выполняться в случае коррелированного шума. Причина появления коррелированного шума может быть следствием электрических наводок, нестабильности работы прибора, появления мешающих осциллирующих составляющих. Однако, исследования, проведенные в работе, показали, что коррелированность ВК может быть обусловлена также частичным попаданием осциллирующей составляющей истинного сигнала на тонкие уровни вейвлет-разложения из-за недостаточного числа нулевых моментов выбранной при ВП вейвлет-функции. Поскольку, ВК тонких уровней подвергаются пороговой обработке, может исказиться осциллирующая составляющая истинного сигнала. В работе рассмотрены различные способы очистки от шума данных в случае коррелированных ВК тонких уровней.

Проверка шума на гетероскедастичность. Результаты измерений многих физических процессов представляют собой аддитивную смесь квазидетерминированного сигнала и нестационарного шума, дисперсия которого изменяется по кусочно-постоянному или по неизвестному закону, описываемому гладкой функцией. Такой шум называется гетероскедастическим, и традиционные методы с использованием пороговой вейвлет-обработки в этом случае не применимы. Разработанные методы очистки от нестационарного шума приводятся в пятой главе.

Выбор ВП. В результате исследования различных видов ВП для очистки от шума предлагается использовать МНДВП, основные преимущества которого описаны в главе 2.

Выбор наилучшего базиса и его параметров для конкретного типа сигналов. Результаты очистки от шума зависят от выбранного вида фильтра и его длины. В зависимости от вида сигнала в качестве базисной функции для ВП могут использоваться фильтры, характеризующиеся различной степенью гладкости и длиной носителя. В работе подробно исследовано влияние свойств вейвлет-функции на результаты оценивания истинной функции /, в зависимости от анализа исходного сигнала у и выбранного метода очистки. Показано, что для МНДВП выбор базиса менее критичен, то есть допускает больший диапазон отклонений от наилучшего базиса для исследуемого сигнала.

Выбор способа пороговой обработки. Показано, что результаты очистки от шума зависят не только от выбранного метода определения порога для модификации ВК, но также и от того, каким способом он применяется. В работе используется многоуровневая пороговая обработка, которая заключается в вычислении порога для модификации ВК на каждом уровне разложения.

Выбор правила, порогов для модификации ВК и числа уровней вейвлет-разложения. Пороговая обработка в общем случае заключается в модификации ВК в соответствии с заданным пороговым правилом и типом порога. В настоящее время разработано большое количество различных порогов. Исследование влияния различных пороговых правил на очистку от

шума показало, что результаты очистки в стандартных ситуациях отличаются несущественно.

Выбор порогов и число уровней разложения в работе предложено осуществлять на основе диагностики остатков. Поскольку предполагается, что шум в большинстве случаев является независимым и нормально распределенным, то для выбора наилучшего метода предлагается использовать диагностику остатков, полученных при различных базисах и параметрах очистки от шума, с помощью критериев независимости и нормальности [2].

Компенсация краевых эффектов. Традиционные методы с использованием периодического и симметричного продолжения приводят к заметным искажениям результатов оценивания полезного сигнала на границах. Искажение результатов очистки от шума на границах возникает из-за кругового сдвига в начале сигнала в результате прямого МНДВП (или другого вида ВП), а в конце сигнала в результате обратного МНДВП. Предлагается способ дополнения данных с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком, который обеспечивает лучшие результаты очистки от шума на границах, по сравнению с традиционными методами.

Процедура очистки от шума. Общая схема очистки от шума включает следующие шаги:

1) прямое ВП для исходного сигнала у: W = wy, где W - ВК, w- матрица преобразования;

2) процедура усечения ВК W = T(W), зависящая от способа пороговой обработки и правила усечения, где Т - оператор преобразования ВК;

3) обратное ВП / = wT W.

Анализ и интерпретация результатов обработки. Оценку результатов обработки (если шум не гетероскедастический) предлагается осуществлять на основе диагностики остатков с использованием критериев независимости и нормальности.

Пятая глава посвящена удалению нестационарного шума из экспериментальных данных.

При использовании вейвлетов, пороговое значение в алгоритмах удаления шума формируется на основании оценки СКО, вычисленной по всей выборке. Однако это приводит к заметному снижению качества очистки на участках, где шум значительно отличается по СКО от глобально вычисленного значения. Существующие методы предполагают, что модель поведения шума известна или может быть оценена. В настоящей главе решается задача удаления шума, дисперсия которого изменяется скачком в случайные моменты времени, т. е. сг,- кусочно-постоянная функция: ai = const при значениях i из некоторого замкнутого интервала, образующего к-ый кластер, к = 1,2,...,А/, М- число кластеров, M«N.

Предлагается модифицированный метод удаления шума, который применяется в случае выполнения гипотезы о его гетероскедастичности, отличительной чертой которого является введение процедуры кластеризации ВК каждого уровня декомпозиции и расчет порогов по кластерам.

Метод удаления нестационарного шума, дисперсия которого изменяется по кусочно-постоянному закону включает следующие шаги:

1) выполняется прямое МНДВП;

2) выполняется кластеризация ВК Жу, у = 1,...,7. В работе предлагается

использовать алгоритм, основанный на сравнении дисперсий с применением Б-распределения Фишера [3] и дальнейшим уточнении границ. Преимущества этого алгоритма состоят в том, что, не требуется априорного знания числа кластеров. В результате кластеризации ВК, входящие в к- ый

кластер } - го уровня декомпозиции имеют индексы г е Ку к, т.е. 1¥у (/') ,Г_К. к;

3) по полученным кластерам на каждом уровне декомпозиции пересчитываются дисперсии и вычисляются пороги. Формула расчета СКО для к - го кластера на _/ -ом уровне декомпозиции имеет вид

^ N1/2

= ^

где - среднее значение ВК, входящих в кластер к, гк - число ВК в к -ом

кластере. Пороговые значения рассчитываются в зависимости от выбранного типа порога. Например, если порог многоуровневый универсальный, то пороговые значения определяются для каждого уровня ВП и для каждого кластера по формуле

С учетом рассчитанных пороговых значений и выбранного правила производится корректировка ВК;

4) на заключительном этапе выполняется обратное МНДВП. Сравнение результатов очистки от нестационарного шума с использованием МНДВП и предлагаемого методов представлены на рис.5.

Шумовая составляющая может изменяться по какому-либо априори неизвестному закону, описываемому гладкой функцией. Предлагаемые в литературе методы определяют его по квадрату или логарифму квадрата остатков, полученных после оценивания истинной функции / одним из регрессионных методов. Однако все эти методы чувствительны даже к небольшим выбросам, что приводит к неудовлетворительному оцениванию закона изменения дисперсии.

Предлагается метод удаления нестационарного шума, дисперсия которого изменяется по неизвестному закону, описываемому гладкой функцией, который восстанавливает закон изменения СКО шумовой составляющей, используя абсолютные значения ВК, и осуществляет пороговую обработку с учетом восстановленного закона.

Метод включает следующие этапы: 1) выделение шумовой составляющей с использованием МНДВП по формуле

А А> А/

где Щ,^,...,^ - ВК первых 3 уровней разложения, D^,D2,...,DJ - проекции на детализирующее пространство

соответствующих частотных полос, А, В -матрицы преобразований. Выделенная составляющая содержит в основном шум, если истинный сигнал является гладким. Для сигналов с особенностями составляющая содержит, кроме шума, небольшое число значительно

Подавление шума в наблюдаемом отличающихся по амплитуде ВК, сигнале• соответствующих этим особенностям. В

(в) с использованием МНДВП, этом слУчае Д™ меньшего искажения (г) предлагаемым методом. особенностей при пороговой обработке

рекомендуется использовать веивлет с как можно более малой длиной фильтра;

2) определение закона изменения СКО шума по модулю выделенной на предыдущем этапе шумовой составляющей с использованием разных подходов, например, ядерного сглаживания, вейвлет-разложения. Для окончательного получения оценки закона изменения шума <т(г)

вычисленный тренд нормируется на величину л/2/ к, поскольку значения модуля выделенной шумовой составляющей £ принадлежат полунормальному закону. Из [3] известно, что для среднего значения распределения модуля случайной величины распределенной по

нормальному закону справедливо соотношение Е^^яу] 21 лег, где

¿геЛг(0,<7),| = |4

3) пороговая обработка ВК с учетом определенного закона СКО шумовой составляющей;

4) обратное ВП.

На рис.6 показан исходный полиномиальный сигнал, загрязненный шумом, дисперсия которого изменяется по синусоидальному закону и ВК первого уровня. Рис.7 показывает пороговую обработку ВК первого уровня и остатки от очистки от гетероскедастического шума в зависимости от определенного закона изменения СКО шума.

Рис.5. Модель сигнала из шести пиков гауссовой формы:

(а) полезный сигнал; (б) наблюдаемый сигнал.

КВО 1Я» МЮ 2500

$¿21«

-г. с---

(а) ^ (б)

Рис. 6. (а) Наблюдаемый сигнал с нестационарным шумом, который изменяется по синусоидальному закону; (б) ВК первого уровня.

т

Шй1|

: I.

Рис. 7. Пороговая обработка ВК

первого 1 с учетом закона изменения <у, Б - ВП а уровня 1.

В шестой главе предлагаются методы очистки от шума сигналов с особенностями. Выделены две группы сигналов с особенностями:

1) сигналы, позволяющие выделять особенности по максимумам модуля значений оценки производной первого порядка, полученной с использованием метода конечных разностей (или ВК первого уровня, определенных с использованием МНДВП и вейвлета Хаара), то есть сигналы с изолированными особенностями (рис.8);

2) сигналы, содержащие резкие изменения, но при наложении шума не позволяющие обнаруживать особенности, то есть сигналы с неизолированными особенностями (рис.9).

9 т -|..... щ

Р

..и 1........

0 50 100 150 2Ш 250

и; и

Г

0 50 100 150 2С0 250

Рис.8. Пример сигнала, имеющего значимые ВК на каждом масштабе разложения и их ВК уровня 1.

Рис.9. Пример сигнала, который при наложении шума не имеет значимых ВК на первом уровне разложения и ВК уровня 1.

При очистке от шума сигналов из первой группы в окрестности особенностей в вейвлет-области наблюдаются меньшие по амплитуде осцилляции, которые относятся к особенности, но при пороговой обработке модифицируются, что и являются источником колебаний Гиббса. В работе

предложен метод сегментной очистки от шума сигналов с изолированными особенностями, который заключается в определении резких изменений по первому уровню МНДВП с использованием вейвлета Хаара и последующей очистке каждого сегмента в отдельности, что позволяет избежать эффекта Гиббса и, следовательно, улучшает очистку от шума в окрестностях резких изменений. Сравнение результатов очистки с использованием существующего и предлагаемого методов для кусочно-постоянного сигнала

показаны на рис.10.

Стандартная очистка от шума сигналов из второй группы приводит к сглаживанию резких

изменений в этих сигналах. Разработан метод,

восстанавливающий в

процессе очистки

особенности сигналов. Метод включает этап определения

Рис.10. Сравнение результатов очистки от шума для МНДВП и предлагаемого метода.

местоположения особенностей по максимальным кривизнам и разделения сигнала на отдельные сегменты. После чего выполняется очистка от шума для каждого сегмента в отдельности. Если тренд оцениваемого сегмента имеет небольшой порядок (до 10 степени), то для очистки от шума можно использовать обычный метод наименьших квадратов (МНК). Для первого сегмента используется МНК без ограничения. Далее последняя точка очищенного сегмента задается в виде ограничения при очистке от шума второго сегмента, то есть применяется МНК с ограничением. Метод особенно эффективен при

определении таких сигналов.

Сравнение очистки от использованием предлагаемого

производных

результатов шума с МНДВП и метода

показаны на рис. 11. РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Предложены методы восстановления полезного сигнала с использованием ВП в сложной помеховой обстановке.

2. Показано, что при использовании вейвлетов, пороговое значение в алгоритмах удаления шума формируется на основании оценки СКО, вычисленной по всей выборке, что приводит к заметному снижению качества очистки на участках, где шум значительно отличается по СКО от глобально

Рис.11. Результаты очистки от шума с использованием МНДВП и предлагаемого метода.

вычисленного. Разработаны методы удаления нестационарного шума, дисперсия которого изменяется по кусочно-постоянному закону с использованием МНДВП и кластеризации ВК или по неизвестному закону, описываемому гладкой функцией на основе восстановления неизвестного закона изменения дисперсии шума по модулю выделенной с использованием МНДВП шумовой составляющей.

3. Разработан метод сегментной очистки от шума на основе обнаружения неизолированных особенностей с использованием максимальных кривизн, позволяющий восстанавливать скрытые в шуме особенности сигналов, что может использоваться при определении производных таких сигналов. Разработан метод сегментной очистки от шума на основе обнаружения изолированных особенностей, позволяющий избежать эффекта Гиббса в кусочно-полиномиальных сигналах.

4. Представлены методы обработки и анализа данных, проводимые до непосредственной процедуры очистки от шума. Разработан метод отбраковки выбросов на основе МНДВП, работающий при наличии осциллирующих составляющих на фоне тренда. Исследован метод выделения и удаления осциллирующих и др. составляющих с использованием мультиразрешающего анализа на основе МНДВП. Разработан метод адаптивного заполнения разрывов.

5. Предложены методы разведочного анализа данных, позволяющие выбрать наиболее подходящий метод очистки от шума в зависимости от его типа (коррелированный или некоррелированный, стационарный или нестационарный), выбрать тип ВП, вид базисной функции и ее параметры, способ пороговой обработки, правило и тип порога для модификации ВК.

6. Традиционные методы с использованием периодического и симметричного продолжения приводят к заметным искажениям результатов оценивания полезного сигнала на границах. Разработан метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком, который обеспечивает лучшие результаты очистки от шума на границах.

7. Все предлагаемые методы были реализованы и протестированы на модельных и реальных данных в среде МАТЛАБ.

Автор выражает благодарность. кандидату технических наук Орешко Николаю Ивановичу за очень полезные критические замечания и научные консультации по содержанию работы.

ЦИТИРУМАЯ ЛИТЕРАТУРА

1. Percival D., Waiden A. Wavelet methods for time series analysis. London: Cambridge University Press, 2000, 594 p.

2. Henry C. Thode Jr. Testing for normality // New York: State University of New York at Stony Brook. 2002, P. 479.

3. Кобзарь. А.И. Прикладная математическая статистика. М.: ФИЗМАТЛИТ, 816 с, 2006.

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

AI. Орешко Н.И., Князева Т.Н. Адаптивное заполнение разрывов при обработке многомерных телеметрических данных// Известия СПбГЭТУ "ЛЭТИ". 2007. №1. С. 58-64.

А2. Орешко H.H., Князева Т.Н. Очистка от шума траекторных данных при наличии гетероскедастических погрешностей// Известия СПбГЭТУ "ЛЭТИ". 2007. №2. С. 31-40.

A3. Орешко Н.И., Князева Т.Н. Вейвлет-технология анализа и очистки от шума сигналов и ее реализация в среде MatLab// Труды третьей всероссийской научной конференции "Проектирование инженерных и научных приложений в среде MatLab". 2007. С. 1450-1459. A4. Князева Т.Н., Орешко Н.И. Вейвлет-анализ и очистка от шума сигналов с использованием технологии взаимодействия MATLAB С MS VISUAL С++// Сборник докладов конференции «Технологии Microsoft в теории и практике программирования». 2008. С. 138-139.

А5. Орешко Н. И., Князева Т.Н. Автоматизированный поиск выбросов с использованием вейвлет-преобразования// Труды Российского научно-технического общества радиотехники, электроники и связи имени А.С.Попова. Серия "Цифровая обработка сигналов и ее применение", Выпуск: Х-1. 2008. С. 145-149.

А6. Князева Т.Н., Орешко H.H. Вейвлет-технология очистки от шума сигналов с использованием байесовских методов// Сборник докладов XI Международной конференции по мягким вычислениям и измерениям (SCM'2008), Том 1.2008. С. 147-151.

А7. Орешко Н.И., Князева Т.Н. Вейвлет-технология анализа и очистки от шума сигналов// Научно-технический журнал "Цифровая обработка сигналов". 2008. № 3. С. 21-25 (журнал включен в список ВАК). А8. Князева Т.Н., Новиков JI.B., Орешко Н.И. Удаление нестационарного шума из экспериментальных данных// Журнал "Научное приборостроение" РАН. 2008. Том 18. № 2. С. 61-65 (журнал включен в список ВАК). А9. T.N. Knyazeva, N.I. Oreshko. Wavelet Denoising of Experimental Data with Non-stationary Noise// Труды Международной конференции "Wavelets and Applications". 2009. P. 28-30.

A10. Князева Т.Н. Модификации вейвлет-методов очистки от шума сигналов с особенностями и данных с нестационарным шумом// Труды Российского научно-технического общества радиотехники, электроники и связи имени А.С.Попова. Серия "Цифровая обработка сигналов и ее применение", Выпуск: Х-1. 2009. С. 80-85.

Подписано в печать 21.05.2010г. Формат 60x84/16 П.л. 1,25 Уч.-изд.л 1,25. Тир. 100 эю. Отпечатано в типографии ООО «Турусел» 191186, Санкт-Петербург, ул. Миллионная д.1. Тел. 571-5474 Зак. № 13231 от 21.05.20 Юг.

Введение

Актуальность работы

Цель работы

Научная новизна

Положения, выносимые на защиту

Содержание работы

Глава 1. Анализ существующих методов очистки сигналов от 17 шума

1.1 Постановка задачи

1.1.1 Классическая постановка задачи очистки от стационарного 17 шума

1.1.2 Постановка задачи очистки нестационарных 18 экспериментальных данных

1.1.3 Влияние разложения исходного сигнала по базису на 19 постановку задачи очистки от шума

1.2 Критерии выбора подходящей аппроксимации

1.3 Существующие методы очистки сигналов от шума

1.3.1 Введение

1.3.2 Классификация методов очистки сигналов от шума

1.3.3 Параметрические методы оценивания

1.3.4 Не параметрические линейные сглаживающие методы 29 оценивания

1.3.4.1 Ядерные регрессионные методы оценивания

1.3.4.2 Локальные полиномиальные методы оценивания

1.3.4.3 Сглаживание сплайнами

1.3.4.4 Винеровская фильтрация

1.3.4.5 Оценки, использующие ортогональные функции

1.3.4.6 Линейное вейвлет-сглаживание

1.3.5 Недостатки линейных сглаживающих методов оценивания

1.3.6 Непараметрические нелинейные сглаживающие методы 41 оценивания

1.3.6.1 Адаптивные методы оценивания

1.3.6.2 Пороговая вейвлет-обработка 43 1.4 Заключение

Глава 2. Дискретное вейвлет-преобразование и очистка от 45 шума

2.1 Введение

2.2 Преимущества использования вейвлетов

2.3 Классификация вейвлет-преобразований

2.3.1 Дискретное вейвлет-преобразование

2.3.2 Максимально накладывающееся дискретное 51 вейвлет-преобразование

2.3.3 Дискретное вейвлет-пакетное преобразование

2.3.4 Максимально накладывающееся дискретное вейвлет- 54 пакетное преобразование

2.4 Классификация методов пороговой вейвлет-обработки

2.4.1 Виды правил пороговой обработки

2.4.2 Способы пороговой обработки 60 2.4.3. Методы выбора величин порогов

2.4.3.1 Минимаксный порог

2.4.3.2 Универсальный порог

2.4.3.3 Порог, определенный на основе множественной 63 проверки гипотез

2.4.3.4 Порог, определенный на основе перекрестной 65 проверки

2.4.3.5 Порог, основанный на несмещенной оценке риска 67 Стейна

2.4.3.6 Пороговая обработка как рекурсивная задача проверки 68 гипотезы

2.4.3.7 Пороги, определяемые с использованием байесовского 69 подхода

3.2 Общая схема очистки от шума 78

3.3 Удаление выбросов 79

3.3.1 Анализ существующих методов отбраковки выбросов 79

3.3.2 Метод обнаружения выбросов, основанный на МНДВП 90

3.4 Выделение и удаление осциллирующих и др. составляющих на 103 основе МНДВП

3.4.1 Мультиразрешающий анализ на основе МНДВП 107

3.4.2 Распределение средних энергий по частотным полосам 110

3.5 Заполнение разрывов 112

3.6 Анализ и отбор участков для обработки 117

3.7 Заключение 118 Глава 4. Этапы очистки от шума 119

4.1 Введение 119

4.2 Разведочный анализ данных для адаптивного выбора способов 120 и параметров обработки

4.2.1 Проверка вейвлет-коэффициентов на коррелированность 120

4.2.2 Проверка шума на нестационарность 126

4.2.3 Выбор наилучшего базиса и его параметров для 128 конкретного типа сигналов

4.2.4 Выбор наилучшего метода очистки, анализ результатов 138 обработки на основе диагностики остатков

4.3 Выбор вейвлет-преобразования 138

4.4 Выбор способа пороговой обработки 138

4.5 Выбор правила и порогов для модификации вейвлет- 140 коэффициентов

4.6 Компенсация краевых эффектов 141

4.7 Процедура очистки от шума 151

4.8 Заключение 146 Глава 5. Удаление нестационарного шума из экспериментальных 148 данных

5.1 Введение 148

5.2 Проверка гипотезы о гетероскедастичности шума 148

5.3 Удаление нестационарного шума, дисперсия которого 148 изменяется по кусочно-постоянному закону

5.4 Удаление нестационарного шума, дисперсия которого 156 изменяется по неизвестному гладкому закону

5.4.1 Краткий обзор существующих методов определения закона 156 изменения СКО шума

5.4.2 Алгоритм удаления нестационарного шума, дисперсия 157 которого изменяется по неизвестному гладкому закону

5.5 Заключение 163 Глава 6. Сегментная очистка с фиксированными узлами от шума 164 сигналов с особенностями

6.1. Введение 164

6.2 Классификация сигналов с особенностями 165

6.2.1 Сегментная очистка от шума на основе алгоритма 167 обнаружения изолированных особенностей

6.2.2 Сегментная очистка от шума на основе обнаружения 172 неизолированных особенностей

6.3 Заключение 176 Основные результаты работы 177 Список литературы 180 Публикации по теме диссертации 189 Приложения 190

Введение

Актуальность работы

Повышение качества обработки данных физического эксперимента, состояния объекта исследований или технологического процесса, полученных с помощью приборов, было и остается важнейшей задачей, решаемой разработчиками информационно-измерительных систем. Однако существующие методы обработки базируются в основном на предположении стационарности поступающих в обработку данных. В то же время при работе приборов в критических условиях, например, в промышленности, на подвижных объектах (спутниках) при получении информации по телеметрическим каналам, данные искажены скачками шума, разрывами в полезном сигнале и т.п. Например, дисперсия нестационарного шума может изменяться по кусочно-постоянному закону или по неизвестному закону, описываемому гладкой функцией, что требует создания соответствующих методов адаптивной фильтрации.

Реальные сигналы нередко содержат особенности (резкие изменения, разрывы производной), которые необходимо максимально точно восстановить из зашумленных данных. Чаще всего эти особенности содержат главную информацию о сигнале. Если особенности представляются значительным количеством отсчетов (неизолированные особенности), то при очистке от шума таких сигналов традиционными методами информация о тонких деталях резких изменений сигнала или ее производных теряется. Если особенности представляются малым количеством отсчетов (изолированные особенности), то в результате обработки, в местах особенностей (как и в классическом случае Фурье преобразования, но в меньшей степени) наблюдается эффект Гиббса.

Цель работы

Цель работы заключается в разработке методов и эффективных вычислительных алгоритмов очистки сигналов от шума в сложной помеховой обстановке, то есть содержащих выбросы, осциллирующие составляющие, временные разрывы, нестационарный или коррелированный шум, изолированные и неизолированные особенности.

Методы исследований

Для достиэюения указанной цели были исследованы возможности современной теории вейвлетов, свойства частотно-временной локализации которых, позволяют восстанавливать функции с разрывами в производных и сигналы с особенностями.

В диссертационной работе приводятся методы и алгоритмы обработки и анализа данных построенные на основе методов математической статистки и вейвлет-теории. Предлагаемые алгоритмы были реализованы и протестированы в среде МАТЛАБ.

Научная новизна

Научная новизна состоит в том, что: 1. Предложены методы восстановления полезного сигнала в условиях нестационарного шума и разрывов сигнала, отличительной чертой которых является использование вейвлет-преобразования на всех этапах обработки, что позволяет создавать быстрые вычислительные и эффективные алгоритмы обработки. В частности, разработаны методы удаления нестационарного шума, дисперсия которого изменяется по кусочно-постоянному закону и неизвестному закону, описываемому гладкой функцией. Разработаны методы сегментной очистки сигналов от шума на основе обнаружения изолированных и неизолированных особенностей.

2. Разработаны методы обработки данных перед очисткой сигналов от шума. В частности, метод отбраковки выбросов на основе максимально накладывающегося дискретного вейвлет-преобразования (МНДВП), работающий при наличии осциллирующих составляющих на фоне тренда. Исследован способ выделения и удаления осциллирующих и др. составляющих сигнала с использованием мультиразрешающего анализа на основе МНДВП. Разработан метод адаптивного заполнения разрывов, позволяющий заполнять большие разрывы, чем известные методы, основанные на В-сплайнах и локально-полиномиальной регрессии.

3. Разработан метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком, который обеспечивает лучшие результаты очистки от шума на границах, по сравнению методами, основанными на симметричном и периодическом продолжении.

Практическая ценность работы состоит в том, что предложенные методы могут быть использованы для создания алгоритмов восстановления сигналов с особенностями, содержащих выбросы, нестационарный или коррелированный шум.

Положения, выносимые на защиту

1. Методы обработки нестационарных данных с использованием вейвлет-преобразования. В частности, метод удаления шума, дисперсия которого изменяется по кусочно-постоянному закону или по неизвестному закону, описываемому гладкой функцией, методы сегментной очистки сигналов от шума на основе обнаружения изолированных и неизолированных (с использованием максимальных кривизн) особенностей.

2. Метод отбраковки выбросов на основе МНДВП.

3. Метод адаптивного заполнения разрывов, основанный на полиномиальном прогнозировании.

4. Метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком.

Апробация полученных результатов. Результаты работы докладывались на семинарах в ИАнП РАН, третьей всероссийской научной конференции "Проектирование инженерных и научных приложений в среде MatLab", Санкт-Петербург, 2007; конференции «Технологии Microsoft в теории и практике программирования», Санкт-Петербург, 2008; на 10-ой Международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва 2008; XI Международной конференции по мягким вычислениям и измерениям (SCM'2008), Санкт-Петербург, 2008; на международной конференции "Wavelets and Applications", St. Petersburg, 2009; на 11-ой Международной конференции и выставке «Цифровая обработка сигналов и ее применение», Москва, 2009.

Публикации. По теме диссертации опубликовано 10 работ (в том числе 2 работы в рецензируемых журналах), список которых приведен в конце диссертационной работы.

Структура и объем работы. Диссертация объемом 190 стр. состоит из введения, шести глав, разбитых на параграфы, приложений и списка литературы, содержащего 116 названий.

Основные результаты работы

1. На основе исследования различных методов очистки от шума предложена их классификация. Кроме стандартного разделения методов на параметрические и непараметрические, линейные и нелинейные, классификация проводилась по областям, в которых осуществлялась обработка исходного сигнала: временной, частотной и частотно-временной. Предложена классификация вейвлет-методов очистки сигналов от шума, включающая их разделения в зависимости от вида вейвлет-преобразования, способа пороговой обработки, правила модификации вейвлет-коэффициентов и метода вычисления порога.

2. Предложена методика очистки сигналов от шума с использованием вейвлет-преобразования, включающая этапы: обработку данных перед очисткой сигнала от шума, разведочный анализ для адаптивного выбора способа и параметров очистки от шума, компенсацию краевых эффектов, процедуру очистки от шума, анализ и интерпретацию результатов. Отдельно рассмотрен этап разведочного анализа данных, включающий способы проверки шума на коррелированность и нестационарность, выбор вейвлет-преобразования, выбор наилучшего базиса и его параметров, выбор способа пороговой обработки, правил и порогов для модификации вейлет-коэффициентов, выбор числа уровней вейвлет-разложения.

3. Показано, что выбросы в вейвлет-области рассматриваются как особенности сигнала, не подлежащие очистке; обычно ДВП работает с равнодикретными данными, что невозможно в присутствии разрывов во временной оси; мешающие осциллирующие составляющие, особенно высокочастотные могут внести сложности в очистку от шума, вызывая корреляцию вейвлет-коэффициентов на тонких уровнях разложения. В связи с этим, представлены методы обработки и анализа данных, проводимые до непосредственной процедуры очистки от шума: отбраковка выбросов, удаление осциллирующих составляющих, заполнение разрывов. Разработан метод отбраковки выбросов на основе МНДВП, работающий при высоком уровне автокорреляции в данных. Исследован метод выделения и удаления осциллирующих и др. составляющих с использованием мультиразрешающего анализа на основе МНДВП. Разработан метод адаптивного заполнения разрывов, позволяющий заполнять большие разрывы, чем известные методы, основанные на В-сплайнах и локально-полиномиальной регрессии.

4. Предложены методы разведочного анализа данных, позволяющие выбрать наиболее подходящий метод очистки от шума в зависимости от его типа (коррелированный или некоррелированный, стационарный или нестационарный), выбрать тип вейвлет-преобразования, вид базисной функции и ее параметры, способ пороговой обработки, правило и тип порога для модификации вейвлет-коэффициентов.

5. Разработан метод компенсации краевых эффектов с помощью экстраполяции по оцененной на границе полиномиальной модели с адаптивно оцениваемой структурой и порядком, который обеспечивает лучшие результаты очистки от шума на границах, по сравнению со стандартными методами.

6. Показано, что при использовании вейвлетов, пороговое значение в алгоритмах удаления шума формируется на основании оценки среднеквадратического отклонения (СКО), вычисленной по всей выборке, что приводит к заметному снижению качества очистки на участках, где шум значительно отличается по СКО от глобально вычисленного, то есть при наличии нестационарного шума. Разработаны методы удаления нестационарного шума, дисперсия которого изменяется по кусочно-постоянному закону или по неизвестному гладкому закону.

7. Показано, что если особенности сигналов представляются малым числом отсчетов и выявляются на тонких уровнях вейвлет-разложения, то при очистке от шума в окрестности резких изменений в вейвлет-области наблюдаются меньшие по амплитуде осцилляции, которые относятся к особенностям, но при пороговой обработке модифицируются, что является источником колебаний Гиббса. Если особенность представляется большим числом отсчетов, то в вейвлет-области на тонких уровнях соответствующие ей вейвлет-коэффициенты будут на порядок меньше шума, то есть информация о тонких деталях особенности теряется и в результате очистки резкое изменение сглаживается. Разработан метод сегментной очистки от шума на основе обнаружения изолированных особенностей, позволяющий избежать эффекта Гиббса в кусочно-полиномиальных сигналах. Разработан метод сегментной очистки от шума на основе обнаружения неизолированных особенностей, позволяющий восстанавливать скрытые в шуме особенности сигналов.

6.3 Заключение

Рассмотрены виды сигналов с особенностями. Выделены две группы: сигналы, имеющие значимые вейвлет-коэффициенты на каждом масштабе разложения и сигналы, принадлежащие пространству Бесова, но при наложении шума на тонких уровнях не имеющие значительно отличающихся по амплитуде вейвлет-коэффициентов вблизи резких изменений

176 неизолированные особенности). Показано, что если особенность в исходном сигнале представляется большим количеством отсчетов, то в вейвлет-области на тонких уровнях соответствующие ей вейвлет-коэффициенты будут на порядок меньше шума, то есть особенность обнаружить нельзя.

Показано, что при очистке от шума сигналов с изолированными особенностями, в окрестности резких изменений в вейвлет-области наблюдаются меньшие по амплитуде осцилляции, которые относятся к особенности, но при пороговой обработке модифицируются, что является источником колебаний Гиббса.

Предложен сегментный метод очистки от шума кусочно-полиномиальных сигналов, использующий возможности вейвлета Хаара для точного определения местоположения изолированных особенностей и пороговую вейвлет-обработку с использованием вейвлетов, отличных от вейвлета Хаара для аппроксимации гладких участков сигнала. При такой очистке удается избежать эффекта Гиббса и восстановить резкие изменения в сигнале.

Предложен метод восстановления неизолированных особенностей с помощью МНДВП и анализа максимальных кривизн и алгоритм очистки от шума, основанный на сегментной очистке с фиксированными узлами. При такой очистке восстановить резкие изменения в сигнале.

1. Wasserman L. All of nonparametric statistics// Springer. USA, 2006. P.268.

2. Леман Э. Теория точечного оценивания: Пер. с англ. М.: Наука. Гл. ред. физ.-мат. лит., 1991. - 448 с.

3. Айвазян С. А. и др. Прикладная статистика: Исследование зависимостей: Справ, изд. / С. А. Айвазян, И.С. Енюков, JI. Д. Мешалкин; Под ред. С. А. Айвазяна. — М.: Финансы и статистика, 1985. — 487 с.

4. Айвазян С.А., А4хитарян B.C. Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т.1: Айвазян С.А., Мхитарян B.C. Теория вероятностей и прикладная статистика. — М.: ЮНИТИ-ДАНА, 2001. 656 с.

5. Куликов Е. И. Прикладной статистический анализ. Учебное пособие для вузов. — 2-е изд., перераб. и доп. М.: Горячая линия-Телеком, 2008. — 464 с.

6. Ibragimov I.A., Has'minskii R.Z. On the estimation of an infinite-dimensional parameter in Gaussian white noise. Soviet Math. Dokl. 236, 10531055, 1977.

7. Efroimovich S.Y., Pinker M.S. Estimation of square-integrable probability density of a random variable. Problems Inform. Transmission 18, pp. 175-189, 1982.

8. Brown L.D., Low M.G. Asymptotic equivalence of nonparametric regression and white noise. The Annals of Statistic 24, 2384-2398, 1996.

9. Nussbaum M. Asymptotic equivalence of density estimation and Gaussian white noise. The Annals of Statistics 24, 2399-2430, 1996.

10. Johnstone /. Function Estimation in Gaussian Noise: Sequence Models. Unpublished manuscript.

11. Справочник по прикладной статистике. В 2-х т. Т.1: Пер. с англ. / Под ред. Э. Ллойда, У. Ледермана, Ю. Тюрина. М.: Финансы и статистика, 1989.-510 с.

12. Малла С. Вэйвлеты в обработке сигналов: Пер. с англ. М.: Мир, 2005.- 671 с.

13. Candes E.J. Modern statistical estimation via oracle inequalities// Acta Numerica. 2006. V.15. P.257-326.

14. Huber P.J. Robust smoothing. In: Robustness in Statistics, eds. E. Launer and G. Wilkinson. New York: Academic Press, 1979.

15. Хардле В. Прикладная непараметрическая регрессия: Пер. с англ. -М.: Мир, 1993.-349 с.

16. Главные компоненты временных рядов: метод "Гусеница". Под редакцией Д.Л. Данилова и А.А. Жиглявского. Санкт-Петербургский университет, 1997.

17. Левин Б.Р. Теоретические основы статистической радиотехники. -3-е изд., перераб. и доп. М.: Радио и связь, 1989. - 656 с.

18. Scott D.W. Multivariate Density Estimation: Theory, Practice and Visualization. Wiley. New York, 1992.

19. Silverman B.W. Density Estimation for Statistics and Data Analysis. Chapman and Hall. New York, 1986.

20. Wahba G. Spline models for observational data. SIAM. New York, 1990.

21. Beran R. REACT scatterplot smoothers: Superefficiently through basis economy. Journal of the American Statistical Association 95, pp. 155-171, 2000.

22. Efromovich S. Nonparametric Curve Estimation: Methods, Theory and Applications. Springer-Verlag. New York, 1999.

23. Amato U., Vuza D.T. Wavelet approximation of a function from samples affected by noise. Rev. Rounmanie Math. Pure Appl., 42, pp. 481-493, 1997.

24. Antoniadis A. Wavelets in Statistics: A Review// Journal of the Italian Statistical Association. 1997. V.6. P.97-144.

25. Cohen A., D'Ales J.-P. Nonlinear approximation of random functions// SIAM J. Appl. Math. 1997. V57. P.518-540.

26. Devore RA. Nonlinear approximation// Acta Numerica. 1998. V.7. P.51150.

27. Lepski O.V., Mammen E., Spokoiny V.G. Optimal spatial adaptation to inhomogeneous smoothness: An approach based on kernel estimates with variable bandwidth selectors. The Annals of Statistics 25, pp. 929-947, 1997.

28. Muller H.-G., Stadtmuller U. Variable bandwidth kernel estimators of regression curves. The Annals, of Statistics. Volume 15, pp. 182-201, 1987.

29. Fan J., Gilbels I Local Plynomial Modelling and Its Applications. Chapman and Hall. New York, 1996.

30. Loader C. R. Local Regression and Likelihood. Springer-Verlag. New York, 1999.

31. Loader C. R. Bandwidth selection: classical or plug-in? The Annals of Statistics 27, pp. 415-438, 1999.

32. Mammen E., Geer S. Locally adaptive regression splines. The Annals of Statistics 25, pp. 387-413, 1997.

33. Donoho D.D., Johnstone I.M. Ideal spatial adaptation by wavelet shrinkage//Biometrika. 1994. V.81. P.425-455.

34. Donoho D.L., Johnstone I.M. Ideal denoising in a orthonormal basis chosen from a library of bases. Compt. Rend. Acad. Sci. Paris A 319, pp. 13171322, 1994.

35. Donoho D.L., Johnstone I.M. Minimax estimation via wavelt shrinkage. Technical report, Stanfird University, 1992.

36. Donoho D.L., Johnstone I.M., Kerkyacharian G., Picard D. Wavelet shrinkage: asymptopia (with discussion)? J. Roy. Statist. Soc., Ser. В 57(2), pp. 301-370, 1995.

37. Meyer Y Wavelets: Algorithms and Applications, SIAM, Philadelphia, 1993.38 .Добеиш К Десять лекций по вейвлетам. Изд. РХД, Москва-Ижевск, 2001.

38. Strang G. Wavelet transforms versus Fourier transforms. Bulletin of the American Mathematical Society 28, p. 288-305, 1993.

39. Чуй Ч. Введение в вэйвлеты: Пер. с англ. М.: Мир, 2001. - 412 с.

40. Coifman R. R., Donoho D. L. Translation-Invariant De-Noising. In Wavelets and Statistics (Lecture Notes in Statistics, Volume 103), New York: Springer-Verlag, 1995.

41. Percival D., Walden A. Wavelet methods for time series analysis. London: Cambridge University Press, 2000, 594 p.

42. Nason G. P., Silverman B.W. The Stationary Wavelet Transform and Some Statistic Application. In Wavelet and Statistics (Lecture Notes in Statistics, Volume 103), New York: Springer-Verlag, 1995.

43. Bruce A. G., Gao H.-Y. Applied Wavelet Analysis with S-PLUS, New York: Springer, 1996.

44. Bruce A., Gao H-Y. S+Wavelets: an object oriented toolkit for wavelet analysis. Technical Report 38, Statsci Divison, MathSoft, Seattle, 1995.

45. Pesquet J.-C., Krim H, Carfantan H. Time-Invariant Orthonormal Wavelet Representation. IEEE Transactionson Signal Processing, 44, 1964-70, 1996.

46. Bruce A. G., Gao H.-Y. Understanding WaveShrink: Variance and bias estimation. Biometrika 83 (4), pp. 727-746, 1996.

47. Marron J.S., AdakS., Johnstone I.M., Neumann M. H, Patil P. Exact risk analysis of wavelet regression// J. Comput. Graph. Statist. 1998. V.7. P.278-309.

48. Gao H.-Y. Wavelet Shrinkage Denoising Using the Non-Negative Garrote, 1997.

49. Antoniadis A., Fan J. Regularization of wavelets approximations. J. Am. Statist. Ass., 96, 2001.

50. Bruce A.G., Donoho D.L., Gao H.-Y., Martin R. D. Denoising and robust non-linear wavelet analysis. Proceedings of SPIE, the International Society for Optical Engineering, vol. 2242, pp. 325-336, 1994.

51. Jansen M., Malfait M., Bultheel A. Generalized cross-validation for wavelet thresholding. Signal Processing, 56 (1), 1997.

52. Nason, G.P. Wavelet shrinkage using cross-validation. J. R. Statist. Soc. B, 58, pp. 463-479,1996.

53. Weyrich N., Warhola G. Denoising using wavelets and cross-validation. In Singh, S. P. Approximation Theory, wavelets and applications, NATO ASI series C, pp. 523-532, 1995.

54. Donoho D.D., Johnstone I.M. Adapting to unknown smoothness via wavelet shrinkage// Journal of the American Statistical Association. 1995. V.90. P.1200-1224.

55. Ogden R.T., Parzen E. Change-point approach to data analytic wavelet thresholding. Statist. Comput., 6, pp.- 93-99, 1996.

56. Vidakovic B. Non-linear wavelet shrinkage with Bayes rules and Bayes factors. J. Am. Statist. Ass., 93, pp. 173-179, 1998.

57. Mallat S.G., Hwang W.L. Singularity Detection and Processing with Wavelets. IEEE Trans. On Information Theory 38, 617, 1992.

58. Muller P., Vidakovic B. Bayesian Inference in Wavelet Based Model, Springer Verlag, New York.

59. Clyde M., George E. Flexible Empirical Bayes Estimation for Wavelets// Journal of the Royal Statistical Society. Series В (Statistical Methodology).2000. V. 62, No. 4. P. 681-698.

60. Abramovich F., Besbeas P., Sapatinas T. Empirical Bayes approach to block wavelet function estimation// Computational Statistics and Data Analysis. 2002. V.39. P.435-451.

61. Abramovich F., Sapatinas TSilverman B. Wavelet thresholding via a Bayesian approach. J. R. Statist. Soc. B, 60, pp.- 725-749, 1998.64 .Крянев A.B., Лукин Г.В. Математические методы обработки неопределенных данных. М.: ФИЗМАТЛИТ, 2003. - 216 с.

62. Хъюбер Дж. П. Робастность в статистике: Пер. с англ.-М.: Мир, 1984.-304 с.

63. Bilen С., Huzurbazar S. Wavelet-based detection of outliers in time series. Journal of Computational & Graphical Statistics, 2002.

64. Cox D.D. Asymptotics for M-type smoothing splines. Annals of Sattistics, 11, p. 530-551, 1983.

65. Dasgupta M., Mishra S. Least Absolute Deviation Estimation of Linear Econometric Models: A Literature Review. Social Science Research Newtwork, 2004.

66. Debruyne M., Engelen S., Hubert M., Rousseeuw P.J. Robustness and Outlier Detaction in Chemometrics. Critical Reviews in Analytical Chemistry, Volume 36, pp. 221-242, 2006.

67. Donoho D.L., Yu T.P.-Y. Nonlinear pyramid transforms based on median-interpolation, SIAM J. Math. Anal., Vol. 31, № 5, pp. 1030-1061, 2000.

68. DuMouchel W.H., Brien F.L. Integrating a Robust Option into a Multiple Regression Computing Environment. Computer Science and Statistics: Proceedings of 21st Symposium on the Interface. Alexandria, VA: American Statistical Assosiation, 1989.

69. Fox J. Robust Regression. Appendix to An R and S-PLUS Companion to Applied Regression, 2002.

70. Holland P.W., Welsch R.E. Robust regression using iteratively reweighted least-squares. Communications in Statistics: Theory and Methods, Volume 6, pages 813-827, 1977.

71. Koenker R. Quantile Regression. Cambridge University Press, New York, 2005.

72. Rousseeuw P.J. Tutorial to robust statistics. Journal of Chemometrics, Vol.5, pp. 1-20, 1991.

73. Silverman B.W. Some aspects of the spline smoothing approach to nonparametric regression curve fitting (with discussion). Journal of the Royal Statistical Society, Series B, 47, p. 1-52, 1985.

74. Street J.O. Carroll, Ruppert. A Note on Computing Robust Regression Estimates via Iteratively Reweighted Least Squares. The A,erican Statistican. Vol. 42, pp. 152-154, 1988.

75. Melnik V., Schmulevich I., Egiazarian K., Astola J. Block-Mdian Pyramidal Transform: Analysis and Denoising Applications, 2001.

76. Brown L.D., Cai T.T., Zhou H.H. Robust nonparametric estimation via wavelet median regression. Ann. Statist, Volume 36, Number 5, pp. 2055-2084, 2008.

77. Rao C. R., Toutenburg H. Linear models: least squares and alternatives. New York: Springer-Verlag, 1999, 426 p.81 .Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976. 755 с.

78. Jawerth В., Sweldens W. An overview of wavelet based multiresolution analyses// SIAMRev. 1994. V.36. P.377-412.

79. Mallat S. A theory for multiresolution signal decomposition: The wavelet representation, IEEE Trans. On Patt. Anal. And Mach. Intell., 11, 674-693 p.

80. McQuarrie A., Chin-Ling Tsai. Regression and time Series Model Selection. London: World Scientific Publishing, 1998. 455 p.

81. СеберДж. Линейный регрессионный анализ. М.: Мир, 1980. 456 с.

82. Moulin P. Wavelet Thresholding Techniques for Power Spectrum Estimation. IEEE Transactions on Signal Processing, vol. 42, no. 11, pp. 31263136, 1994.

83. Donoho D.L. De-noising by soft-thresholding, EEE Trans. Inform. Theory, 41, no. 3, pp. 613-627, 1995.

84. Donoho D.L. Unconditional bases are optimal bases for data compression and for statistical estimation, Appl. Comput. Harmon. Anal. 1, no. 1, pp. 100-115, 1993.

85. Ферстер Э., Ренц Б. Методы корреляционного и регрессионного анализа. М.: Финансы и статистика, 1983. 303 с.

86. Johnstone I.M., Silverman B.W. Wavelet threshold estimators for data with correlated noise. Journal of the Royal Statistical Society: Series В (Statistical Methodology), Volume 59, Number 2, pp. 319-351, 1997.

87. Johnstone I.M. Wavelet shrinkage for correlated data and inverse problems: Adaptivity results. Statist. Sinica 9, pp. 51-84, 1999.

88. Villemoes L.F. Reduction of correlated noise using a library of orthonormal bases. Information Theory, IEEE Transactions on, pp. 494-604, 2002.

89. Lei Z., Chang-lin M. Testing heteroscedasticity in nonparametric regression models based on residual analysis. Appl. Math. J. Chinese. Univ. 23(3), pp. 25-272, 2008.94 .Кобзарь. А.И. Прикладная математическая статистика. M.: ФИЗМАТЛИТ, 816 с, 2006.

90. Inclan С., Tiao G. Use of Cumulative Sums of squares for retrospective defection of change of variance// JASA, V.427, pp. 913-935, 1994.

91. Daubechies /. Ortonormal bases of compactly supported wavelets. Commun. On Pure and Appl. Math., 41, pp. 909-996, 1988.

92. Battle G. A block spin construction of ondelettes. Part I: Lemarier functions. Comm. Math. Phys., pp. 601-615, 1987.

93. Ojanen H. Orthonormal compactly supported wavelets with optimal Sobolev regularity: numerical results. Applied and Computational Harmonic Analysis, Volume 10, Number 1, pp. 93-98, 2001.

94. Monro D.M., Bassil B.E., Dickson G.J. Orthonormal wavelet with balanced uncertainty. IEEE International Conference on Image Processing, Vol. 2, pp. 581-584, 1996.

95. Nason G.P. Choice of wavelet smoothness, primary resolution and threshold in wavelet shrinkage// Statistics and Computing. 2002. V.12. P.219-227.

96. Goel P., Vidakovic B. Wavelet Transformations as Diversity Enhancers. Discussion Paper, 95-04, ISDS, Duke University.

97. Маршалл А., Олкин И. Неравенства: теория мажоризации и ее приложения // М.: Мир. 1983. 574 с.

98. Henry С. Thode Jr. Testing for normality // New York: State University of New York at Stony Brook. 2002, P. 479.

99. Leslie D., Kohn R, Nott D. A general approach to heteroscedastic linear regression. Statistics and Computing, Volume 17, Number 2, pp. 131-146, 2007.

100. Lo W.Y., Selesnick I.W. Wavelet-Domain Soft-Thresholding for Non-Stationary Noise. Image Processing, 2006 IEEE International Conference on Volume, Issue, 8-11 Oct. 2006 Pages: 1441-1444.

101. Sachs R., MacGibbon B. Non-parametric curve estimation by wavelet thresholding with locally stationary errors. Scand. J. Statist., 27, pp. 475-499, 2000.

102. Raw lings J., PantulaS., Dickey D. Applied Regression Analysis. Spinger 1989. 658 p.

103. WO.Fan J., Yao Q. Efficient estimation of conditional variance functions in stochastic regression. Biometrika 85, pp. 645-660,1998.

104. Hall P., Marron J. On variance estimation in nonparametric regression. Biometrika 77, pp.- 415-419, 1990.

105. WA.Antoniadis A., Lavergne C. Variance function estimation in regression wavelet methods. Wavelets and Statistics. Lect. Notes Stat. Springer-Verlag. 103, pp. 31-42, 1995.

106. Cai T, Wang L. Adaptive variance function estimation in heteroscedastic nonparametric regression. Ann. Statist. Volume 36, Number 5, pp. 2025-2054, 2008.11 в.Крамер Г. Математические методы статистики. — М.: Мир, 1975. — 648 с.

107. Публикации по теме диссертации

108. А1. Ореилко Н.И., Князева Т.Н. Адаптивное заполнение разрывов при обработке многомерных телеметрических данных// Известия СПбГЭТУ "ЛЭТИ". 2007. №1. С. 58-64.

109. А2. Орешко Н.И., Князева Т.Н. Очистка от шума траекторных данных при наличии гетероскедастических погрешностей// Известия СПбГЭТУ "ЛЭТИ". 2007. №2. С. 31-40.

110. A3. Орешко Н.И., Князева Т.Н. Вейвлет-технология анализа и очистки от шума сигналов и ее реализация в среде MatLab// Труды третьей всероссийской научной конференции "Проектирование инженерных и научных приложений в среде MatLab". 2007. С. 1450-1459.

111. А4. Князева Т.Н., Орешко Н.И. Вейвлет-анализ и очистка от шума сигналов с использованием технологии взаимодействия MATLAB С MS

112. VISUAL С++// Сборник докладов конференции «Технологии Microsoft в теории и практике программирования». 2008. С. 138-139.

113. А6. Князева Т.Н., Орешко Н.И. Вейвлет-технология очистки от шума сигналов с использованием байесовских методов// Сборник докладов XI Международной конференции по мягким вычислениям и измерениям (SCM'2008), Том 1. 2008. С. 147-151.

114. А7. Орешко Н.И., Князева Т.Н. Вейвлет-технология анализа и очистки от шума сигналов// Научно-технический журнал "Цифровая обработка сигналов". 2008. № 3. С. 21-25 (журнал включен а в список ВАК).

115. А8. Князева Т.Н., Новиков Л.В., Орешко Н.И. Удаление нестационарного шума из экспериментальных данных// Журнал "Научное приборостроение" РАН. 2008. Том 18. № 2. С. 61-65 (журнал включен а в список ВАК).

116. А9. T.N. Knyazeva, N.I. Oreshko. Wavelet Denoising of Experimental Data with Non-stationary Noise// Труды Международной конференции "Wavelets and Applications". 2009. P. 28-30.