Распознавание сигналов и анализ нестационарных точечных процессов с использованием вейвлет-преобразования

Тупицын, Анатолий Николаевич

Распознавание сигналов и анализ нестационарных точечных процессов с использованием вейвлет-преобразования тема автореферата и диссертации по физике, 01.04.03 ВАК РФ

Тупицын, Анатолий Николаевич АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Саратов МЕСТО ЗАЩИТЫ

2009 ГОД ЗАЩИТЫ

01.04.03 КОД ВАК РФ

Диссертация по физике на тему «Распознавание сигналов и анализ нестационарных точечных процессов с использованием вейвлет-преобразования»

Автореферат диссертации на тему "Распознавание сигналов и анализ нестационарных точечных процессов с использованием вейвлет-преобразования"

На правах рукописи

ии-'-' -

ТУПИЦЫН Анатолий Николаевич

РАСПОЗНАВАНИЕ СИГНАЛОВ И АНАЛИЗ НЕСТАЦИОНАРНЫХ ТОЧЕЧНЫХ ПРОЦЕССОВ С ИСПОЛЬЗОВАНИЕМ ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ

01.04.03 - радиофизика

Автореферат диссертации на соискание ученой степени кандидата физико-математических наук

2 8 МАР, 2009

Саратов - 2009

003471253

Работа выполнена на кафедре радиофизики и нелинейной динамики Саратовского государственного университета им. Н.Г. Чернышевского

Научный руководитель: кандидат физико-математических наук,

доцент Павлов Алексей Николаевич.

Официальные оппоненты: доктор физико-математических наук,

профессор Храмов Александр Евгеньевич, кандидат физико-математических наук, доцент Розанов Александр Владимирович.

Ведущая организация:

Саратовский государственный технический университет

Защита состоится 18 июня 2009 г. в 12-00 на заседании диссертационного совета Д.212.243.01 при Саратовском государственном университете им. Н.Г. Чернышевского по адресу: 410012, г. Саратов, ул. Астраханская, 83, корп. 3, ауд.34

С диссертацией можно ознакомиться в Научной библиотеке Саратовского государственного университета.

Автореферат разослан

мая 2009 г.

Ученый секретарь диссертационного совета

Аникин В.М.

Общая характеристика работы

Актуальность работы

Теория солитоноподобных базисных функций, называемых "вейвлетами", активно развивается в течение последних 25 лет. Несмотря на то, что важность использования в прикладных задачах функций, отличных от гармонических, обсуждалась и ранее (А. Хаар, Л.И. Мандельштам, П. Левий, Д. Габор), лишь после появления работ А. Гроссмана и Ж. Морле возник значительный интерес к новому научному направлению, названному вейвлет-анапизом. Построение современной теории вейнлетов осуществлялось в работах И. Мейера, И. Добе-ши, С. Малла и многих других.

В отличие от преобразования Фурье, используемого в рамках классического спектрального анализа, вейвлет-преобразование позволяет получать двумерную развертку исследуемого сигнала и рассматривать масштаб (частоту) и вре-

-мя как независимые переменные.- Использование быстро спадающих солитоно--

подобных функций обеспечивает возможность проведения локализованного анализа структуры сигналов, что особенно важно при изучении процессов с меняющимися во времени характеристиками (Г. Кайзер, Н.М. Астафьева и др.).

Первоначально вейвлет-анапиз воспринимался как метод исследования структуры нестационарных процессов, которые встречаются в динамике самых разных систем. Но с течением времени стало ясно, что этот новый инструмент имеет значительно более широкую область применения. Особенно отчетливо возможности вейвлетов стали осознаваться, когда была разработана теория многомасштабного анализа (И. Мейер, С. Малла), которая использовала идеологию последовательного "огрубления" информации, содержащейся в исследуемом сигнале. После появления этой теории за вейвлет-анализом прочно закрепилось название метода "математического микроскопа", который позволяет проводить детальное исследования структуры сигналов на разных масштабах наблюдения. Стало понятно, что вейвлет-анапиз представляет собой нечто гораздо большее чем просто альтернативный вариант спектрального анализа. В качестве примера перечислим лишь несколько направлений, где эффективно применяется теория вейвлетов: исследование структуры нестационарных процессов, цифровая фильтрация, распознавание образов, сжатие данных, компьютерная графика и т.д.

формационного кода, требуется вначале идентифицировать импульсы, которые генерируются каждым отдельным элементом рассматриваемого ансамбля. Наличие индивидуальных особенностей формы сигналов различных нейронов делает возможным решение этой задачи, однако присутствие сильных помех приводит к значительным сложностям на практике и к необходимости разработки новых эффективных методов автоматического распознавания затушенных сигналов. Отмеченная проблема представляет собой необходимый предварительный этап исследования динамики нейронных ансамблей. После ее решения возникает следующая проблема — изучение структуры точечного процесса (последовательности времен, соответствующих моментам генерации импульсов каждым нейроном). Эта последовательность представляет собой генерируемый код, несущий информацию об особенностях воздействующего сигнала. Сложность решения данной проблемы определяется тем обстоятельством, что регистрируемые на практике точечные процессы являются нестационарными — при неизменном воздействии отклик с течением времени сильно меняется, что связано с процессами адаптации нейронной сети. Именно это обстоятельство чрезвычайно усложняет изучение процессов кодирования информации: как соотнести отклик сети с воздействующим сигналом, если последний будет неизменным, а первый меняется? Таким образом, чтобы изучать динамику нейронных сетей, необходимо: 1) решать задачи автоматического распознавания близких по форме сигналов при наличии помех; 2) анализировать структуру нестационарных точечных процессов.

Фактически, мы имеем дело с радиофизическими задачами, которые требуют применения и развития специальных методов анализа структуры сигналов. Заметим, что аналогичные задачи возникают не только при изучении нейронных сетей. Первая из них встречается в радиолокации (распознавание движущейся группы объектов), при приеме слабых голосовых сообщений в условиях сильных помех (распознавание отдельных звуков и слов) и т.д. Необходимость анализировать точечные процессы возникает в статистической радиофизике (например, при изучении пуассоновских процессов), при рассмотрении сигма-дельта модуляции и т.п.

Побудительный мотив исследований, проводившихся в рамках данной диссертационной работы, был связан с изучением процессов кодирования информации нейронными сетями, однако необходимо подчеркнуть, что методы анализа структуры сигналов, предлагаемые в диссертационной работе, имеют значительно более широкую область потенциального применения. Именно по этой причине в работе в основном используется достаточно общая терминология сигналов типа одиночных импульсов и их последовательностей.

исследователи рассматривают вейвлет-анализ в качестве замены классических методов обработки экспериментальных данных. Однако, это не вполне справедливо, и более предпочтительным и перспективным представляется воспринимать теорию вейвлетов как дополнение и развитие имеющегося арсенала средств обработки временных рядов. В частности, одним из вариантов успешного решения задач идентификации сигналов может служить совместное применение вейвлетов и искусственных нейронных сетей. Такое сочетание двух разных подходов позволяет предложить более эффективные методы распознавания зашумленных сигналов.

Целью диссертационной работы является развитие методов автоматического распознавания сигналов при наличии помех и анализ структуры нестационарных точечных процессов с использованием вейвлет-преобразования.

Для достижения указанной цели необходимо решить следующие основные задачи:

-1 . Провести -сравнительный - анализ - методов - автоматического -распознава-"

ния импульсных сигналов и предложить новую методику идентификации одиночных импульсов на основе вейвлет-преобразования, учитывающую зависимость ошибки от частотного диапазона присутствующих флуктуации.

2. Изучить возможность решения задачи автоматической идентификации сигналов импульсного типа на основе комбинированного алгоритма, предусматривающего совместное применение техники искусственных нейронных сетей как известного метода распознавания образов и вейвлет-анализа, позволяющего эффективно решать проблему "обучения" нейронной сети.

3. Исследовать возможности применения непрерывного вейвлет-преобразования при решении задач анализа нестационарных точечных процессов на примере генерируемого нейронами информационного кода, представляющего собой отклик на периодическое внешнее воздействие.

Научная новизна работы состоит в следующем:

1. Предложен новый параметрический метод автоматического распознавания сигналов типа последовательности одиночных импульсов (параметрический вейвлет-анализ с адаптивной фильтрацией). Показано, что предлагаемый подход способен существенно уменьшить ошибку идентификации сигналов по сравнению со стандартными алгоритмами, такими как анализ главных компонент и обычный вейвлет-анализ.

2. Предложен новый метод решения задачи автоматического распознавания формы сигналов, основанный на совместном применении вейвлет-преобразования и техники искусственных нейронных сетей. На тестовых примерах и в ходе анализа экспериментальных данных показана эффективность данного метода при наличии помех.

3. Впервые рассмотрена задача исследования фильтрационных свойств элементов нейронных ансамблей в условиях нестационарного отклика на периодическое внешнее воздействие, основанного на непрерывном вейвлет-преобразовании. Показано, что нейроны могут выполнять функции полосно-

пропускающих фильтров, демонстрируя наиболее стабильный отклик на определенной частоте воздействующего сигнала.

Научно-практическое значение результатов работы:

1. Предложенный метод, заключающийся в совместной использовании дискретного вейвлет-анализа и техники искусственных нейронных сетей может быть распространен дня применения в решении задач распознавания сигналов различной формы при наличии сильных помех.

2. Разработанные методики уменьшения ошибки автоматического распознавания сигналов представляют собой основу для создания прикладных программ предварительной обработки экспериментальных данных для специалистов, занимающихся проблемами исследования процессов кодирования информации нейронными ансамблями.

3. Результаты диссертации могут применяться в учебном процессе. Часть результатов уже используется в рамках лабораторной работы специализированного практикума "Методы анализа сложных сигналов" для студентов физического факультета Саратовского государственного университета.

Достоверность научных выводов работы базируется на согласованности с существующими теоретическими представлениями, на соответствии результатов численных экспериментов и теоретических исследований и на устойчивости применяемых методов исследования структуры сигналов к малым изменениям параметров численной схемы.

Основные положения и результаты, выносимые на защиту:

Положение 1

Совместное применение дискретного вейвлет-преобразования и метода искусственных нейронных сетей позволяет решать задачи автоматической идентификации сигналов типа последовательности одиночных импульсов при наличии помех. Использование коэффициентов вейвлет-преобразования в качестве обучающей выборки для нейронной сети и дальнейшее проведение сетью распознавания сигналов снижает зависимость ошибки идентификации от статистики фонового шума по сравнению со стандартным методом решения данной задачи на основе вейвлет-анализа.

Положение 2

Анализ флуюуаций мгновенной частоты отклика на внешнее воздействие в виде периодической последовательности импульсов при изучении фильтрационных свойств пороговых систем позволяет диагностировать наличие эффектов полосовой и низкочастотной фильтрации воздействующих сигналов в условиях коротких, нестационарных откликов.

Результат 1

Предложен метод автоматического распознавания сигналов типа последовательности одиночных импульсов, предусматривающий подстройку характеристик фильтра под индивидуальные особенности формы исследуемых сигналов в качестве составной части процедуры выбора характеристик для идентификации близких по форме импульсов.

Результат 2

Предложен метод исследования стабильности отклика пороговой системы на внешнее воздействие, основанный на непрерывном вейвлет-преобразовании и предусматривающий расчет мгновенной частоты отклика по точечному процессу.

Апробация работы и публикации. Материалы диссертации были представлены на следующих научных конференциях: «Хаотические автоколебания и образование структур» (ХАОС, Саратов, 2007), «Complex Dynamics and Fluctuations in Biomedical Photonics — III, IV, V, VI» (Сан-Хосе, США, 2006, 2007, 2008, 2009), «Forum of Federation of European Neurosciences Societies» (FENS, Швейцария, Вилларс, 2008), «Нелинейные дни для молодых» (Саратов, 2005, 2006, 2007, 2008), «Методы компьютерной диагностики в биологии и медицине* 2008» (Саратов, 2008). Результаты неоднократно обсуждались на научных семинарах кафедры радиофизики и нелинейной динамики Саратовского

-государственного университета,- научно-образовательного "центра REC-006 «He-

линейная динамика и биофизика» (Саратовский государственный университет), центра динамики сложных систем Потсдамского университета (Германия, Потсдам), центра биофизики и сложных систем Датского технического университета (Люнгбю, Дания), лаборатории нейродинамики университета Комплютенсе (Испания, Мадрид). По теме диссертации опубликовано 15 работ: 5 статей в журналах (из них 3 статьи в журналах, рекомендованных ВАК РФ для опубликования результатов диссертаций), 10 статей в сборниках трудов конференций. Результаты работы использованы при выполнении грантов: CRDF и Министерства образования и науки РФ «Научно-образовательный центр "Нелинейная дйнамика и биофизика" (НОЦ REC-006)» (2005-2007), Министерства образования и науки РФ «Развитие научного потенциала высшей школы» (2006-2008), госконтракта с ФЦНТП № 02.442.11.7181.

Личный вклад автора. Основные результаты диссертации получены лично автором. В совместных работах автором проводились численные исследования и подготовка пакетов прикладных программ, реализующих разрабатываемые методы анализа структуры сигналов. Результаты второй главы полностью получены автором (включая идею предложенного метода, его практическую реализацию и численные исследования). Формулировка задач, решаемых в первой и третьей Главах, а также объяснение и интерпретация полученных результатов проведены совместно с научным руководителем и соавторами.

Структура и объем диссертации. Диссертация состоит из введения, трех глав, заключения и списка цитированной литературы. В ней содержится 106 страниц текста, 32 страницы рисунков, библиография из 120 наименований на 13 страницах. Общий объем диссертации 138 страниц.

Содержание работы

Во введении обосновывается актуальность работы, формулируется цель

исследования, ставятся основные задачи, раскрывается научная новизна полученных результатов и формулируются основные положения и результаты, выносимые на защиту.

В первой главе рассматривается проблема автоматического распознавания сигналов типа последовательностей одиночных импульсов при наличии помех на основе коэффициентов вейвлет-преобразования. Необходимость идентификации зашумленных сигналов возникает при решении многих радиофизических задач. Примером может служить задача выделения слабого голосового сообщения, принятого в условиях сильных шумов и искажений (распознавание отдельных звуков и слов). Похожая проблема с точки зрения методики анализа состоит в выделении сигнала отдельного элемента из коллективной динамики малого ансамбля (исследование процессов кодирования информации в нейронных сетях при регистрации внеклеточных сигналов).

Применительно к импульсным сигналам, задача распознавания состоит в том, чтобы из зарегистрированных данных выделить последовательности импульсов, которые генерируются лишь одним элементом малого ансамбля. Если таких последовательностей будет несколько, то появляется возможность изучать динамику нескольких элементов. В этом случае в пространстве характеристик, которые описывают форму сигналов, появятся кластеры точек, соответствующие разным типам импульсов. После отделения кластеров друг от друга задача считается решенной.

На практике такая задача представляется крайне сложной в Присутствии сильных помех. В диссертации проводится сопоставление различных методов распознавания зашумленных сигналов в целях выявления их эффективности в различных условиях. Исследуется влияние статистики фонового шума на качество автоматического распознавания сигналов с помощью анализа главных компонент и стандартного метода идентификации сигналов на основе коэффициентов дискретного вейвлет-преобразования. Показано, что подбором характеристик фильтра на этапе предварительной обработки экспериментальных данных можно существенно улучшить результаты распознавания сигналов с помощью вейвлетного метода.

Предлагается специальный подход к решению задачи автоматической идентификации сигналов — параметрический вейвлет-анализ с адаптивной фильтрацией. Представлены теоретические основы данного метода. В предположении нормального распределения флуктуации выведена формула для минимальной величины ошибки идентификации двух типов импульсов и показано, что для обеспечения минимальной ошибки требуется осуществить поиск максимального значения параметра разделения кластеров в пространстве характеристик, описывающих форму сигнала.

Фактически, предлагаемый подход подразумевает включение частоты среза фильтра нижних частот в качестве одного из параметров (наряду с параметрами масштаба и смещения вейвлет-преобразования), путем вариации которых достигается поиск максимального значения параметра разделения класте-

ров, что, согласно теоретическим результатам, должно обеспечить минимизацию ошибки идентификации последовательностей одиночных импульсов. Следует отметить, что предлагаемый алгоритм решения данной задачи предусматривает автоматическую подстройку под конкретный анализируемый сигнал в отличие от методов, основанных на произвольном выборе вейвлет-коэффициентов из некоторых общих соображений.

Метод был протестирован на ряде примеров и продемонстрировал свою эффективность. В частности, рис. 1 иллюстрирует, что предложенный подход позволяет в несколько раз уменьшить ошибку автоматического распознавания импульсных сигналов по сравнению со стандартными алгоритмами. Более того, в данном примере ошибка параметрического вейвлет-анализа с адаптивной фильтрацией приближается к теоретическому минимуму (составляющему примерно 0.3% при рассматриваемом уровне шума в предположении нормального закона распределения флуктуации). Наряду с тестовыми данными были проанализированы, реальные-элекгрофизиологические- записи - внеклеточного- потен--циала, исследование которых также позвблило убедиться в эффективности предложенного подхода.

Ошибка 67 \

к.

-2 -1 0

масштабные нооффицмтпы

а.ь 1 гь 2

йийитг козффиципнгы

•015 -0.1

ваШт коэффициенты

Рис.1: Тестовый пример классификации нейронных спайков различными методами: (а) гистограмма вычисленных характеристик спайков для метода анализа главных компонент, (б) гистограмма Для стандартного метода классификации на основе вейвлет-анализа; (в) гистограмма для предложенного параметрического метода.

: ■■ ■ : Несмотря на то, что в работе рассматриваются сигналы типа одиночного импульса (что обусловлено проблематикой изучения динамики нейронных сетей и процессов кодирования информации малыми ансамблями нейронов), сама идеология решения задачи распознавания не изменится, если выбрать сигналы другой формы. Все теоретические рассуждения и выкладки применительно к рекомендациям для решения проблемы автоматической идентификации оста-

нутся аналогичными. В связи с этим предлагаемый метод распознавания сигналов при наличии помех имеет более широкую область возможного применения.

Во второй главе обсуждается возможность решения задачи автоматической идентификации сигналов импульсного типа на основе комбинированного алгоритма, предусматривающего совместное применение техники нейронных сетей как известного метода распознавания образов и вейвлет-анализа, позволяющего эффективно решать проблему «обучения» нейронной сети.

Предложенный в первой главе диссертационной работы метод параметрического вейвлет-анализа с адаптивной фильтрацией позволяет эффективно решать задачи автоматического распознавания сигналов и обеспечивает малую ошибку их идентификации по сравнению с широко используемыми подходами, например, анализом главных компонент. Однако этот метод также не лишен недостатков — он предполагает длительную процедуру поиска оптимальных характеристик для распознавания форм сигналов. Такой подход действительно способен значительно улучшить качество решения проблемы распознавания близких по форме сигналов при наличии сильных помех, но за это приходится «расплачиваться» временем вычисления.

Альтернативный метод решения задач автоматического распознавания сигналов может быть основан на использовании искусственных нейронных сетей, которые наряду с вейвлетами находят многочисленные применения в самых разных областях естествознания. В диссертации представлены общие сведения об искусственных нейронных сетях и о задачах, которые решаются с их помощью. Отмечается, что отличительной особенностью нейронных сетей как математического метода обработки информации является наличие алгоритма обучения. Далее обсуждается архитектура и классификация искусственных нейронных сетей, кратко отмечаются особенности однослойных, многослойных сетей, а также сетей с обратными связями.

Представлен комбинированный алгоритм автоматического распознавания сигналов на основе совместного применения нейронных сетей и дискретного вейвлет-преобразования. Последнее может служить прекрасным инструментом для выявления особенностей в формах импульсных сигналов (на этапе предварительной обработки), после чего эта информации передается для дальнейшего анализа в нейронную сеть, которая позволяет решать задачу более качественного распознавания образов. Если на вход некоторой многослойной нейронной сети с прямым распространением подаются данные, содержащие набор характерных признаков анализируемых образов, то при наличии обучающей информации нейронная сеть будет в состоянии провести сортировку этих данных.

При этом можно выделить несколько этапов обработки временных рядов: 1) использование порогового метода для выделения импульсов, которые необходимо отсортировать; 2) проведение предварительной идентификации методом анализа главных компонент или методом дискретного вейвлет-анализа, получение картины кластеризации в пространстве характеристик; 3) нахождение областей с повышенной плотностью точек в обнаруженных кластерах, получение

форм импульсов, соответствующих данным точкам (они в меньшей степени подвержены искажениям); 4) проведение вейвлет-преобразования выделенных импульсов, получение набора вейвлет-коэффициентов; 5) использование полученных коэффициентов в качестве обучающей выборки для нейронной сети; 6) проведение вейвлет-преобразования всех импульсов, анализ экспериментальных данных обученной сетью.

Таким образом, в качестве обучающей выборки для нейронной сети служат импульсные сигналы, принадлежащие центральной части разных кластеров, полученных другими методами автоматической идентификации, такими как анализ главных компонент или стандартный вейвлет-анализ. В качестве эталонных значений на выходе сети используются векторы координат пространства характеристик. Предложенный метод совместного использования вейвлет-анализа и нейронных сетей за счет индивидуального подхода к конкретной задаче позволяет уменьшить ошибку идентификации, то есть увели_чить_ расстояние- между- кластерами. Индивидуальность подхода достигается

благодаря тому, что обучение нейронной сети происходит на выборке, содержащей сигналы непосредственно из экспериментальных данных, представленных для анализа.

На тестовых примерах и в ходе анализа экспериментальных данных продемонстрирована эффективность предложенного метода при решении задачи автоматического распознавания импульсных сигналов (рис. 2).

первый вейалет-коэффициеит значение первого нейрона

а б

Рис.2: Картина кластеризации при применении стандартного метода классификации на основе вейвлет-анализа (а) и совместного метода вейвлет-анализа и нейронных сетей (б) для реальных экспериментальных данных.

Исследована зависимость ошибки идентификации метода от центральной частоты присутствующих флуюуаций. При этом установлена слабая зависимость данного алгоритма от статистики фонового шума по сравнению с други-

ми подходами (анализ главных компонент, стандартный вейвлет-анализ). Продемонстрировано, что метод совместного применения вейвлет-преобразования и техники искусственных нейронных сетей позволяет уменьшить ошибку идентификации отмеченных стандартных подходов. Этот метод может быть распространен для применения в решении задач распознавания сигналов различной формы при наличии сильных помех.

В третьей главе рассматривается задача исследования структуры точечных процессов с помощью непрерывного вейвлет-преобразования. На примере генерируемого нейронами информационного кода обсуждается проблема анализа нестационарного отклика на периодическое внешнее воздействие.

В первых двух главах диссертационной работы обсуждалась проблема автоматической идентификации сигналов импульсного типа, в частности, позволяющая решать задачи предварительного анализа процессов кодирования информации в малых нейронных сетях. После решения таких задач исследователи имеют возможность проводить обработку информационного кода, генерируемого отдельным нейроном, который представляет собой реализацию случайного точечного процесса.

Так как при рассмотрении точечных процессов вся необходимая информация заключается лишь в последовательности времен —.?лг> можно существенно упростить анализируемый сигнал, перейдя к его представлению в виде последовательности 8-функций, соответствующих этим временам. Это обеспечивает возможность аналитического вычисления непрерывного вейвлет-преобразования. Вейвлет-анализ предоставляет возможность проведения частотно-временного исследования структуры анализируемого процесса, причем, даже в случае быстрых изменений мгновенных характеристик.

Применение вейвлетов особенно актуально в случае анализа коротких нестационарных сигналов. Типичным примером может служить нестационарный точечный процесс, который регистрируется при записи генерируемого нейроном информационного кода в ответ на подаваемое в течение длительного времени периодическое воздействие. Для изучения подобного рода точечных процессов в работе рассмотрен метод исследования стабильности отклика пороговой системы на внешнее воздействие. Предлагается количественная характеристика стабильности отклика, вычисляемая с использованием непрерывного вейвлет-преобразования для идентификации мгновенной частоты отклика.

Представлены результаты анализа экспериментальных данных. Рассматривается динамика различных нейронов в зависимости от длительности стимулов и частоты стимуляции. Изменение частоты периодического внешнего воздействия влияет на отклик нейронов. При медленной стимуляции он успевает "реагировать" на каждый очередной стимул. Увеличение частоты воздействия приводит к тому, что нейрон будет "пропускать" некоторые импульсы, и это приводит к различным "сбоям" в откликах на стимуляцию. С этой точки зрения можно было бы ожидать, что увеличение частоты будет приводить к. уменьшению динамической стабильности нейронного отклика. С другой стороны, ней-

рои может быть "настроен" на определенную частоту, то есть его отклик будет максимально стабильным при подаче импульсов с данной частотой (полосовая фильтрация стимулов). Проведенное исследование выявило наличие нейронов как первого, так И второго типа (рис. 3). Таким образом, предложенный подход позволяет осуществлять классификацию нейронов с точки зрения их фильтрационных свойств.

Рис.3: Два основных типа зависимости характеристики динамической стабильности нейронного отклика от частоты внешнего периодического воздействия: (а) полосовая фильтрация стимула; (б) пропускание низких частот.

Основные результаты работы суммируются в заключении.

Основные результаты и выводы

1. Показано, что уменьшение ошибки автоматической идентификации в рамках вейвлетного метода распознавания сигналов достигается путем включения процедуры предварительной фильтрации с индивидуальной подстройкой характеристик фильтра в качестве составной части методики выбора характеристик для идентификации близких по форме импульсов.

2. Предложен параметрический метод автоматического распознавания сигналов типа одиночного импульса (параметрический вейвлет-анализ с адаптивной фильтрацией), предполагающий подстройку характеристик фильтра под индивидуальные особенности формы исследуемых сигналов.

3. Предложен метод решения задачи автоматического распознавания формы импульсных сигналов, основанный на совместном применении вейвлет-преобразования и искусственных нейронных сетей. Показано, что коэффициенты вейвлет-преобразования, содержащие основную информацию об исследуемом сигнале, целесообразно применять в качестве обучающей выборки для нейронной сети с целью дальнейшего проведения сетью идентификации данных.

4. Подход, основанный на совместном применении вейвлет-анализа и ней-

ронных сетей, может быть распространен для применения в решении задач распознавания сигналов различной формы при наличии сильных помех.

5. Метод исследования стабильности отклика пороговой системы на внешнее воздействие в виде периодической последовательности импульсов позволяет осуществлять классификацию нейронов с точки зрения их фильтрационных свойств, диагностируя наличие эффектов полосовой и низкочастотной фильтрации воздействующих сигналов в условиях коротких, нестационарных откликов на подаваемое воздействие.

Список публикаций по теме диссертации

1. Думский, Д. В. Классификация нейронных потенциалов действия на основе вейвлет-преобразования / Д.В. Думский, А.Н. Павлов, А.Н. Тупицын, В.А. Макаров // Изв. вузов, Прикладная нелинейная динамика. - 2005. - Т. 13, № 5-6. - С. 77-98.

2. Тупицын, А.Н. Классификация нейронных потенциалов действия на основе вейвлет-анализа / А.Н. Тупицын // Материалы научной школы-конференции "Нелинейные дни для молодых-2005"; Саратов: ООО ИЦ "Наука". - 2005. -С. 175-178.

3. Pavlov, А. N. Wavelet-analysis in application to studying spike separation and information encoding in neuron dynamics / A.N. Pavlov, D.V. Dumsky, A.N. Tu-pitsyn, O.N. Pavlova, F. Panetsos, V.A. Makarov // Complex dynamics and fluctuations in biomedical photonics III, Proceedings of SPIE; ed. by Tuchin V.V. -2006.-Vol. 6085.-P. 608501.

4. Павлова, О. H. Эффекты влияния низкочастотного магнитного поля на характеристики физиологического тремора / О.Н. Павлова, А.Н. Тупицын, А.Н. Павлов // Изв. вузов, Прикладная нелинейная динамика. - 2006. — Т. 14, № 5-6.-С. 105-117.

5. Тупицын, А.Н. Анализ динамики нейронов на этапе первичной обработки информации / А.Н. Тупицын // Материалы научной школы-конференции "Нелинейные дни для молодых-2006"; Саратов: ООО ИЦ "Наука". - 2006. -С. 208-211.

6. Pavlov, А. N. Tactile information processing in the trigeminal complex of the rat / A.N. Pavlov, A.N. Tupitsyn, V.A. Makarov, F. Panetsos, A. Moreno, V. GarciaGonzalez, A. Sanchez-Jimenez // Complex Dynamics and Fluctuations in Biomedical Photonics IV, Proceedings of SPIE; ed. by TuchinV.V. - 2007. - Vol. 6436. -P.64360R.

7. Pavlov, A. N. Using wavelet analysis to detect the influence of low frequency magnetic fields on human physiological tremor / A.N. Pavlov, A.N. Tupitsyn, A. Legros, A. Beuter, E. Mosekilde // Physiological Measurement. - 2007. - Vol. 28. -P. 321-333.

8. Тупицын, А.Н. Влияние длительности и частоты стимуляции на стабильность отклика ансамблей нейронов на этапе первичной обработки сенсорной ин-

формации / А.Н. Тупицын, А.Н. Павлов, А. Морено, В.А. Макаров // Материалы VIII научной школы-конференции "Хаотические автоколебания и образование структур" Хаос-2007; Саратов. - 2007. - С. 73-74.

9. Тупицын, А.Н. Исследование процессов первичной обработки тактильной информации / А.Н. Тупицын // Материалы научной школы-конференции "Нелинейные дни для молодых-2007"; Саратов: ООО ИЦ "Наука". - 2007. -С. 162-165.

10. Makarov, V. A. Optimal sorting of neural spikes with wavelet and filtering techniques / V.A. Makarov, A.N. Pavlov, A.N. Tupitsyn // Complex dynamics and fluctuations in biomedical photonics V, Proceedings of SPIE; ed. by TuchinV.V. -2008. - Vol. 6855. - P. 68550M.

11. Макаров, В. А. Сортировка нейронных спайков на основе параметрического вейвлет-анализа с адаптивной фильтрацией / В.А. Макаров, А.Н. Павлов, А.Н. Тупицын // Цифровая обработка сигналов. - 2008. - № 3. - С. 26-31.

_12_Тупицын, _ А.Н— Автоматическая - сортировка- потенциалов - действия - малых-ансамблей нейронов на основе методов вейвлет-анализа и нейронных сетей, / А.Н. Тупицын, А.Н. Павлов, В.А Макаров // Материалы ежегодной Всероссийской научной школы-семинара "Методы компьютерной диагностики в биологии и медицине- 2008"; Саратов: Изд-во Сарат. ун-та. - 2008. - С. 7577.

13. Анисимов, А. А. Вейвлет-анализ чирпов / А.А. Анисимов, О.Н. Павлова, А.Н. Тупицын, А.Н. Павлов // Известия вузов. Прикладная нелинейная динамика. -2008.-Т. 16, №5.-С. 3-11.

14. Makarov, V.A. Stability of the neuronal response in trigeminal sensory complex under variable mechanical stimulation of whiskers. / V. A. Makarov, A. N. Pavlov, A. N. Tupitsyn, A. Moreno, F. PanetsoS // Forum of Federation of European Neurosciences Societies 2008; FENS Abstr. - 2008. - Vol.4. - P. 089.14.

15. Tupitsyn, A. N. Separation of extracellular spikes with wavelets and neural networks / A. N. Tupitsyn, A. N. Pavlov, V. A. Makarov // Complex dynamics and fluctuations in biomedical photonics VI, Proceedings of SPIE ; ed. by Tuchin V.V. - 2009. - Vol. 7176. - P. 71760M.

Тупицын Анатолий Николаевич

Распознавание сигналов и анализ нестационарных точечных процессов с использованием вейвлет-преобразования

Специальность 01.04.03 — радиофизика

Автореферат

Подписано в печать 29.04.09 Формат 60x84 1/16. Объем 1,0 п.л. Тираж 120 экз. Заказ № 101-Т

Типография СГУ. 410012, Саратов, Б. Казачья, 112а. Тел.: (8452) 27-33-85

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Тупицын, Анатолий Николаевич

Введение

1 Автоматическое распознавание импульсных сигналов на основе коэффициентов вейвлет-преобразования.

1.1 Проблема идентификации сигналов.

1.2 Стандартные методы идентификации

1.2.1 Амплитудное детектирование

1.2.2 Анализ главных компонент

1.2.3 Идентификация на основе вейвлет-преобразования

1.3 Влияние флуктуаций на эффективность методов идентификации

1.4 Параметрический вейвлет-анализ с адаптивной фильтрацией.

1.4.1 Теоретические основы метода

1.4.2 Практическая реализация метода

1.5 Выводы по 1-й главе.

2 Идентификация сигналов на основе совместного применения вейвлет-преобразования и метода нейронных сетей

2.1 Предварительные сведения

2.2 Архитектура и классификация нейронных сетей

2.3 Применение нейронных сетей совместно с вейвлетами для решения задачи распознавания сигналов.

2.4 Результаты решения задачи идентификации сигналов.

2.4.1 Анализ тестовых данных.

2.4.2 Анализ экспериментальных данных

2.4.3 Полученные результаты.

2.5 Выводы по 2-й главе.

3 Анализ структуры точечных процессов на основе вейвлетпреобразования

3.1 Предварительные замечания

3.2 Метод анализа стабильности отклика.

3.3 Примеры применения

3.3.1 Влияние длительности внешнего воздействия

3.3.2 Влияние частоты внешнего воздействия

3.4 Выводы по 3-й главе.

Введение диссертация по физике, на тему "Распознавание сигналов и анализ нестационарных точечных процессов с использованием вейвлет-преобразования"

К числу классических методов исследования структуры сигналов относится спектральный анализ, который находит многочисленные приложения в самых разных областях естествознания [1-5]. В отличие от вероятностных методов, описывающих свойства случайных процессов во временной области, он позволяет охарактеризовать частотный состав изучаемого сигнала. В качестве математической основы данного анализа традиционно служит преобразование Фурье, которое играет важную роль не только при вычислении спектров мощности, но и как необходимый промежуточный этап при расчете преобразования Гильберта, при проведении цифровой фильтрации экспериментальных данных, при определении передаточных и ковариационных функций и т.д.

Фурье-преобразование позволяет выявлять гармонические составляющие сигнала; с этой целью применяются бесконечно длинные осциллирующие функции sin и cos. Сначала происходит "наложение" такой функции на исследуемую реализацию л:(/) и вычисляется корреляция между ними. Затем частота гармонической функции меняется, и процесс выявления линейной зависимости между гармонической функцией и временным рядом повторяется.

Следует отметить, что в качестве базисных функций для представления сигнала могут использоваться не только sin и cos, но и другие функции, например полиномы Лежандра и Чебышева, функции Лагерра и Эрмита. Однако на практике такие функции не применялись как из-за трудностей в интерпретации результатов, так и из-за вычислительных сложностей. В течение длительного времени также не находили широкого применения функции "прямоугольной волны" Хаара, Радемахера, Уолша. Теоретические исследования ортогональных базисных систем привели к созданию в 70-х годах теории обобщенного спектрального анализа [6]. Данная теория позволила по новому оценить возможности Фурье-преобразования и его практического применения, к тому же создала основу для синтеза новых базисных систем, подходящих для конкретной практической задачи.

С начала 80-х годов активно развивается теория локализованных базисных функций — "вейвлетов" (от английского "wavelet" — маленькая волна). По аналогии с Фурье-преобразованием, вейвлет-преобразование состоит в вычислении корреляций между анализируемым временным рядом и базисной функцией преобразования, которая является "солитоноподобным" колебанием, обладающим рядом характерных свойств, в частности, локализацией и по временной оси, и в частотной области. В рамках теории вейвлетов вместо понятия частоты используется понятие масштаба, а чтобы была возможность перекрыть короткими функциями всю временную ось, рассматривается их сдвиг по времени. В отличие от классического спектрального анализа, вейвлет-преобразование дает двумерную развертку одномерного процесса, при этом масштаб (частота) и время рассматриваются как независимые переменные. Использование быстро спадающих солитоноподобных функций позволяет проводить локализованный анализ структуры сигналов, что особенно важно при изучении процессов с меняющимися во времени характеристиками.

Первое упоминание о вейвлетах появилось в работах Хаара [7] (правда тогда еще не существовало такого термина, он появился значительно позднее). Вейвлет Хаара - это короткое прямоугольное колебание на интервале [0,1]. Недостатком этой функции является негладкость. Тем не менее, еще в 30-х годах XX века, исследуя некоторые детали броуновского движения, Пол Левий отмечал преимущества использования разложения по базису Хаара по сравнению со стандартным Фурье-преобразованием. Само понятие "вейвлет" солитоноподобные функции обрели в работах Дж.Морле и А.Гроссмана в начале 80-х годов [8,9]. С тех пор началось активное развитие теории вейвлетов в работах Добеши, Малла, Мейера и многих других [10-13].

Первоначально вейвлет-анализ воспринимался как метод исследования структуры нестационарных процессов, которые встречаются в динамике самых разных систем. Не случайно он был предложен в работе [14] для анализа геофизических данных. Но с течением времени стало ясно, что этот новый инструмент имеет значительно более широкую область применения. Особенно отчетливо возможности вейвлетов стали осознаваться после появления теории многомасштабного (или, используя терминологию некоторых авторов, кратномасштабного) анализа, которая была разработана Мейером [13] и Малла [10] и использовала идеологию последовательного "огрубления" информации, содержащейся в исследуемом сигнале. После появления этой теории за вейвлет-анализом прочно закрепилось название метода "математического микроскопа", который позволяет проводить детальное исследования структуры сигналов на разных масштабах наблюдения. Стало понятно, что вейвлет-анализ представляет собой нечто гораздо большее чем просто альтернативный вариант спектрального анализа [15-25]. В качестве примера перечислим лишь несколько направлений, где привлечение теории вейвлетов позволило добиться значительного прогресса:

1) Исследование npoijeccoe с меняющимися во времени характеристиками. Вейвлеты позволяют идентифицировать мгновенные частоты, мгновенные амплитуды и мгновенные фазы колебательных процессов даже в условиях сильной нестационарности.

2) Сжатие данных. Вейвлеты широко используются для сжатия как графической информации (формат JPEG), так и цифрового видео (формат MPEG4).

3) Распознавание образов. На основе вейвлет-преобразования могут успешно решаться задачи автоматического распознавания различных образов при наличии помех, например, сигналов сложной формы.

4) Компьютерная графика. Вейвлеты обеспечивают возможность редактирования изображений с переменным разрешением (в частности, в случае ЗБ-графики), позволяют осуществлять поклеточное представление поверхностей по контуру и т.д.

5) Цифровая фильтрация. Если экспериментальные данные содержат локализованные особенности (например, случайные выбросы), то фильтрация с применением преобразования Фурье становится не слишком эффективной — информация о сбойных точках будет содержаться во всех коэффициентах. Вейвлеты позволяют локализовать окрестности сбойных точек и провести более гибкую процедуру очистки экспериментальных данных. На самом деле приведенный список можно продолжить, упомянув, например, что вейвлеты помогают решать некоторые дифференциальные уравнения в физике [26], определять временные задержки при распространении сигналов, исследовать корреляционные свойства случайных процессов по сигналам малой длительности [27] и т.д. Практические применения теории вейвлетов стали настолько многочисленными, что их сложно даже просто перечислить. В качестве примера отметим, что поисковые системы в Интернет (такие как Google) при формировании запроса слова "wavelet" выдают порядка 3 миллиона ссылок. За последние десятилетия появились специализированные научные журналы, целиком посвященные вейвлетам и многомасштабному анализу

Одним из приложений теории вейвлетов является очень обширный круг задач, связанных с исследованием процессов кодирования информации в нейронных сетях. Соответствующая проблематика носит междисциплинарный характер и требует привлечения, в том числе, радиофизических подходов и методов. В частности, при изучении динамики нейронных ансамблей возникает необходимость решать задачи автоматического распознавания сигналов при наличии помех — регистрируемый в эксперименте процесс представляет собой последовательность электрических импульсов, включающих сигналы разных нейронов. Для того, чтобы проводить изучение генерируемого нейронами информационного кода, требуется вначале идентифицировать импульсы, которые генерируются каждым отдельным элементом рассматриваемого ансамбля. Наличие индивидуальных особенностей формы сигнала различных нейронов делает возможным решение этой задачи, однако присутствие сильных помех (связанных, например, с сигналами удаленных нейронов) приводит к значительным сложностям на практике и к необходимости разработки новых эффективных методов автоматического распознавания сигналов. Отмеченная проблема представляет собой необходимый предварительный этап исследования динамики нейронных ансамблей. После ее решения возникает следующая проблема — изучение структуры точечного процесса, представляющего собой последовательность времен, соответствующих моментам генерации импульсов каждым нейроном. Эта последовательность представляет собой генерируемый код, несущий информацию об особенностях воздействующего сигнала — именно с помощью точечных процессов нейронные сети кодируют информацию об окружающем мире. Сложность решения данной проблемы определяется тем обстоятельством, что регистрируемые на практике сигналы нейронной активности являются нестационарными — при неизменном воздействии отклик с течением времени сильно меняется (что связано с процессами адаптации нейронной сети). Именно это обстоятельство чрезвычайно усложняет изучение процессов кодирования информации: как соотнести отклик сети с воздействующим сигналом, если последний будет неизменным, а первый меняется? Таким образом, чтобы изучать динамику нейронных сетей, необходимо:

1) решать задачи автоматического распознавания близких по форме сигналов при наличии помех;

2) анализировать структуру нестационарных точечных процессов.

Фактически, мы имеем дело с радиофизическими задачами, которые требуют применения (и развития) специальных методов анализа структуры сигналов. Заметим, что аналогичные задачи возникают не только при изучении нейронных сетей. Первая из них встречается в радиолокации (распознавание движущейся группы объектов), при приеме слабых голосовых сообщений в условиях сильных помех (распознавание отдельных звуков и слов) и т.д. Необходимость анализировать точечные процессы возникает в статистической радиофизике (например, при изучении пуассоновских процессов), при рассмотрении сигма-дельта модуляции и т.п.

Побудительный мотив исследований, проводившихся в рамках данной диссертационной работы, был связан с изучением процессов кодирования информации нейронными сетями, однако необходимо подчеркнуть, что методы анализа структуры сигналов, предлагаемые в диссертационной работе, имеют значительно более широкую область потенциального применения. Именно по этой причине в работе в основном будет использоваться достаточно общая терминология сигналов типа одиночного импульса (вместо привычной для нейронных сетей терминологии спайков).

Отметим, что существующий в настоящее время арсенал средств численного анализа далеко не всегда позволяет эффективно решать многие практические задачи, и порой возникает необходимость модификации методов для более успешного решения возникающих проблем, с учетом специфики той или иной задачи и особенностей анализируемых сигналов. Задача автоматического распознавания является весьма показательным примером. Несмотря на обилие методик (в основном простых, основанных на расчете таких характеристик, как амплитуда сигнала, его длительность, анализ локальных экстремумов и т.п.) [28-30], выясняется, что к числу эффективных подходов можно отнести лишь крайне небольшое их число. Так, в диссертации [31] отмечается, что в настоящее время хорошо зарекомендовали себя лишь 2 метода — анализ главных компонент (АГК) и метод распознавания на основе коэффициентов вейвлет-преобразования, так называемый "вейвлетный классификатор импульсов" (ВКИ). Более того, и у этих методов существует ряд принципиальных недостатков, для устранения которых можно применять комбинированные подходы к решению задач идентификации сигналов [106].

При этом стоит отметить, что если недостатки метода АГК устранить крайне сложно (для идентификации всегда используются масштабные коэффициенты первых главных компонент [28]), то недостатки вейвлетных методов распознавания образов наоборот связаны с тем, что характеристик для идентификации существует очень много, и непонятно, по каким критериям их следует выбирать. По сути это означает, что вейвлетные методы идентификации нужно еще "доработать", сохранив их достоинства и, по возможности, устранив явные недостатки. В таком случае мы получим более эффективные инструменты решения задач распознавания образов.

Важность развития специальных методов, позволяющих эффективно решать задачи идентификации близких по форме зашумленных сигналов, а также исследовать особенности нестационарных точечных процессов определяет актуальность работы.

В настоящее время многие исследователи рассматривают вейвлет-анализ в качестве замены классических методов обработки экспериментальных данных. Однако, это не вполне справедливо, и более предпочтительным и перспективным представляется воспринимать теорию вейвлетов как дополнение и развитие имеющегося арсенала средств обработки временных рядов. Так, в работах [106, 116] было показано, что совместное применение методов АГК и ВКИ в рамках комбинированного алгоритма автоматического распознавания сигналов импульсного типа обеспечивает снижение ошибки автоматического распознавания близких по форме сигналов при наличии помех, причем, комбинированный алгоритм оказывается эффективнее, чем использование этих методов по отдельности.

Другим вариантом успешного решения задач идентификации сигналов может служить совместное применение вейвлетов и искусственных нейронных сетей. Такой вариант сочетания двух разных подходов также позволяет продвинуться по пути уменьшения их недостатков и расширения возможностей (в рамках комбинированного способа распознавания сигналов).

Для достижения указанной цели необходимо решить следующие основные задачи:

1. Провести сравнительный анализ методов автоматического распознавания импульсных сигналов, предложить новую методику идентификации одиночных импульсов на основе вейвлет-преобразования, учитывающую зависимость ошибки от частотного диапазона присутствующих флуктуаций.

Научная новизна работы состоит в следующем:

Научно-практическое значение результатов работы:

1. Предложенный метод, заключающийся в совместной использовании дискретного вейвлет-анализа и техники искусственных нейронных сетей может быть распространен для применения в решении задач распознавания сигналов различной формы при наличии сильных помех.

2. Разработанные методики уменьшения ошибки автоматического распознавания сигналов создают основу для создания прикладных программ предварительной обработки экспериментальных данных для специалистов, занимающихся проблемами исследования процессов кодирования информации нейронными ансамблями. 3. Результаты диссертации могут применяться в учебном процессе. Часть результатов уже используется в рамках лабораторной работы специализированного практикума "Методы анализа сложных сигналов" для студентов физического факультета Саратовского государственного университета.

Основные положения и результаты, выносимые на защиту: Положение 1

Анализ флуктуаций мгновенной частоты отклика на внешнее воздействие в виде периодической последовательности импульсов при изучении фильтрационных свойств пороговых систем позволяет диагностировать наличие эффектов полосовой и низкочастотной фильтрации воздействующих сигналов в условиях коротких, нестационарных откликов. Результат 1

Результаты неоднократно обсуждались на научных семинарах кафедры радиофизики и нелинейной динамики Саратовского государственного университета, научно-образовательного центра REC-006 «Нелинейная динамика и биофизика» (Саратовский государственный университет), центра динамики сложных систем Потсдамского университета (Германия, Потсдам), центра биофизики и сложных систем Датского технического университета (Люнгбю, Дания), лаборатории нейродинамики университета Комплютенсе (Испания, Мадрид).

По теме диссертации опубликовано 15 работ: 5 статей в журналах (из них 3 статьи в журналах, рекомендованных ВАК РФ для опубликования результатов диссертаций), 10 статей в сборниках трудов конференций.

Результаты работы использованы при выполнении грантов: CRDF и Министерства образования и науки РФ «Научно-образовательный центр "Нелинейная динамика и биофизика" (НОЦ REC-006)» (2005-2007), Министерства образования и науки РФ «Развитие научного потенциала высшей школы» (2006-2008), госконтракта с ФЦНТП № 02.442.11.7181.

Личный вклад автора. Основные результаты диссертации получены лично автором. В совместных работах автором проводились численные исследования и подготовка пакетов прикладных программ, реализующих разрабатываемые методы анализа структуры сигналов. Результаты второй главы полностью получены автором (включая идею предложенного метода, его практическую реализацию и численные исследования). Формулировка задач, решаемых в первой и третьей главах, а также объяснение и интерпретация полученных результатов проведены совместно с научным руководителем и соавторами.

Структура и объем диссертации.

Диссертация состоит из введения, трех глав, заключения и списка цитированной литературы. В ней содержится 106 страниц текста, 32 страницы рисунков, библиография из 120 наименований на 13 страницах. Общий объем диссертации 138 страниц.

Заключение диссертации по теме "Радиофизика"

Основные результаты диссертационной работы заключаются в следующем:

1. Показано, что уменьшение ошибки идентификации в рамках вейвлетного метода автоматического распознавания сигналов достигается путем включения процедуры предварительной фильтрации с индивидуальной подстройкой характеристик фильтра в качестве составной части методики выбора характеристик для идентификации близких по форме импульсов.

4. Подход, основанный на совместном применении вейвлет-анализа и нейронных сетей, может быть распространен для применения в решении задач распознавания сигналов различной формы при наличии сильных помех.

Заключение

Список источников диссертации и автореферата по физике, кандидата физико-математических наук, Тупицын, Анатолий Николаевич, Саратов

1. Дженкинс, Г. Спектральный анализ и его приложения / Г. Дженкинс, Д. Ватте. - М: Мир, 1971.

2. Оппенгейм, А. Цифровая обработка сигналов / А. Оппенгейм, Р. Шафер. Изд. 2-е, испр. -М.: Техносфера, 2007.

3. Рабинер, JI. Теория и применение цифровой обработки сигналов / JI. Рабинер, Б. Гоулд. М.: Мир, 1978.

4. Марпл-мл, C.JI. Цифровой спектральный анализ и его приложения / C.JT. Марпл-мл. -М.: Мир, 1990.

5. Отнес, Р. Прикладной анализ временных рядов / Р. Отнес, JL Эноксон. — М.: Мир, 1982.

6. Трахтман, A.M. Введение в обощенную спектральную теорию сигналов / A.M. Трахтман. -М.: Сов. радио, 1972.

7. Haar, A. Zur theorie der orthogonalen funktionen-systeme / A.Haar // Mathematische Annalen. 1910. - Vol. 69. - P. 331-371.

8. Grossman, A. Decomposition of Hardy into square integrable wavelets of constant shape / A. Grossman, J. Morlet // SIAM J. Math. Anal. 1984. -Vol. 15.-P. 723-736.

9. Morlet, J. Wave propagation and sampling theory / J. Morlet, G. Arens, I. Fourgeau, D. Giard // Geophysics. 1982. - Vol. 47. - P. 203-236.

10. Mallat, S.G. Multiresolution Approximations and Wavelet of orthonormal Bases of L2(R) / S.G. Mallat // Transactions of the American Mathematical Society. 1989. - Vol. 315, № l.-P. 69-87.

11. Cohen, A. Biorthogonal Bases of Compactly Supported Wavelets / A. Cohen, I. Daubechies, J.-C. Feanveau // Communications on Pure and Applied Mathematics. 1992. - Vol. XLV. - P. 485-560.

12. Daubechies, I. Ten lectures on wavelets / I. Daubechies. — Philadelphia: S.I.A.M., 1992.

13. Meyer, Y. Wavelets: Algorithms and applications / Y. Meyer. Philadelphia: S.I.A.M., 1993.

14. Foufoula-Georgiou, E. Wavelets in geophysics / E. Foufoula-Georgiou, P. Kumar. — New York: Academic Press, 1994.

15. Addison, P. S. The illustrated wavelet transform handbook: applications in science, engineering, medicine and finance / P.S. Addison. Bristol; Philadelphia: IOP Publishing, 2002.

16. Torrence, C. A practical guide to wavelet analysis / C. Torrence, G.P. Compo // Bull. Amer. Meteor. Soc. 1998. - Vol. 79. - P. 61-78.

17. Короновский, А. А. Непрерывный вейвлетный анализ и его приложения / А.А. Короновский, А.Е. Храмов. -М.: Физматлит, 2003.

18. Короновский, А. А. Непрерывный вейвлетный анализ в приложениях к задачам нелинейной динамики / А.А. Короновский, А.Е. Храмов. — Саратов: ГосУНЦ "Колледж", 2002.

19. Короновский, А. А. Анализ фазовой хаотической синхронизации с помощью непрерывного вейвлетного преобразования /

20. А.А.Короновский, А.Е. Храмов // Письма в ЖТФ. 2004. - Т. 30, вып. 14. - С. 29-36.

21. Burrus, С. S. Introduction to wavelets and wavelet transforms: a primer / C.S. Burrus, R.A. Gopinath, H. Guo. -NJ: Prentice Hall, 1998.

22. Combes, J. M. Wavelets / J.M. Combes, A. Grossman, P. Tchamitchian (Eds.). -Berlin: Springer-Verlag, 1989.

23. Hubbard, В. B. The world according to wavelets: the story of a mathematical technique in the making (2-nd ed.) / B.B. Hubbard. — New York: A. K. Peters, 1998.

24. Hernandez, E. First course on wavelets / E. Hernandez, G.A. Weiss. Boca Raton: CRC Press, 1996.

25. Massopust, P. R. Fractal functions, fractal surfaces, and wavelets / P.R. Massopust. San Diego: Academic Press, 1994.

26. Resnikoff, H. L. Wavelet analysis: the scalable structure of information / H.L. Resnikoff, R.O. Wells Jr. New York: Springer-Verlag, 1998.

27. Muniandy, S.V. Galerkin modeling of the Burgers equation using harmonic wavelets / S.V. Muniandy, I.M. Moroz // Physics letters. 1997. - A 235. - P. 352-356.

28. Павлов, A. H. Анализ корреляционных свойств случайных процессов по сигналам малой длительности / А.Н. Павлов, О.Н. Павлова // Письма в ЖТФ. 2008. - Т. 34, № 7. - С. 71-78.

29. Lewicki, М. A review of methods for spike sorting: the detection and classification of neural potencials / M. Lewicki // Net. Com. Neu. Sys. -1998. Vol. 9. - P. R53-R78.

30. Glaser, E. Separation of neuronal activity by waveforms analysis / E.Glaser I I Advances in Biomedical Engineering. 1971. - Vol. 1. - P. 77-136.

31. Dinning, G. Real-time classification of multiunit neural signals using reduced feature sets / G. Dinning // IEEE Trans. Biomed. Eng. 1981. - Vol. 28. - P. 804-812.

32. Думский, Д.В. Применение вейвлет-анализа в задачах исследования структуры сигналов / Д.В. Думский. Диссертация на соискание ученой степени кандидата физ.-мат. наук; Саратов, 2005.

33. Letelier, J. Spike sorting based on discrete wavelet transform coefficients / J.Letelier, P.Weber // J. Neurosci. Methods. 2000. - Vol. 101. - P. 93-106.

34. Harris, K. Accuracy of tetrode spike separation as determined by simultaneous intracellular and extracellular measurements / K. Harris, D. Henze, J. Csicsvari, H. Hirase, G. Buzsaki // J. Neurophysiol. 2000. - Vol. 84.-P. 401-414.

35. Schmidt, E. M. Computer separations of multi-unit neuroelectric data: a review / E. M. Schmidt // J. Neurosci. Methods. 1984. - Vol. 12. - P. 95111.

36. Gray, С. Tetrodes markedly improve the reliability and yield of multiple single-unit isolation from multi-unit recordings in cat striate cortex / C. Gray, P. Maldonado, M. Wilson, B. McNaughton // J. Neurosci. Methods. 1995. -Vol. 63.-P. 43-54.

37. Eggermont, J. Stimulus dependent neural correlations in the auditory midbrain of the grassfrog (Rana temporaria L.) / J. Eggermont, W. Epping, A. Aertsen // Biol. Cybern. 1983. - Vol. 47. - P. 103-117.

38. Zouridakis, G. Multi-unit spike discrimination using wavelet transforms / G. Zouridakis, D. Tam // Comput. biol. med. 1997. - Vol. 27. - P. 9-18.

39. Kim, K. A wavelet-based method for action potential detection from extracellular neural signal recording with low signal-to-noise ratio / K. Kim, S. Kim // IEEE Trans, on Biomed. Eng. 2003. - Vol. 50, № 8. - P. 9991011.

40. Glaser, E. On-line separation of interleaved neuronal pulse sequences / E. Glaser, W. Marks // Biol. Med. 1968. - Vol. 5. - P. 137-156.

41. Simon, W. The real-time sorting of neuro-electric action potentials in multiple unit studies electroenceph / W.Simon // Clin. Neurophysiol. 1965. - Vol. 18.-P. 192-195.

42. Feldman, J. Computer detection and analysis of neuronal spike sequences / J. Feldman, F. Roberge//Inform. 1971.-Vol. 9.-P. 185-197.

43. Muresan, D. D. Adaptive principal components and image denoising / D.D. Muresan, T.W. Parks // IEEE International Conference on Image Processing (ICIP).-2003.-Vol. l.-P. 101-104.

44. Jolliffe, I. T. Principal component analysis / I.T. Jolliffe. New York: Springer, 2002.

45. Kaiser, H. F. The application of electronic computers to factor analysis / H.F. Kaiser // Educational and Psychological Measurement. 1960. - Vol. 20. - P. 141-151.

46. Cattell, R. B. The scree test for the number of factors / R.B. Cattell // Multivariate Behavioral Research. 1966. - Vol. 1. - P. 245-276.

47. Зиновьев, А. Ю. Визуализация многомерных данных / А. Ю. Зиновьев. -Красноярск: Изд. КГТУ, 2000.

48. Scholz, М. Nonlinear Principal Component Analysis: Neural Network Models and Applications, In: Gorban A. N. et al (Eds.) / M. Scholz, M. Fraunholz, J. Selbig. LNCSE 58: Springer, 2007.

49. Rao, K. The Transform and Data Compression Handbook / K. Rao, P. Yip (eds.). CRC Press: Baton Rouge, 2001.

50. Ким, Дж.-О. Факторный, дискриминантный и кластерный анализ: пер. с англ. / Дж.-О. Ким, Ч.У. Мьюллер, У.Р. Клекка. М.: Финансы и статистика, 1989.

51. Hulata, Е. A metod for spike sorting and detection based on wavelet packets and Shannon's mutual information / E. Hulata, R. Segev, E. Ben-Jacob // J. Neurosci. Methods. 2002. - Vol. 117. - P. 1-12.

52. Quian Quiroga, R. Unsupervised spike detection and sorting with wavelets and superparamagnetic clustering / R. Quian Quiroga, Z. Nadasdy, Y. Ben-Shaul // Neural Computation. 2004. - Vol. 16. - P. 1661-1687.

53. Астафьева, H. M. Вейвлет-анализ: основы теории и примеры применения / Н.М. Астафьева // Успехи физических наук. 1996. - Т. 166, № 11.-С. 1145-1170.

54. Bachman, G. Fourier and wavelet analysis / G. Bachman, L. Narici, E. Beckenstein. New York: Springer-Verlag, 2000.

55. Boggess, A. First course in wavelets with Fourier analysis / A. Boggess, F.J. Narcowich. NJ: Prentice Hall, 2001.

56. Chui, С. K. Wavelets: a mathematical tool for signal analysis / C.K. Chui. -Philadelphia: S.I.A.M., 1997.

57. Дьяконов, В.П. Вейвлеты. От теории к практике. / В.П. Дьяконов. М.: СОЛОН-Пресс, 2004.

58. Mallat, S. G. A wavelet tour of signal processing / S.G. Mallat. New York: Academic Press, 1998.

59. Gardiner, C.W. Handbook of Stochastic Methods for Physics, Chemistry and the Natural Sciences. (2 ed.) / C.W. Gardiner. Springer-Verlag, Berlin, Heidelberg, 1990.

60. Хайкин, С. Нейронные сети: полный курс, 2-е издание: Пер с англ. / С. Хайкин. М.: Вильяме, 2006.

61. Каллан, Р. Основные концепции нейронных сетей: Пер с англ. / Р. Каллан. М.: Вильяме, 2001.

62. Галушкин, А.И. Теория нейронных сетей. Кн. 1: учебное пособие для ВУЗов. / А.И. Галушкин. М.: ИПРЖР, 2000.

63. Круглов, В. В. Искусственные нейронные сети. Теория и практика / В.В. Круглов, В. В. Борисов. М.: Горячая линия - Телеком, 2001.

64. Терехов, В.А. Нейросетевые системы управления / В. А. Терехов, Д. В. Ефимов, И. Ю. Тюкин. — М.: Высшая школа, 2002.

65. Ясницкий, JI.H. Введение в искусственный интеллект / Л.Н. Ясницкий. -М.: Издательский центр "Академия", 2005.

66. Уидроу, Б. Адаптивная обработка сигналов / Б. Уидроу, С. Стирнс. М.: Радио и связь, 1989.

67. Горбань, А.Н. Нейроинформатика / А.Н.Горбань, В.Л.Дунин-Барковский, А.Н. Кир дин. Новосибирск: Наука. Сибирское предприятие РАН, 1998.

68. Вороновский, Г.К. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К. Вороновский, К.В. Махотило, С.Н. Петрашев, С.А. Сергеев. Харьков: Основа, 1997.

69. Гальберштам, Н. М. Нейронные сети как метод поиска зависимостей структура свойство органических соединений / Н. М. Гальберштам, И.И. Баскин, В. А. Палюлин, Н. С. Зефиров // Успехи химии. - 2003. — Т. 72. №7.-С. 706-727.

70. Aleksander, I. An introduction to neural computing. / I. Aleksander, H. Morton. London: Chapman and Hall, 1999.

71. Горбань, A. H. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. / А.Н. Горбань // Сибирский журнал вычислительной математики. 1998. - Т.1, № 1. - С. 12-24.

72. Зиновьев, А. Ю. Визуализация многомерных данных. / А.Ю. Зиновьев. — Красноярск: Изд. Красноярского государственного технического университета, 2000.

73. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts // Bulletin of Mathematical biophysics. 1943. -vol. 5.-P. 115-133.

74. Rosenblatt, F. The Perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt // Psyhological review. 1958. -vol.65. -P.386-408.

75. Grossberg, S. Adaptive pattern classification and universal recoding / S. Grossberg//Biol. Cybern. 1976.-vol.23. - P.l21-134.

76. Hopfield, J. Neural computation of decision in optimixation problems / J. Hopfield, D. Tank // Biol Cybern. 1985. - vol. 52. - P. 141-152.

77. Hopfield, J. Neural networks physical systems with emergent collective computational abilities / J. Hopfield // in proc. National academy of scienies, USA 79. 1982. - P. 2554-2558.

78. Kohonen, T. Self organization and associative memory, third edition / T. Kohonen. Springer-Verlag, New-York, 1989.

79. Muller, B. Neural Networks. An introduction. / B. Muller, J. Reinhardt — Berlin: Springer-Verlag, 1991.

80. Уоссерман, Ф. Нейрокомпьютерная техника: Теория и практика. / Ф. Уоссерман-М.:Мир, 1990.

81. Anderson, J.A. Neurocomputing: foundation of research. / J.A. Anderson, E. Rosenfeld MIT Press, Cambridge, Mass., 1988.

82. Fukushima, K. Cognitron: A Self-Organizing Multilayered Neural Network / K. Fukushima // Biological Cybernetics. 1975. - vol.20. - P. 121-136.

83. Gardner, EJ. Optimal storage properties of neural network models / E.J. Gardner, В Derrida // Journal of Physics. 1988. - vol. 21. - P.271-284.

84. Reilly, D.L. A Neural Model for Category Learning / D.L. Reilly, L.N. Cooper, C. Elbaum // Biological Cybernetics. 1982. - vol. 45. - P.35-41.

85. Muller, P. Issues in Bayesian Analysis of Neural Network Models / P. Muller, D.R. Insua //Neural Computation. 1995. - vol. 10. - P. 571-592.

86. Hopfield, J. Learning alrorithms and probability distributios in feed-forward and feed-back networks / J. Hopfield // Proc. Natl. Acad. Sci., USA 79. -1982.-P. 2554-2558.

87. Grossberg, S. Neural networks and natural intelligence / S. Grossberg. -MA:MIT press, Cambridge, 1988.

88. Sauer, T. Reconstruction of dynamical system from interspike intervals / T. Sauer // Phys. Rev. Lett. 1994. - Vol. 72. - P. 3911-3914.

89. Малла, С. Вейвлеты в обработке сигналов: Пер. с англ. / С. Малла. — М.: Мир, 2005.

90. Tuckwell, Н. С. Introduction to theoretical neurobiology / H. С. Tuckwell. -Cambridge: Cambridge University Press, 1988.

91. Николлс, Д. От нейрона к мозгу. Пер. с англ. / Д. Николлс, Р. Мартин, Б. Валлас, П. Фукс. М.: Едиториал УРСС, 2003.

92. Шмидт, Р. Основы сенсорной физиологии / Р. Шмидт. М.: Мир, 1984.

93. Катц, Б. Нерв, мышца и синапс, пер. с англ. / Б. Катц. М.: Мир, 1998.

94. Darian-Smith, I. The trigeminal system / I. Darian-Smith // Handbook of Sensory Physiology, ed. by Iggo A. 1973. - P. 271-314.

95. Arvidsson, J. Somatosensory organization of vibrissae afferents in the trigeminal sensory nuclei of the rat studied by transganglionic transport of hrp / J. Arvidsson // J. Сотр. Neurol. 1982. - vol. 211. - P. 84-92.

96. Hayashi, H. Distributions of vibrissae afferent fiber collaterals in the trigeminal nuclei as revealed by intra-axonal injection of horseradish peroxidase / H. Hayashi // Brain Res. 1980. - vol. 183. 7 P. 442-446.

97. Woolsey, T. A. The structural organization of layer iv in the somatosensory region (si) of mouse cerebral cortex / T.A. Woolsey, H. Van der Loos // Brain Res. 1970. - vol. 17. - P. 205-242.

98. Moreno, A. Principalis, oralis and interpolaris responses to whisker movements provoked by air jets in rats / A. Moreno, V. Garsia-Gonzalez, A. Sanches-Jimenez, F. Panetsos // NeuroReport. 2005. - vol. 16, № 14. - P. 1569-1573.

99. Carvell, G.E. Task- and subject-related differences in sensorimotor behavior during active touch / G.E. Carvell, D.J. Simons // Somat. Mot. Res. 1995. -vol. 12.-P. 1-9.

100. Harvey, M.A. Discriminative whisking in the head-fixed rat: optoelectronic monitoring during tactile detection and discrimination tasks / M.A. Harvey, R. Bermejo, H.P. Zeigler // Somat. Mot. Res. 2001. - vol. 18. - P. 211-222.

101. Garabedian, C.E. Band-pass response properties of rat SI neurons / C.E. Garabedian, S.R. Jones, M.M. Merzenich, A. Dale, C.I. Moore // J. Neurophysiology. 2003. - vol. 90. - P. 1379-1391.

102. Sosnovtseva, О. V. Interference microscopy under double-wavelet analysis: a new tool to studying cell dynamics / O.V. Sosnovtseva, A.N. Pavlov, N.A.

103. Brazhe, A.R. Brazhe, L.A. Erokhova, G.V. Maksimov, E. Mosekilde // Physical Review Letters. 2005. - Vol. 94. - P. 218103.

104. Welker, W. I. Analysis of sniffing of the albino rat / W.I. Welker // Behavior.- 1964. vol. 12. - P. 223-244.

105. Публикации по теме диссертации

106. Думский, Д. В. Классификация нейронных потенциалов действия на основе вейвлет-преобразования / Д.В. Думский, А.Н. Павлов, А.Н. Тупицын, В.А. Макаров // Изв. вузов, Прикладная нелинейная динамика.- 2005. Т. 13, № 5-6. - С. 77-98.

107. Тупицын, А.Н. Классификация нейронных потенциалов действия на основе вейвлет-анализа / А.Н. Тупицын // Материалы научной школы-конференции "Нелинейные дни для молодых-2005"; Саратов: ООО ИЦ "Наука". 2005. - С. 175-178.

108. Павлова, О. H. Эффекты влияния низкочастотного магнитного поля на характеристики физиологического тремора / О.Н. Павлова, А.Н.

109. Тупицын, А.Н. Павлов // Изв. вузов, Прикладная нелинейная динамика. 2006. - Т. 14, № 5-6. - С. 105-117.

110. Тупицын, А.Н. Анализ динамики нейронов на этапе первичной обработки информации / А.Н. Тупицын // Материалы научной школы-конференции "Нелинейные дни для молодых-2006"; Саратов: ООО ИЦ "Наука". 2006.-С. 208-211.

111. Pavlov, A. N. Using wavelet analysis to detect the influence of low frequency magnetic fields on human physiological tremor / A.N. Pavlov, A.N. Tupitsyn, A. Legros, A. Beuter, E. Mosekilde // Physiological Measurement. 2007. -Vol. 28.-P. 321-333.

112. Тупицын, А.Н. Исследование процессов первичной обработки тактильной информации / А.Н. Тупицын // Материалы научной школы-конференции "Нелинейные дни для молодых-2007"; Саратов: ООО ИЦ "Наука". 2007.-С. 162-165.

113. Макаров, В. А. Сортировка нейронных спайков на основе параметрического вейвлет-анализа с адаптивной фильтрацией / В.А. Макаров, А.Н. Павлов, А.Н. Тупицын // Цифровая обработка сигналов. — 2008.-№3.-С. 26-31.

114. Анисимов, А. А. Вейвлет-анализ чирпов / А.А. Анисимов, О.Н. Павлова, А.Н. Тупицын, А.Н. Павлов // Известия вузов. Прикладная нелинейная динамика.-2008.-Т. 16, № 5. С. 3-11.