Методы обнаружения и детектирования сигналов с априорно неизвестными статистическими свойствами с применением искусственных нейронных сетей

Овчинников, Павел Евгеньевич

Методы обнаружения и детектирования сигналов с априорно неизвестными статистическими свойствами с применением искусственных нейронных сетей тема автореферата и диссертации по физике, 01.04.03 ВАК РФ

Овчинников, Павел Евгеньевич АВТОР

кандидата физико-математических наук УЧЕНАЯ СТЕПЕНЬ

Нижний Новгород МЕСТО ЗАЩИТЫ

2009 ГОД ЗАЩИТЫ

01.04.03 КОД ВАК РФ

Диссертация по физике на тему «Методы обнаружения и детектирования сигналов с априорно неизвестными статистическими свойствами с применением искусственных нейронных сетей»

Автореферат диссертации на тему "Методы обнаружения и детектирования сигналов с априорно неизвестными статистическими свойствами с применением искусственных нейронных сетей"

003467443

На правах рукописи

Овчинников Павел Евгеньевич

МЕТОДЫ ОБНАРУЖЕНИЯ И ДЕТЕКТИРОВАНИЯ СИГНАЛОВ С АПРИОРНО НЕИЗВЕСТНЫМИ СТАТИСТИЧЕСКИМИ СВОЙСТВАМИ С ПРИМЕНЕНИЕМ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

01.04.03 - Радиофизика

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата физико-математических наук

Н. Новгород, 2009 г.

003467443

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Нижегородский государственный университет им. Н.И. Лобачевского»

Научный руководитель:

доктор технических наук, профессор В.Р. Фидельман

Официальные оппоненты:

доктор технических наук, профессор И.Я. Орлов

доктор физико-математических наук В.Г. Яхно

Ведущая организация:

НИИ нейрокибернетики им. А.Б. Когана Южного федерального университета Ростов-на-Дону

Защита сЬстоится " ^^ " _2009 г. в ^^ часов на

заседании диссертационного совета Д 212.166.07 при Нижегородском государственном университете им. Н.И. Лобачевского по адресу: 603950, Нижний Новгород, пр. Гагарина, 23, корп. 1, ауд. 420.

С диссертацией можно ознакомиться в фундаментальной библиотеке Нижегородского государственного университета им. Н.И. Лобачевского.

Автореферат разослан " " ¿^^Ут/-'.--«^

2009 г.

Ученый секретарь диссертационного совета к.ф.-м.и., доцент

Черепенников В.В.

ОБЩАЯ ХАРАКТЕРИСТИКА ДИССЕРТАЦИИ Актуальность темы

Задача детектирования сигналов в условиях помех и непостоянства параметров является актуальной в различных областях. В работе рассматриваются приложения методов детектирования сигналов в задаче распознавания речи и задаче приёма модулированных сигналов.

Задача распознавания речи имеет большое значение для человеко-машинного взаимодействия. Прежде всего, распознавание речи используется для ввода информации в компьютеры. Постоянно растёт круг устройств с голосовым управлением: компьютеры, телефоны, бытовая техника.

Благодаря высокой помехоустойчивости и эффективному использованию спектральной полосы всё более широкое применение в системах цифровой связи находят различные виды угловой модуляции: прежде всего это фазовая и частотная манипуляция с малым числом уровней фаз и частот соответственно. При этом стандартные алгоритмы детектирования ведут себя неустойчиво в условиях высоких уровней шумов и нестабильности параметров канала передачи. В частности, такая ситуация возникает в спутниковых системах связи. Высокий уровень шумов обуславливается большими расстояниями между источниками и приёмниками и тем, что не всегда возможна работа в главном лепестке диаграммы направленности антенной системы. Орбитальное движение приводит к переменному эффекту Доплера, выражающемуся в смещении несущей частоты и масштабировании спектра. Построение и реализация оптимальных методов обнаружения и детектирования модулированных сигналов затрудняются тем, что статистические свойства шумов и величина доплеровского сдвига непостоянны. Априорная неизвестность параметров сигнала затрудняет построение формального алгоритма. Для решения подобных задач применяется аппарат искусственных нейронных сетей (ИНС). В развитие теории ИНС внесли вклад многие учёные: Маккалок, Питтс, Хебб, Розенблат, Хопфилд, А.Н. Колмогоров, Кохонен, А.И. Галушкин, А.Н. Горбань. Применение ИНС в составе системы обработки сигналов позволяет путём обучения ИНС в текущих условиях приёма формировать локальные по времени модели сигнала и шума и строить адаптивные методы обнаружения и детектирования.

Цель диссертации

Целью диссертационной работы является разработка методов обработки сигналов в отсутствии предположений о моделях процессов, порождающих сигналы, с применением искусственных нейронных сетей. При построении системы обработки сигналов на базе ИНС необходимо выбрать структуру сети, определить способ параметризации сигналов и

обучить сеть с помощью алгоритма, позволяющего максимально использовать информацию, содержащуюся в данных эксперимента. Решению этих вопросов посвящена работа. В работе предлагаются нейросетевые методы решения задач распознавания фонем (в рамках общей задачи распознавания речи), детектирования сигналов с угловой модуляцией, обнаружения модулированных сигналов.

Научная новизна

Для решения задачи автоматического распознавания речи в диссертационной работе предложен метод обучения нейронной сети, позволяющий обучать систему детектирования фонем без ручного сегментирования и пометки образцов речи. В отличие от традиционных методов предлагаемый метод не вносит в систему ложной информации, связанной с неточной сегментацией.

Для решения задач обнаружения и детектирования модулированных сигналов цифровых систем связи в диссертационной работе предложены нейросетевые методы, позволяющие проводить обнаружение и детектирование в условиях узкополосного шума и априорно неизвестного сдвига несущей частоты.

Предлагаемый в диссертационной работе метод обучения ИНС обеспечивает вычислительно эффективную оптимизацию информационного критерия обучения (энтропии ошибки). Кроме неявной оптимизации энтропии ошибки предлагаемый метод позволяет реализовывать дообучение на новых сигналах без «забывания» предыдущих.

Практическая значимость

Традиционные методы распознавания речи требуют сегментации речевого сигнала как в процессе настройки системы (при обучении), так и при распознавании. Это относится как к акустически-фонетическому подходу к распознаванию речи, так и к методам распознавания по образцу. При использовании первого подхода выделяются отрезки сигнала с постоянными характеристиками, а при использовании второго подхода сигнал сегментируется эквидистантно для последующей (при обучении -ручной) пометки сегментов. Ручные сегментация и пометка являются рутинными, трудозатратными процедурами, кроме того ошибки оператора при выполнении этих процедур негативно сказываются на работе конечной системы распознавания речи. В диссертационной работе предложен метод обучения ИНС для распознавания фонем без ручных процедур сегментации и пометки сигналов.

фазоманипулированных сигналов из-за накопления ошибки возможен переход системы в режим «обратной работы», при таком переходе происходит смена полярности детектируемых символов. Традиционные методы обнаружения и детектирования опираются на статистические характеристики шума, которые непостоянны или совсем неизвестны в ряде практических задач. Предлагаемые в диссертационной работе методы обнаружения и детектирования обладают устойчивостью к изменениям несущей частоты и не требуют задания модели шума, т.к. обучаются на примерах сигналов, содержащих шум эфира и искажения, связанные с переменной несущей частотой.

Основные положения, выносимые на защиту

• Метод обучения нейронных сетей, основанный на информационном критерии энтропии ошибки и реализация нейросетевых алгоритмов на последовательных вычислительных машинах.

• Метод детектирования фонем с использованием ИНС, не требующий сегментирования речевых сигналов.

• Метод параллельного обнаружения и детектирования сигналов с угловыми видами манипуляции (фазо- и частотно-манипулированных), основанный на применении ИНС.

• Результаты моделирования и исследования устойчивости предложенных методов детектирования в условиях шумов и сдвига несущей частоты.

Апробация работы

Основные результаты диссертационной работы докладывались и обсуждались:

• на всероссийской научно-технической конференции «Информационные системы и технологии», Нижний Новгород, НГТУ, 2005, 2006, 2007 гг;

• на 14-ой Международной конференции по нейрокибернетике, Ростов-на-Дону, 2005 г;

• на V международной научно-технической конференции «Электроника и информатика - 2005», Зеленоград, МИЭТ, 2005;

• на VIII, IX, X всероссийских научно-технических конференциях «Нейроинформатика», Москва, МИФИ, 2006, 2007, 2008 гг;

• на IV международной конференции "Signal Processing Pattern Recognition and Applications", Австрия, 2007;

• на IX, X международных конференциях «Цифровая обработка сигналов и ее применение». Москва, ИПУ РАН, 2007, 2008 гг;

• на XIII международной научно-технической конференции студентов и аспирантов «Радиоэлектроника, электротехника и энергетика». Москва, МЭИ, 2007 г.;

• на VIII международной научно-технической конференции "Искусственный интеллект-2007. Интеллектуальные системы", пос. Дивноморское, 2007 г.

• на X, XI научных конференциях по радиофизике. Нижний Новгород, РФ ННГУ, 2006, 2007 гг;

• на международном симпозиуме "International Symposium on Communications, Control and Signal Processing", Мальта, 2008 г.;

и опубликованы в статьях:

• в журнале "Optical Memory & Neural Networks (Information Optics)", 2005 г.;

• в журнале «Вестник Нижегородского университета им. Н.И. Лобачевского. Серия Радиофизика», 2005 г.;

• в журнале «Известия ВУЗов. Радиофизика», 2007 г.;

• в журнале «Радиотехника и электроника», 2007 г.;

• в журнале «Вестник Нижегородского университета им. Н.И. Лобачевского», 2007 г.

Личный вклад автора

Автору принадлежит нейросетевой метод распознавания фонем, не требующий сегментирования и пометки речевых сигналов, метод детектирования фазо- и частотно-манипулированных сигналов, основанный на применении ИНС, метод параллельного обнаружения и детектирования модулированных сигналов, вычислительно эффективный метод обучения ИНС, оптимально использующий информацию из обучающей выборки путём минимизацией энтропии ошибки. Выбор направления исследований, постановка задач и обсуждение полученных результатов проводилось совместно с научным руководителем -заведующим кафедрой ИТФИ физического факультета ННГУ, профессором Фидельманом В.Р., ассистентом кафедры ИТФИ Сёминым Ю.А. и доцентом кафедры ИТФИ Морозовым О.А. Аналитические и численные расчёты, реализация и модельное программное обеспечение предложенных методов выполнены лично автором.

Структура н объём диссертации

Диссертация состоит из введения, четырёх глав, заключения и приложения. Общий объём диссертации составляет 102 страницы, включая 41 рисунок и список литературы из 164 наименований.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность работы, формулируются её цели, кратко излагается содержание диссертационной работы, отражается научная новизна и практическая ценность полученных результатов, приводятся основные положения, выносимые на защиту, а также сведения об апробации результатов.

Первая глава содержит краткий обзор нейросетевых методов решения задач классификации и применяемых для этой цели структур нейронных сетей.

Кратко изложены основы ИНС: описаны узлы (искусственные нейроны) и ряд типичных структур сетей. Приведено описание различных, и в том числе информационно оптимальных, алгоритмов обучения ИНС. Обсуждаются преимущества и недостатки, а также условия применения существующих методов обработки сигналов при помощи ИНС. Проведён обзор работ, посвященных нейросетевым методам решения актуальных задач обработки радиосигналов. В числе приведённых присутствуют работы по фильтрации, фазовой автоподстройке частоты, определению типа модуляции и детектированию. Кратко описана типичная структура системы распознавания речи и возможности применения в ней ИНС. В заключении главы определяются основные направления диссертационного исследования.

Во второй главе рассматривается применение ИНС в задаче распознавания речи. В главе исследуется влияние размера нейронной сети на эффективность распознавания фонем в составе слов. Проводится исследование способов параметризации речевого сигнала. Рассмотрено применение линейного предсказания, частотно-временного анализа, кепстрального анализа и вейвлет-анализа.

Способы сравниваются экспериментально, путём распознавания фонем по различным наборам параметров. Кроме того, при помощи самоорганизующихся карт Кохонена анализируются пространства

признаков, образуемые исследуемыми способами параметризации.

В главе предлагается новый способ обучения нейронной сети для задачи распознавания фонем. Предлагаемый способ обучения в качестве входной информации требует лишь транскрипции слов из обучающей выборки и не требует ручной сегментации слов на фонемы. Применение ИНС и нового способа обучения позволяет упростить систему распознавания речи (рис. 1) благодаря автоматическому формированию акустических моделей при обучении ИНС и отказу от сегментации слов на фонемы. Приведены примеры распознавания фонем в составе слов при помощи сети, обученной предлагаемым методом. В заключении главы приведены основные результаты исследований по применению ИНС в задаче распознавания речи.

Третья глава посвящена разработке и исследованию методов решения при помощи ИНС задач обнаружения и детектирования модулированных сигналов (входит в состав схемы на рис. 2). В начале главы приводится общая схема предлагаемого метода детектирования фазоманипулированных (ФМ) сигналов. Затем описывается исследование

Исходный сигнал

Рис. 2. Схема обнаружении и детектирования ФМ4 сигнала с использованием ИНС

влияния размеров сети на эффективность детектирования. После определения оптимального размера сети путём сравнительного эксперимента выбирается наиболее подходящий способ параметризации модулированного сигнала. Далее в главе описывается предлагаемый способ формирования обучающей выборки для настройки нейросетевой схемы на некогерентное детектирование в условиях аддитивных шумов. Для определения устойчивости в шуму и эффекту Доплера проводятся исследования вероятности ошибки детектирования предлагаемым методом в зависимости от отношения сигнал/шум при различных смешениях несущей частоты относительно известного значения. Полученные значения вероятностей ошибки детектирования сравниваются со значениями, полученными при детектировании стандартным методом по выходным сигналам схемы Костаса (рис. 3). Исследуется поведение вероятности ошибки предлагаемого метода детектирования при расширении обучающей выборки сигналами с различными несущими частотами. Исследуется влияние ширины частотной полосы приёмника на эффективность детектирования.

В дополнение к схеме детектирования фазоманипулированных сигналов в главе предлагается подобная схема для детектирования частотно-манипулированпых (ЧМ) сигналов. Проводятся исследования -5 0 5 10 15 20 25

Рис. 3. Зависимости вероятности ошибки детектирования ФМ4 сигналов от отношения сигнал/шум. 1 - А/о=0; 2 - Д/о=0,5 кГц; 3 - Д/о=1 кГц; 4 - схема Костаса. ОСШ - отношение сигнал/шум, Рс - вероятность символьной ошибки

Ре

ОСШ, дБ

устойчивости предложенной схемы к аддитивным шумам и сдвигу несущей частоты относительно известного значения. Приведены результаты сравнения эффективностей детектирования ЧМ сигналов предлагаемым и стандартным методами.

В главе предлагается основанный на ИНС метод одновременного обнаружения и детектирования модулированных сигналов. Схема предлагаемого метода представлена на рис. 2. Метод рассматривается на примере обнаружения и детектирования четырехпозиционного фазоманипулированного сигнала (ФМ4). Исследуется влияние шума в канале передачи и зашумлённости обучающей выборки на вероятность ошибки обнаружения при помощи предлагаемого метода.

В заключении главы приведены основные результаты, относящиеся к применению предлагаемых нейросетевых методов к задачам обнаружения и детектирования сигналов с угловыми видами модуляции.

Четвёртая глава посвящена программной реализации и экспериментальной проверке на реальных сигналах предлагаемых нейросетевых методов обработки. Описана эффективная реализация нейросетевых алгоритмов для последовательной вычислительной машины. Предложен метод быстрого обучения, неявно минимизирующий энтропию ошибки. Приведены результаты статистических экспериментов по определению времени обучения предлагаемым способом при различных

эксперимента

условиях. Приведены результаты экспериментов по обнаружению и детектированию узкополосных модулированных сигналов действующей системы связи. Вероятности ошибок, полученные в результате экспериментов, близки к вероятностям, полученным при моделировании (рис. 4). Данный результат подтверждает справедливость выводов моделирования и практическую применимость разработанных методов.

В заключении сведены основные результаты диссертационного исследования и выводы по работе в целом.

В приложении приведена процедура Дурбина для рекурсивного вычисления коэффициентов линейного предсказания.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ

Основные результаты диссертационного исследования заключены в следующем:

• Разработан и реализован универсальный алгоритм обучения ИНС. Основу алгоритма составляет информационный критерий энтропии ошибки. Использование информационного критерия позволяет повысить вероятность правильного детектирования, повысить устойчивость методов к изменению параметров, повысить скорость обучения.

• Разработан метод детектирования фонем на основе нейросетевого классификатора. Фонемы распознаются в составе слов, при этом предложенный метод обучения ИНС позволяет избежать сегментирования речевых сигналов и тем самым освобождает систему распознавания от ошибок, связанных с неточной ручной или автоматической сегментацией. Проведён анализ пространств признаков, образуемых различными способами параметризации. Исследовано влияния размеров ИНС и способа параметризации на эффективность детектирования фонем.

• Разработаны нейросетевые методы обнаружения и некогерентного детектирования сигналов с угловыми видами модуляции. В основе предлагаемых методов лежит общая схема обработки сигналов, что делает возможным постороение обобщённой аппаратной системы, настраиваемой на конкретную задачу обнаружения или детектирования ФМ или ЧМ сигналов путём загрузки весовых коэффициентов нейронной сети.

• Предложенные методы детектирования исследованы в условиях узкой спектральной полосы, аддитивных шумов и отклонения несущей частоты от известного значения. Результаты компьютерного моделирования показывают, что предлагаемые методы обладают не худшей (для ЧМ сигналов) или лучшей (для ФМ сигналов) устойчивостью к шуму по сравнению со стандартными методами. Полученные при моделировании показатели подтверждены экспериментально путём обнаружения и детектирования реальных ФМ и ЧМ сигналов.

• Важным свойством разработанных методов обработки является отсутствие необходимости синхронизации, присущей схемам автоподстройки. Предложенные в работе методы цифровой обработки сигналов обучаются на реализациях обрабатываемых

сигналов, поэтому не требуют априорного определения моделей и введения предположений о линейности, стационарности и гауссовости.

СПИСОК РАБОТ ПО ДИССЕРТАЦИИ

Основное содержание диссертационной работы отражено в следующих публикациях:

1. Овчинников, П.Е. Разработка классификатора звуков на базе нейронной сети. / П.Е. Овчинников // Научная студенческая конференция физического факультета ННГУ: Тез. докл. - Н. Новгород: Нижегородский университет им. Н.И. Лобачевского, 2004.-С. 13.

2. Овчинников, П.Е. Ускорение обучения многослойного персептрона в задаче классификации фонем / П.Е. Овчинников, Ю.А. Сёмин // Проблемы нейрокибернетики (материалы 14-ой Международной конференции по нейрокибернетике). - Ростов-на-Дону, 2005. - Т. 2. - С. 128-132.

3. Морозов, О.А. Детектирование фазоманипулированного сигнала с применением искусственной нейронной сети / О.А. Морозов, П.Е. Овчинников, Ю.А. Сёмин // Вестник Нижегородского университета им. Н.И. Лобачевского. Серия «Радиофизика». Выпуск 1(3). - ННГУ, 2005. - С. 143-147.

4. Ovchinnikov, Р.Е. Multilayer Perceptron Training without Word Segmentation for Phoneme Récognition / P.E. Ovchinnikov, Yu.A Semin // Optical Memory & Neural Networks (Information Optics). - 2005. - V. 14, № 4. - P. 245-248.

5. Морозов, О.A. Применение искусственной нейронной сети для декодирования ФМ-сигналов / О.А. Морозов, П.Е. Овчинников // Электроника и информатика-2005. Тезисы доклада V Межд. Науч.-техн. конф. - Зеленоград, МИЭТ, 2005. - 4.2. - С. 19.

6. Овчинников, П.Е. Влияние предварительной обработки данных на качество распознавания звуков нейронной сетью / П.Е. Овчинников, Ю.А. Сёмин // Информационные системы и технологии ИСТ-2005. Тезисы докладов всероссийской научно-технической конференции. - Нижегородский государственный технический университет, 2005. - С. 129.

7. Овчинников, П.Е. Обучение персептрона без сегментации слов из обучающей выборки в задаче распознавания звуков / П.Е. Овчинников, Ю.А. Сёмин // Научная сессия МИФИ-2006. VIII Всероссийская научно-техническая конференция «Нейроинформатика-2006» Сборник научных трудов. В З-ч частях. Ч.З. -М.: МИФИ, 2006. - С. 212-216.

8. Овчинников, П.Е. Обучение персептрона по транскрипции в задаче распознавания звуков / П.Е. Овчинников, Ю.А. Сёмин // Информационные системы и технологии ИСТ-2006. Тезисы докладов международной научно-технической конференции. -Нижегородский государственный технический университет,

2006. - С. 167.

9. Овчинников, П.Е. Сравнение методов параметризации речевых сигналов для задачи распознавания фонем / П.Е. Овчинников // (Десятая) Научная конференция по радиофизике, посвященная 90-летию ННГУ и 100-летию со дня рождения Г.С. Горелика. Труды конференции. - ННГУ, 2006.

Ю.Овчинников, П.Е. Влияние способа параметризации звукового сигнала на эффективность распознавания фонем персептроном / П.Е. Овчинников, Ю.А. Сёмин // Известия ВУЗов. Радиофизика. - 2007. Т. 50, № 4. - С. 350-356. П.Морозов, O.A. Метод декодирования фазоманипулированных сигналов по комплексной огибающей на основе искусственной нейронной сети / O.A. Морозов, П.Е. Овчинников // Радиотехника и электроника. - 2007. Т. 52, № 11. - С. 13711375.

12.Морозов, O.A. Нейросетевое детектирование

фазоманипулированного сигнала по фазовой линии / O.A. Морозов, П.Е. Овчинников, Ю.А. Сёмин // Вестник Нижегородского университета им. Н.И. Лобачевского. - ННГУ,

2007, №3,-С. 67-70.

13.Овчинников, П.Е. Сравнение методов параметризации речевых сигналов для задачи нейросетевого распознавания фонем / П.Е. Овчинников, Ю.А. Сёмин // Искусственный интеллект. Интеллектуальные системы: Материалы Восьмой Международной научно-технической конференции. - Донецк, 2007.-С. 131-134.

14.Овчинников, П.Е. НеГфосетевое сравнение методов параметризации речевых сигналов для задачи распознавания фонем / П.Е. Овчинников, Ю.А. Сёмин // Научная сессия МИФИ-2007. VIII Всероссийская научно-техническая конференция «Нейроинформатика-2007» Сборник научных трудов. В З-ч частях. 4.1.-М.: МИФИ, 2007.-С. 110-114.

15.Овчинников, П.Е. Влияние размера сети на эффективность нейросетевого детектирования фазоманипулированных сигналов / П.Е. Овчинников // Труды Российского научно-технического общества радиотехники, электроники и связи имени A.C. Попова. Серия: Цифровая обработка сигналов и её применение. Выпуск: IX-2. - Москва, 2007. - С. 563-566.

16.Морозов, O.A. Зависимость эффективности нейросетевого детектирования фазоманипулированных сигналов от размера сети / O.A. Морозов, П.Е. Овчинников // "Радиоэлектроника, электротехника и энергетика". Тринадцатая Международная научно-техническая конференция студентов и аспирантов. 1-2 марта 2007 г.: Тезисы докладов в 3-х томах. - М.: Издательский дом МЭИ, 2007. - Т.1. - С. 133-134.

17.Morozov, О. Detecting of PSK Signals by Complex Envelope based on Neural Network Approach / O. Morozov, P. Ovchinnikov // Proceedings of the Fourth IASTED International Conference on Signal Processing Pattern Recognition and Applications. - Calgary: ACTA Press, 2007. - P. 136-139.

18.Морозов, O.A. Влияние способа параметризации на эффективность нейросетевого детектирования фазоманипулированных сигналов / O.A. Морозов, П.Е. Овчинников, Ю.А. Сёмин // Труды XI научной конференции по радиофизике, посвящённой 105-летию со дня рождения М.Т. Греховой /Под ред. A.B. Кудрина, A.B. Якимова. - Н. Новгород: Изд-во Нижегородского госуниверситета, 2007. - С. 220-221.

19.Овчинников, П.Е., Нейросетевое детектирование сигналов с частотной манипуляцией / П.Е. Овчинников, М.Ю. Семёнова // Научная сессия МИФИ - 2008. X Всероссийская научно-техническая конференция «Нейроинформатика-2008» Сборник научных трудов. В 2-ч частях. 4.1. - М.: МИФИ, 2008. - С. 1825.

20.Морозов, О.А. Обнаружение фазоманипулированных сигналов при помощи искусственных нейронных сетей / О.А. Морозов, П.Е. Овчинников // Труды Российского научно-технического общества радиотехники, электроники и связи имени А.С. Попова. Серия: Цифровая обработка сигналов и её применение. Выпуск: Х-2. - Москва, 2008. - С. 677-679.

21.Morozov, О. Neural Network Detection and Decoding of PSK Signals / O. Morozov, P. Ovchinnikov // Proceedings of the 3rd International Symposium on Communications, Control and Signal Processing (ISCCSP 2008). - 2008. - P. 292-294.

ОГЛАВЛЕНИЕ ДИССЕРТАЦИИ

Введение

Глава 1. Применение ИНС в задачах обработки сигналов (литературный обзор)

1.1. ИНС, основные понятия

1.2. Классификация образов при помощи ИНС

1.3. Приложения ИНС в задачах обработки сигналов

1.4. Выводы

Глава 2. Применение ИНС в задаче детектирования фонем без сегментирования речевого сигнала

2.1. Определение размеров нейросетевого классификатора

2.2. Формирование набора параметров сигнала для распознавания фонем

2.3. Влияние способа параметризации на эффективность распознавания

2.4. Анализ пространств признаков речевого сигнала

2.5. Распознавание фонем без сегментирования речевого сигнала

2.6. Выводы

Глава 3. Применение ИНС в задачах обнаружения и детектирования модулированных сигналов в условиях непостоянства параметров

3.1. Детектирование фазоманипулированных сигналов

3.2. Детектирование частотно-манипулированных сигналов

3.3. Обнаружение фазоманипулированных сигналов

3.4. Выводы

Глава 4. Реализация нейросетевых алгоритмов и эксперимент на реальных сигналах

4.1. Реализация нейросетевых алгоритмов обработки сигналов

4.2. Эксперимент на реальных сигналах Заключение

Литература Приложение

Подписано в печать 03.04.2009. Формат 60x84 1/16. Бумага офсетная. Печать офсетная. Усл. печ. л. 1. Тир. 100. Зак. 211.

Типография Нижегородского госуниверситета Лицензия № 18-0099 603000, Н. Новгород, ул. Б. Покровская, 37.

Содержание диссертации автор исследовательской работы: кандидата физико-математических наук, Овчинников, Павел Евгеньевич

Используемые сокращения.

Содержание.

Введение.

Глава 1. Применение ИНС в задачах обработки сигналов (литературный обзор).

1.1. ИНС, основные понятия.

1.1.1. Узлы искусственных нейронных сетей.

1.1.2. Топологии нейронных сетей.

1.2. Классификация образов при помощи ИНС.

1.2.1. Вероятностные классификаторы.

1.2.2. Гиперплоскостные классификаторы (Hyperplane Classifiers).

1.2.2.1. Сеть прямого распространения (многослойный персептрон).

1.2.2.1.1. Обучение.

1.2.2.2. Классифицирующие деревья.

1.2.2.3. Сети высокого порядка.

1.2.3. Ядерные классификаторы (Kernel Classifiers).

1.2.3.1. Классификаторы с радиальными базисными функциями.

1.2.4. Классификаторы по образцу.

1.2.4.1. Карты признаков.

1.2.4.2. Обучающиеся векторные квантователи.

1.2.4.3. Гиперсферные классификаторы.

1.2.5. Выбор классификатора.

Введение диссертация по физике, на тему "Методы обнаружения и детектирования сигналов с априорно неизвестными статистическими свойствами с применением искусственных нейронных сетей"

Начиная с ранних работ Винера по адаптивным фильтрам [1] для определения параметров адаптивных систем обработки сигналов, включая искусственные нейронные сети (ИНС), в качестве критерия оптимальности почти исключительно использовалась среднеквадратическая ошибка. Основаниями для этого были, прежде всего, аналитическая простота и предположение о соответствии большинства случайных процессов в природе распределению Гаусса. Гауссово распределение вероятностей полностью описывается статистиками первого и второго порядка. Следовательно, в предположении гауссовости среднеквадратичной ошибки достаточно для извлечения из набора данных, полностью описываемых средним и дисперсией, всей возможной информации. В то же время не для всех процессов описание может быть ограничено статистиками второго порядка, поэтому велись и ведутся разработки алгоритмов, не ограничивающихся гауссовой моделью. Одним из направлений исследований в данной области является применение ИНС для обработки сигналов. Понятие нейронной сети было формализовано Маккалоком и Питтсом [2]. Хебб предложил модель человеческого обучения, ставшую основой методов обучения ИНС (правила Хебба) [3]. Затем Розенблатом была предложена однослойная сеть — персептрон, которая легла в основу большинства нейросетевых методов [4]. Хопфилд предложил ИНС для вычислительно эффективной минимизации квадратичной нормы при распознавании образов [5], Кохонен разработал сеть для кластеризации многомерных данных. Однако наибольшее распространение ИНС получили как универсальные аппроксиматоры функций многих переменных. Теоретическим основанием применения ИНС для аппроксимации функций многих переменных является работа А.Н. Колмогорова [6]. На практике ИНС стали широко применяться в этой области после создания группой авторов алгоритма обратного распространения ошибки для обучения многослойных сетей [7]. Среди отечественных учёных, развивающих теорию ИНС, А.И. Галушкин [8], А.Н. Горбань, B.J1. Дунин-Барковский [9]. Применение ИНС в задачах обработки сигналов позволяет отказаться от предположений линейности, стационарности и гауссовости. В частности это достигается благодаря использованию при обучении информационных критериев, основанных на понятии энтропии. Понятие энтропии распределения вероятностей введено Шенноном [10] и представляет собой скалярную величину, отражающую количество информации, содержащееся в распределении. Энтропия по определению относится ко всему распределению, а не к выделенным статистикам.

ИНС не содержат качественных ограничений на модель процесса, присущих традиционным методам обработки сигналов. ИНС — это параллельная и распределённая система обработки информации, состоящая из простых вычислительных элементов: искусственных нейронов, соединённых связями друг с другом и с входами и выходами сети. При распространении сигналов по сети значение сигнала, передаваемого от нейрона к нейрону, умножается на весовой коэффициент, отдельный для каждой связи. Значения весовых коэффициентов определяются из набора экспериментальных данных, эту процедуру называют обучением. Модель процесса, соответствующая экспериментальным данным, формируется при обучении ИНС.

В свете сказанного выше целью настоящей диссертационной работы является разработка методов обработки сигналов в отсутствии предположений о моделях процессов, порождающих сигналы, с применением искусственных нейронных сетей. При построении системы обработки сигналов на базе ИНС необходимо выбрать структуру сети, определить способ параметризации сигналов и обучить сеть с помощью алгоритма, позволяющего максимально использовать информацию, содержащуюся в данных эксперимента. Решению этих вопросов посвящена работа. В работе предлагаются нейросетевые методы решения задач распознавания фонем (в рамках общей задачи распознавания речи), детектирования сигналов с угловой модуляцией, обнаружения модулированных сигналов.

Актуальность работы. Задача распознавания речи имеет большое значение для человеко-машинного взаимодействия. Прежде всего, распознавание речи используется для ввода информации в компьютеры. Постоянно растёт круг устройств с голосовым управлением: компьютеры, телефоны, бытовая техника.

Благодаря высокой помехоустойчивости и эффективному использованию спектральной полосы всё более широкое применение в системах цифровой связи находят различные виды угловой модуляции: прежде всего это фазовая и частотная манипуляция с малым числом уровней фаз и частот соответственно. При этом стандартные алгоритмы детектирования ведут себя неустойчиво в условиях высоких уровней шумов и нестабильности параметров канала передачи. В частности, такая ситуация возникает в спутниковых системах связи. Высокий уровень шумов обуславливается большими расстояниями между источниками и приёмниками и тем, что не всегда возможна работа в главном лепестке диаграммы направленности антенной системы. Орбитальное движение приводит к переменному эффекту Доплера, выражающемуся в смещении несущей частоты и масштабировании спектра. Построение и реализация оптимальных методов обнаружения и детектирования модулированных сигналов затрудняются тем, что статистические свойства шумов и величина доплеровского сдвига непостоянны. Применение ИНС в составе системы обработки сигналов позволяет путём обучения ИНС в текущих условиях приёма формировать локальные по времени модели сигнала и шума и строить адаптивные методы обнаружения и детектирования.

Научная и практическая ценность. Традиционные методы распознавания речи требуют сегментации речевого сигнала как в процессе настройки системы (при обучении), так и при распознавании. Это относится как к акустически-фонетическому подходу к распознаванию речи, так и к методам распознавания по образцу [11]. При использовании первого подхода выделяются отрезки сигнала с постоянными характеристиками, а при использовании второго подхода сигнал сегментируется эквидистантно для последующей (при обучении - ручной) пометки сегментов. Ручные сегментация и пометка являются рутинными, трудозатратными процедурами, кроме того ошибки оператора при выполнении этих процедур негативно сказываются на работе конечной системы распознавания речи. В диссертационной работе предложен метод обучения ИНС для распознавания фонем без ручных процедур сегментации и пометки сигналов.

Традиционные методы детектирования сигналов с угловой модуляцией требуют точного знания значения несущей частоты или введения в систему схем автоподстройки. При детектировании фазоманипулированных сигналов из-за накопления ошибки возможен переход системы в режим «обратной работы», при таком переходе происходит смена полярности детектируемых символов. Традиционные методы обнаружения и детектирования опираются на статистические характеристики шума, которые непостоянны или совсем неизвестны в ряде практических задач. Предлагаемые в диссертационной работе методы обнаружения и детектирования обладают устойчивостью к небольшим изменениям несущей частоты и не требуют задания модели шума, т.к. обучаются на примерах сигналов, содержащих шум эфира и искажения, связанные с переменной несущей частотой.

Научная новизна работы. Для решения задачи автоматического распознавания речи в диссертационной работе предложен метод обучения нейронной сети, позволяющий обучать систему детектирования фонем без ручного сегментирования и пометки образцов речи. В отличие от традиционных методов предлагаемый метод не вносит в систему ложной информации, связанной с неточной сегментацией.

Апробация работы. Основные результаты диссертационной работы докладывались и обсуждались:

• на 14-ой Международной конференции по нейрокибернетике, Ростов-на-Дону, 2005 г;

• на V международной научно-технической конференции «Электроника и информатика - 2005», Зеленоград, МИЭТ, 2005;

• на VIII, IX, X всероссийских научно-технических конференциях «Нейроинформатика», Москва, МИФИ, 2006, 2007, 2008 гг;

• на IV международной конференции "Signal Processing Pattern Recognition and Applications", Австрия, 2007;

• на IX, X международных конференциях «Цифровая обработка сигналов и ее применение». Москва, ИЛУ РАН, 2007, 2008 гг;

• на X, XI научных конференциях по радиофизике. Нижний Новгород, РФ ННГУ, 2006, 2007 гг;

• на международном симпозиуме "International Symposium on Communications, Control and Signal Processing", Мальта, 2008 г.; и опубликованы в статьях:

• в журнале "Optical Memory & Neural Networks (Information Optics)", 2005 г.;

• в журнале «Вестник Нижегородского университета им. Н.И. Лобачевского. Серия Радиофизика», 2005 г.;

• в журнале «Известия ВУЗов. Радиофизика», 2007 г.;

• в журнале «Радиотехника и электроника», 2007 г.;

• в журнале «Вестник Нижегородского университета им. Н.И. Лобачевского», 2007 г.

Основные положения, представляемые к защите:

• Метод детектирования фонем с использованием ИНС, не требующий сегментирования речевых сигналов.

Содержание работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка использованных литературных источников и приложения.

Заключение диссертации по теме "Радиофизика"

Основные результаты диссертационного исследования заключены в следующем:

Заключение

Список источников диссертации и автореферата по физике, кандидата физико-математических наук, Овчинников, Павел Евгеньевич, Нижний Новгород

1. Wiener N., "Extrapolation, 1.terpolation, and Smoothing of Stationary Time Series with Engineering Applications" Cambridge, MA: MIT Press, 1949, 163 P-

2. McCulloch W., Pitts W, "A logical calculus of ideas imminent in nervous activity," Bulletin of Mathematical Biophysics, vol. 5, pp. 115-133, 1943.

3. Hebb D.O, "The Organization of Behavior: A neuropsychological theory." New York: Wiley, 1949.

4. Розенблат Ф. «Принципы нейродинамики: Персептрон и теория механизмов мозга», пер. с англ. -М.: Мир, 1965, 175 с.

5. Hopfield J.J., "Neural Networks and Physical Systems with Emergent Collective Computational Abilities", Proceedings of the National Academy of Sciences of the United States of America, vol. 79, April 1982, pp. 2554-2558.

6. Колмогоров A.H., «О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения» Докл. АН СССР, т. 114, н. 5, 1957, с. 953-956.

7. Rumelhart D.E., Hinton G.E., and Williams R.J., "Learning internal representations by error propagation," In Parallel distributed processing, vol. 1, pp. 318-362, Cambridge, MA: MIT Press, 1986.

8. Галушкин A.M., «Синтез многослойных систем распознавания образов». М.: Энергия, 1974, 368 с.

9. Горбань А.Н., Дунин-Барковский В.Л., Миркес Е.М. и др., «Нейроинформатика». Новосибирск: Наука. Сиб. предприятие РАН, 1998, 296 с.

10. Shannon С.Е., "A mathematical theory of communications," Bell System Technical Journal, vol. 27, pp. 379-423, 623-656, 1948.

11. Rabiner N., Juang L.Y., Fundamentals of Speech Recognition. Prentice Hall PTR, 2001.

12. Lippmann R. P., "An Introduction to Computing with Neural Nets," IEEE ASSP Mag, vol. 4 (2). pp. 4-22, Apr. 1987.

13. Головко В.А, «Нейронные сети: обучение, организация и применение.» -М.: ИПРЖР, 2001,256 с.

14. Kohonen Т, "Self-organizing maps," 3. ed. Berlin; Heidelberg; New York; Barcelona; Hong Kong; London; Milan; Paris; Singapore; Tokyo: Springer, 2001, 501 p.

15. Kung S.-Y, Taur J., Lin S.-H, "Synergistic Modeling and Applications of Hierarchical Fuzzy Neural Networks," Proceedings of the IEEE, vol. 87, no. 9, September 1999, pp. 1551-1574.

16. Моррис У, «Наука об управлении. Байесовский подход.» М.: Мир, 1971.

17. Ackley D.H, Hinton G.E, Sejnowski T.J, "A Learning Algorithm for Вoltzmann Machines," Cognitive Science, vol. 9, pp. 147-160, 1985.

18. Breiman L., Friedman J.H., Olshen R.A., Stone C.J., "Classification and Regression Trees," Wadsworth International Group, Belmont, CA, 1984.

19. Giles C.L., Maxwell Т., "Learning, Invariance, and Generalization in High-Order Networks," Applied Optics, vol. 26, pp. 4972-4978, Dec. 1987.

20. Farlow S., "Self-Organizing Methods in Modeling," Marcel Dekker, 1984.

21. Hampshire J., Pearlmutter В., "Equivalence Proofs for Multi-Layer Perceptron Classifiers and the Bayesian Discriminant Function," Proc. of the 1990 Connectionist Models Summer School, San Mateo, CA: Morgan Kaufmann Publishers, 1990, p. 1.

22. Нейрокомпьютеры в системах обработки сигналов. / Под ред. Гуляева Ю.В. и Галушкина А.И. М: Радиотехника, 2003.

23. Cybenko G., "Approximation by Superpositions of a Sigmoidal Function," Mathematics of Control, Signals and Systems, v.2, 1989, pp. 303-314.

24. Pierce S.G., Ben-Haim Y., Worden K., Manson G., "Evaluation of Neural Network Robust Reliability Using Information-Gap Theory," IEEE Transactions on Neural Networks, vol. 17, no. 6, November 2006, pp. 13491361.

25. Teoh E.J., Tan K.C., Xiang C., "Estimating the Number of Hidden Neurons in a Feedforward Network Using the Singular Value Decomposition," IEEE Transactions on Neural Networks, vol. 17, no. 6, September 2006, pp. 16231629.

26. Fukumizu K., "Statistical Active Learning in Multilayer Perceptrons," IEEE Transactions on Neural Networks, vol. 11, no. 1, January 2000, pp. 17-26.

27. Царегородцев В.Г., «Извлечение знаний из обучаемых нейронных сетей». Нейроинформатика и ее приложения: Тез. докл. 6-го Всероссийского семршара. Красноярск, 1999, с. 150-151.

28. Lu Н.; Setiono R., Liu Н., "Effective data mining using neural networks," IEEE Transactions on Knowledge and Data Engineering, vol. 8, no 6, December 1996, pp. 957-961.

29. Yao X., "Evolving Artificial Neural Networks," Proceedings of the IEEE, vol. 87, no. 9, September 1999, 1423-1447.

30. Хомич A.B., Жуков JI.A., «Метод эволюционной оптимизации и его приложение к задаче синтеза искусственных нейронных сетей», Нейрокомпьютеры: разработка, применение М.Радиотехника, № 12, 2004 г, с. 3-15.

31. Man Z., Wu Н. R., Liu S., Yu X., "A New Adaptive Backpropagation Algorithm Based on Lyapunov Stability Theory for Neural Networks," IEEE Transactions on Neural Networks, vol. 17, no. 6, November 2006, 1580-1591.

32. Riedmiller M., Braun H., "A direct adaptive method for faster backpropagation learning: The rprop algorithm," Proc. of IEEE International Conference on Neural Networks, 1993.

33. Осовский С., «Нейронные сети для обработки информации». Пер. с польского И.Д.Рудинского. -М.:Финансы и статистика, 2002, 344 с.

34. Yam J.Y.F., Chow T.W.S., "Feedforward Networks Training Speed Enhancement by Optimal Initialization of the Synaptic Coefficients," IEEE Transactions on Neural Networks, vol. 12, no. 2, March 2001, pp. 430-434.

35. Liang N.-Y., Huang G.-B., Saratchandran P., Sundararajan N., "A Fast and Accurate Online Sequential Learning Algorithm for Feedforward Networks," IEEE Transactions on Neural Networks, vol. 17, no. 6, November 2006, pp. 1411-1423.

36. Ludermir T.B., Yamazaki A., Zanchettin C., "An Optimization Methodology for Neural Network Weights and Architectures," IEEE Transactions on Neural Networks, vol. 17, no. 6, November 2006, pp. 1452-1459.

37. Behera L., Kumar S., Patnaik A., "On Adaptive Learning Rate That Guarantees Convergence in Feedforward Networks," IEEE Transactions on Neural Networks, vol. 17, no. 5, September 2006, pp. 1116-1125.

38. Zhang N., Wu W., Zheng G., "Convergence of Gradient Method with Momentum for Two-Layer Feedforward Neural Networks," IEEE Transactions on Neural Networks, vol. 17, no. 2, September 2006, pp. 522-525.

39. Joost M., Schiffmann W., "Speeding up backpropagation algorithms by using cross-entropy combined with pattern normalization," International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems (IJUFKS), vol. 6, no. 2, pp. 117-126, 1998.

40. Erdogmus D., Principe J.C., "An Error-Entropy Minimization Algorithm for Supervised Training of Nonlinear Adaptive Systems," IEEE Transactions on Signal Processing, vol. 50, no. 7, July 2002, pp. 1780-1786.

41. Ozertem U., Erdogmus D., "Supervised Neural Network Training Using the Minimum Error Entropy Criterion with Variable-Size and Finite-Support Kernel Estimates," IEEE Workshop on Machine Learning for Signal Processing, 28-28 Sept. 2005, pp. 67-72.

42. Erdogmus D., Principe J.C., "Generalized Information Potential Criterion for Adaptive System Training," IEEE Transactions on Neural Networks, vol. 13, no. 5, September 2002, pp. 1035-1044.

43. Bartlett P.L., "The Sample Complexity of Pattern Classification with Neural Networks: The Size of the Weights is More Important than the Size of the

44. Network," IEEE Transactions on Information Theory, vol. 44, no. 2, March 1998, pp. 525-536.

45. Leung C.-S., Tsoi A.-C., Chan L.W., "Two Regularizers for Recursive Least Squared Algorithms in Feedforward Multilayered Neural Networks," IEEE Transactions on Neural Networks, vol. 12, no. 6, November 2001, pp. 13141332.

46. Xu Y., Wong K.-W., Leung C.-S., "Generalized RLS Approach to the Training of Neural Networks," IEEE Transactions on Neural Networks, vol. 17, no. 1, January 2006, pp. 19-34.

47. Drucker H., LeCun Y., "Improving generalization performance using double backpropagation," IEEE Transactions on Neural Networks, 1992, vol. 3, pp. 991-997.

48. Bishop C., "Training with noise is equivalent to Tikhonov regularization," Neural Comput., vol. 7, no. 1, pp. 108-116, 1995.

49. Aires F., Schmitt M., Chedin A., Scott N., "The "Weight Smoothing" Regularization of MLP for Jacobian Stabilization," IEEE Transactions on Neural Networks, vol. 10, no. 6, November 1999, pp. 1502-1510.

50. Girossi F., Jones M., Poggio Т., "Regularization theory and neural networks architectures," Neural Comput., vol. 7, pp. 219-269, 1995.

51. Bishop C., "Curvature-driven smoothing: A learning algorithm for feedforward networks," IEEE Transactions on Neural Networks, 1993, vol. 4, pp. 882-884.

52. Safavian S.R., Landgrebe D., "A survey of decision tree classifier methodology," IEEE Trans. Syst., Man, Cybern., vol. 21, no. 3, pp. 660-674, 1991.

53. Sethi I. K., "Entropy Nets: From Decision Trees to Neural Networks," Proceedings of the IEEE, vol. 78, no. 10, October 1990, 1605-1613.

54. Rojer A., Schwartz E., "A Multiple-Map Model for Pattern Classification," Neural Computation, vol. 1(1), pp. 104-115, 1989.

55. Lippmann R.P., "Pattern Classification Using Neural Networks," IEEE Communications Magazine, November 1989, pp. 47-50, 59-64.

56. Tenorio M.F., Lee W.T., "Self Organizing Neural Networks for the Identification Problem," Advances in Neurallnformation Processing Systems I , D. S. Touretzky, ed., pp. 57-64, San Mateo, CA: Morgan Kauffman, 1989.

57. Hand D.J., ed., "Kernel Discriminant Analysis," John Wiley and Sons Ltd., New York, NY, 1982.

58. Miller W.T. Ill, Glanz F.H., Kraft L.G. Ill, "CMAC: An Associative Neural Network Alternative to Backpropagation," Proceedings of the IEEE, vol. 78, no. 10, October 1990 pp. 1561-1567.

59. Тархов Д.А., «Нейронные сети. Модели и алгоритмы.» Кн. 18 — М.: Радиотехника, 2005. 256 с.

60. Muller K.-R., Mika S., Ratsch G., Tsuda K., Scholkopf В., "An Introduction to Kernel-Based Learning Algorithms," IEEE Transactions on Neural Networks, vol. 12, no. 2, March 2001, pp. 181-201.

61. Хайкин С., «Нейронные сети: полный курс», 2-е издание. Пер. с англ. -М.: Издательский дом «Вильяме», 2006, 1104 с.

62. Haykin S., "Neural Networks: A Comprehensive Foundation". New York: MacMillan, 1994.

63. Omohundro S.M., "Efficient Algorithms with Neural Network Behavior," Complex Systems, vol. 1, pp. 273-347, 1987.

64. Holmstrom L., Koistinen P., Laaksonen J., Oja E., "Neural and statistical classifiers-taxonomy and two case studies," IEEE Transactions on Neural Networks, vol. 8 , no. 1, January 1997, pp 5-17.

65. Huang W.M., Lippmann R.P., "Neural Net and Traditional Classifiers," Neural Info. Processing Syst., Anderson D., ed., pp. 387-396, NY: American Institute of Physics, 1988.

66. Olmez Т., "Classification of EEG waveforms by using RCE neural networks and genetic algorithms," Electron. Lett., vol. 33, no. 18, pp. 1561-1562, 1997.

67. Stanfill C, Waltz D., "Toward Memory-Based Reasoning," Commun. of the ACM, vol. 29(12), pp. 1213-1228, Dec. 1986.

68. Wolpert D., "Alternative Generalizers to Neural Nets," Neural Networks, vol. 1, supp. 1, p. 474, Adstracts of 1st Annual INNS Meeting, Boston, 1988.

69. Garth L.M., Poor H.V., "Detection of Non-Gaussian Signals: A Paradigm for Modern Statistical Signal Processing," Proceedings of the IEEE, vol. 82, no. 7, July 1994, pp. 1061-1095.

70. Окунев Ю.Б., «Цифровая передача информации фазомодулированными сигналами», М.: Радио и связь, 1991, 296 с.

71. Скляр Б., «Цифровая связь. Теоретические основы и практическое применение». Издание второе, испровленное, М.: Издательский дом «Вильяме», 2003, 1104 с.

72. Прокис Дж., «Цифровая связь». Пер. с англ. / Под ред. Д.Д. Кловского. -М.: Радио и связь. 2000, 800 с.

73. Glaser Е.М., "Signal detection by adaptive filters," IRE Trans. Inform. Theory, vol. IT-7, July 1960, pp. 87-98.

74. Weber C., Alem W., "Demod-Remod Coherent Tracking Receiver for QPSK and SQPSK," IEEE Transactions on Communications, vol. 28, no. 12, December 1980, pp. 1945-1954.

75. Simon M.K., "Tracking Performance of Costas Loops with Hard-Limited In Phase Channel," IEEE Transactions on Communications, vol. 26, no, 4, April 1978, pp. 420-432.

76. Haykin S., Thomson D.J., "Signal Detection in a Nonstationary Environment Reformulated as an Adaptive Pattern Classification Problem," Proceedings of the IEEE, vol. 86, no. 11, November 1998, 2325-2344.

77. Haykin S., "Adaptive Filter Theory," Third Edition, Prentice-Hall, 1996, 989 P

78. Lo J.Т., Bassu D., "Adaptive Multilayer Perceptrons With Long- and Short-Term Memories," IEEE Transactions On Neural Networks, vol. 13, no. 1, January 2002.

79. Haykin S., "Neural networks expand SP's horizons," IEEE Signal Processing Magazine, March 1996, vol. 13, no. 2, pp. 24-49.

80. Haykin S., Yee P., Derbez E., "Optimum nonlinear filtering," IEEE Transactions on Signal Processing, vol. 45, no. 11, November 1997, pp. 27742786.

81. Feldkamp L.A., Puskorius G.V., "A Signal Processing Framework Based on Dynamic Neural Networks with Application to Problems in Adaptation, Filtering, and Classification," Proceedings of the IEEE, vol. 86, no. 11, November 1998, 2259-2277.

82. Friedman J.H., Hastie Т., Tibshirani R., "The Elements of Statistical Learning," 1st ed., Springer, 2001, 533 p.

83. Литвинов O.C., Зимина C.B. «Исследование характеристик алгоритма Хэбба в задачах обработки радиосигналов», Успехи современной радиоэлектроники, № 6, 2006, с. 23-27.

84. Lippmann R.P., Bakman P., "Adaptive neural net preprocessing for signal detection in non-Gaussian noise," Adv. Neural Inform. Processing Syst., vol. l,pp. 124—132,1989.

85. Wilson E., Umesh S., Tufts D.W., "Multistage neural network structure for transient detection and feature extraction," Proceedings of IEEE Int. Conf. Acoustics, Speech, and Signal Processing, 1993, pp. 489-492.

86. Luo F.-L., Unbehauen R., "Applied Neural Networks for Signal Processing". Cambridge, UK: Cambridge Univ., 1999, 382 p.

87. Sandberg I.W., Xu L., "Uniform approximation of multidimensional myopic maps," IEEE Transactions on Circuits Systems, vol. 44, no.6, June 1997, pp. 477-485.

88. Wan E., "Temporal backpropagation for FIR neural networks," Proc. IEEE Int. Joint Conf. Neural Networks, vol. 1, 1990, pp. 575-580.

89. Feldkamp L.A., Puskorius G.V., Moore P.C., "Adaptive behavior for fixed weight networks," Information Sciences, vol. 98, 1997, pp. 217-235.

90. Малыхина Г.Ф., Меркушева A.B. «Совместное использование нейронной сети и вейвлет-преобразования при анализе нестационарного сигнала», Информационные технологии, №7, 2008.

91. Suzuki Y., Itakura K.-I., Saga S., Maeda J., "Signal Processing and Pattern Recognition with Soft Computing," Proceedings of the IEEE, vol. 89, no. 9, September 2001, pp. 1297-1317.

92. Сеник B.B., Смирнов A.A., Червяков Н.И. «Синтез схем цифровой обработки сигналов на основе обучения нейросетевых схем»,

93. Нейрокомпьютеры: разработка и применение М.Радиотехника, №5-6, 2004, с. 91-94.

94. Lo J.T, Yu L, "Recursive Neural Filters and Dynamical Range Transformers," Proceedings of the IEEE, vol. 92, no. 3, March 2004, pp. 514535.

95. Sweatman C.Z.W.H, Mulgrew B, Gibson G.J, "Two Algorithms for Neural-Network Design and Training with Application to Channel Equalization," IEEE Transactions on Neural Networks, vol. 9, no. 3, May 1998, pp. 533-543.

96. Chuah T.C, Sharif B.S, Hinton O.R, "Robust Adaptive Spread-Spectrum Receiver with Neural-Net Preprocessing in Non-Gaussian Noise," IEEE Transactions on Neural Networks, vol. 12, no. 3, May 2001, pp. 546-558.

97. Джанг X, Квак K.C, «Применение рекуррентных нейронных сетей в адаптивном выравнивании каналов связи», Радиотехника, №3, 2003, с. 20-31.

98. Wang X, Lu J, Sekiya H, Yahagi T, "A Compensating Method Based on SOM for Nonlinear Distortion in 16 QAM-OFDM System," IEEE International Conference on Multimedia and Expo, 2004, June 2004, pp. 18991902 (vol.3).

99. Park D.; Jeong T.J, "Complex-Bilinear Recurrent Neural Network for Equalization of a Digital Satellite Channel," IEEE Transactions on Neural Networks, 13, 2002, pp. 711-725.

100. Choi J, Bouchard M, Yeap Т. H, "Decision Feedback Recurrent Neural Equalization with Fast Convergence Rate," IEEE Transactions on Neural Networks, vol. 16, no. 3, May 2005, 699-708.

101. Choi J, Lima A.C. de C, Haykin S, "Kalman Filter-Trained Recurrent Neural Equalizers for Time-Varying Channels," IEEE Transactions on Communications, vol. 53, no. 3, March 2005, pp. 472-480.

102. Самой л ин E.A. «Нейросетевые алгоритмы помехоустойчивого восстановления информационных процессов в приемных устройствах систем цифровой радиосвязи», Нейрокомпьютеры: разработка и применение-М.Радиотехника, № 1-2, 2008, с. 51-56.

103. ЮЗ.Картамышев А.В, Малыхина Г.В. «Методика удаления шума в измерителе параметров эталонных излучателей», Нейрокомпьютеры: разработка и применение М.Радиотехника, № 6, 2007, с. 54-60.

104. Ко Н, Jacyna G.M, "Dynamical Behavior of Autoassociative Memory Performing Novelty Filtering for Signal Enhancement," IEEE Transactions on Neural Networks, vol. 11, no. 5, September 2000, pp. 1152-1161.

105. Aiello A, Grimaldi D, "Frequency Error Measurement in GMSK Signals in a Multipath Propagation Environment", IEEE Transactions on Instrumentation and Measurement, vol. 52, no. 3, June 2003, pp. 938-945.

106. Hirose A, Nagashima T, "Predictive Self-Organizing Map for Vector Quantization of Migratory Signals and Its Application to Mobile

107. Communications," IEEE Transactions on Neural Networks, vol. 14, no. 6, November 2003, pp. 1532-1539.

108. Yang C.-Q., Zhong Z.-F., Yang J.-A., "Recognition of digital modulation using Radial Basis Function neural networks," Proceedings of International Conference on Machine Learning and Cybernetics, November 2003, pp. 30123015 (vol.5).

109. Wong M.L.D., Nandi A.K., "Automatic digital modulation recognition using spectral and statistical features with multi-layer perceptrons," Sixth International, Symposium on Signal Processing and its Applications, August 2001 pp. 390-393 (vol.2).

110. Wu Y., Ge L., Liu F., "Comprehensive features based digital modulation identification using a neural tree network," Proceedings of International Conference on Communications, Circuits and Systems, May 2005, pp. 748752.

111. O.Kim N., Kehtamavaz N., Yeary M.B., Thornton S., "DSP-Based Hierarchical Neural Network Modulation Signal Classification," IEEE Transactions on Neural Networks, 14, 2003, 1065-1071.

112. I.Provence J.D., "Implementation for an Adaptive Maximum-Likelihood Receiver," IEEE International Symposium on Circuits and Systems, June 1988, pp. 2381-2385 (vol.3).

113. Saha D.S., Birdsall T.G., "Quadrature-Quadrature Phase-Shift Keying," IEEE Transactions on Communications, vol. 31, no. 5, May 1989, pp. 437-448.

114. Feiz S., Soliman S.S., "Adaptive ML Neural Network Based Receiver for Q2PSK Modulated Data-Transmission Systems," IEEE 39th Vehicular Technology Conference, 1989, pp. 263-269.

115. Перов А.И., Соколов Г.Г. «Особенности синтеза устройств обнаружения и оценки параметров сигналов нейросетевыми методами», Радиотехника, №7, 2001, с. 22-29.

116. Ко К., Choi S., Kang С., Hong D., "RBF Multiuser Detector with Channel Estimation Capability in a Synchronous MC-CDMA System," IEEE Transactions on Neural Networks, vol. 12, no. 6, November 2001, pp. 15361539.

117. Shayesteh M.G., Amindavar H., "Multiuser detection in DS/CDMA systems using neural networks", IEEE Seventh International Symposium on Spread Spectrum Techniques and Applications, 2-5 Sept. 2002, pp. 506-510 (vol.2).

118. Matyjas J.D., Psaromiligkos I.N., Batalama S.N., Medley M.J., "Fast Converging Minimum Probability of Error Neural Network Receivers for DS-CDMA Communications," IEEE Transactions on Neural Networks, vol. 15, no. 2, March 2004, pp. 445-454.

119. Gandhi P.P., Ramamurti V., "Neural networks for signal detection in non-Gaussian noise," IEEE Transactions on Signal Processing, vol. 45, no. 11, November 1997, pp. 2846-2851.

120. Fernandes M.A.C., Neto A.D.D., Bezerra J.B., "A neural network model applied to the detection of digital signals," Telecommunications Symposium, 1998. ITS '98 Proceedings. SBT/IEEE International, Aug. 1998, vol.1, pp. 279-283.

121. LeCun Y., Bengio Y., "Convolution networks for images, speech, and time series," in The Handbook of Brain Theory and Neural Networks, M. A. Arbib, Ed. Cambridge, MA: MIT, 1995.

122. Haykin S., Bhattacharya Т.К., "Modular learning strategy for signal detection in a nonstationary environment," IEEE Transactions on Signal Processing, vol. 45, June 1997, pp. 1619-1637.

123. Данилин C.H., Пантелеев C.B., Кузякина Н.Ю., «Определение оптимальной разрядности устройств с нейросетевой архитектурой при обработке цифровых радиосигналов», Радиотехника, № 11, 2006, с. 72-74.

124. Leung Н., Hennessey G., Drosopoulos A., "Signal Detection Using the Radial Basis Function Coupled Map Lattice," IEEE Transactions on Neural Networks, vol. 11, no. 5, September 2000, pp. 1133-1151.

125. Митрофанов Д.Г., Сафонов A.B., Прохоркин А.Г., «Моделирование задачи распознавания целей по их радиолокационным изображениям нейросетевым способом», Радиотехника, №2, 2007, с. 3-9.

126. Головачёв Д.А., Умнов A.JL, Яшнов В.А., «Применение нейронных АРТ-сетей для интерпретации данных нелинейной радиоволновой локации», Труды Научной конференции по радиофизике, Нижний Новгород: ННГУ, 2003, с. 34-35.

127. Tebelskis J., "Speech Recognition using Neural Networks," School of Computer Science Carnegie Mellon University Pittsburgh, Pennsylvania, 1995, 180 p.

128. Makino S., Endo M., Sone Т., Kido K., "Continuous speech recognition with modified learning vector quantization algorithm and two-level DP-matching," IEEE International Conference on Acoustics, Speech, and Signal Processing, 1992, vol.1, pp. 597-600.

129. Nakamura S., Sawai H., Sugiyama M., "Speaker-Independent Phoneme Recognition Using Large-scale Neural Networks," IEEE International Conference on Acoustics, Speech, and Signal Processing, 1992, vol.1, pp. 409412.

130. Waibel A., Hanazawa Т., Hinton G., Shikano K., Lang K., "Phoneme Recognition Using Time-Delay Neural Networks," IEEE Transactions on Acoustics, Speech, and Signal Processing, vol. 37 no. 3, March 1989.

131. Харламов A.A., Кнеллер Э.Г., «Распознавание ключевых слов в потоке слитной речи на основе нейросетевых технологий», Нейрокомпьютеры: разработка и применение-М.Радиотехника, № 8-9, 2005, с. 88-97.

132. Becchetti С., Ricotti L.R., Speech Recognition Theory and C++ Implementation. John Wiley & Sons Ltd, 1999.

133. Makhoul J., "Spectral Linear Prediction: Properties and Applications," IEEE Transactions on acoustics, speech, and signal processing, June 1975, v. ASSP-23, no. 3, pp. 283-296.

134. Слуховая система, ред. Альтман Я.А., Л.:Наука, 1990, 620 с.

135. Овчинников П.Е., «Разработка классификатора звуков на базе нейронной сети», Научная студенческая конференция физического факультета ННГУ: Тез. докл., Нижний Новгород: Нижегородский университет им. Н.И. Лобачевского, 2004, с. 13.

136. Bogert В., Healy М., Tukey J., "The Quefrency Alanysis of Time Series for Echoes," Proceedings of the Symposium on Time Series Analysis, Rosenblatt, Ed., J. Wiley, New York, 1963, Ch. 15, pp. 209-243.

137. Рабинер Л.Р., Шафер P.B., «Цифровая обработка речевых сигналов», М.: Радио и связь, 1981, 495 с.

138. Цифровая обработка телевизионных и компьютерных изображений. Под ред. Ю. Б. Зубарева, Дворковича В.П., М.: Международный центр научной и технической информации, 1997, 212 с.

139. НО.Дремин И.М., Иванов О.В., Нечитайло В.А., «Вейвлеты и их использование», Успехи физических наук, 2001, № 5, т. 171, с. 465-501.

140. Veelenturf L.P.J., "Analysis and Applications of Artificial Neural Networks," Prentice Hall, 1995, 259 p.

141. Овчинников П.Е., Сёмин Ю.А., «Влияние способа параметризации звукового сигнала на эффективность распознавания фонем персептроном», Известия ВУЗов. Радиофизика, Нижний Новгород, 2007,. Том L, № 4, стр. 350-356.

142. Овчинников П.Е., «Сравнение методов параметризации речевых сигналов для задачи распознавания фонем», (Десятая) Научная конференция по радиофизике, посвященная 90-летию ННГУ и 100-летию со дня рождения Г.С. Горелика. Труды конференции, 2006.

143. Furui S., "Digital Speech Processing, Synthesis and Recognition", 2nd Edition, Revised and Expanded, New York: Marcel Dekker, 2001, 452 p.

144. Системы фазовой синхронизации с элементами дискретизации / Под ред. Шахгильдяна В.В. М.: Радио и связь. 1989, 320 с.

145. Морозов О. А., Овчинников П.Е., «Метод декодирования фазоманипулированных сигналов по комплексной огибающей на основе искусственной нейронной сети», Радиотехника и электроника, 2007, том 52, № 11, с. 1371-1375.

146. Gupta М.М., Jin L., Homma N., Static and Dynamic Neural Networks. Hoboken: John Wiley & Sons, 2003, 722 p.

147. Морозов О.А., Овчинников П.Е., «Применение искусственной нейронной сети для декодирования ФМ-сигналов», Электроника и информатика — 2005. Тезисы доклада V Межд. Науч.-техн. конф., МИЭТ, Зеленоград, 2005, ч.2, с. 19.

148. Морозов О. А., Овчинников П.Е., Сёмин Ю.А, «Детектирование фазоманипулированного сигнала с применением искусственнойнейронной сети», Вестник ННГУ. Радиофизика. Выпуск 1(3), 2005, с. 143-147.

149. Морозов O.A., Овчинников П.Е., Сёмин Ю.А., «Нейросетевое детектирование фазоманипулированного сигнала по фазовой линии», Вестник Нижегородского университета им. Н.И. Лобачевского, 2007, № 3, с. 67-70.

150. Morozov О., Ovchinnikov P., "Neural Network Detection and Decoding of PSK Signals", Proceedings of the 3rd International Symposium on Communications, Control and Signal Processing (ISCCSP 2008), pp. 292-294, ISBN: 978-1-4244-1688-2.

151. Freeman J.A., Skapura D.M., "Neural networks: algorithms, applications, and programming techniques," Addison-Wesley Publishing Company, 1991, 401 P

152. Овчинников П.Е., Сёмин Ю.А., «Ускорение обучения многослойного персептрона в задаче классификации фонем», Проблемы нейрокибернетики (материалы 14-ой Международной конференции по нейрокибернетике), Ростов-на-Дону, 2005, т. 2. с. 128-132.