Элементы алгебраической теории синтеза обучаемых алгоритмов выделения трендов тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

Оглавление.

Введение.

Глава 1. Формализация, разрешимость и регулярность задач синтеза обучаемых алгоритмов выделения трендов.

1.1. Конфигурации и разметки.

1.2. Аксиомы (правила) разметки.

1.3. Разрешимость и регулярность.

Глава 2. Проблема локализации.

2.1. Окрестности в конечных плоских конфигурациях.

2.2. Локальность аксиом разметки.

2.3. Локальность алгоритмов разметки.

2.4. Локальная разрешимость и регулярность.

2.5. Проблемы мощности систем окрестностей.

2.6. Отношения порядка на конфигурациях и окрестностях.

2.7. О построении оптимальной системы окрестностей.

2.8. Монотонность свойства локальной регулярности.

2.9. Монотонность свойства локальной разрешимости.

Глава 3. Проблемы полноты.

3.1. Задачи классификации с теоретико-множественными ограничениями.

3.2. Понятия полноты для задач с теоретико-множественными ограничениями.

3.3. Критерий полноты для семейств решающих правил.

3.4. Критерий полноты для семейств корректирующих операций.

3.5. Критерий полноты для моделей алгоритмических операторов.

Основы алгебраического подхода к проблеме синтеза корректных алгоритмов были заложены в 70-х годах прошлого века в работах академика РАН Ю.И. Журавлева [10,11]. В этих работах были развиты "прямые методы" построения корректных, то есть точных на прецедентах, алгоритмов классификации путем применения специальных алгебраических операций к эвристическим распознающим операторам. При этом были введены основополагающие понятия (регулярность, полнота и т.д.) и конструкции, область потенциального применения которых существенно шире, чем задачи и алгоритмы распознавания и классификации.

В настоящее время представляется несомненным, что алгебраический подход представляет собой не специализированную теорию, а скорее математическую технологию построения проблемно-ориентированных теорий синтеза высококачественных алгоритмов на базе соответствующих эвристических информационных моделей, то есть параметрических семейств операторов, отражающих те или иные экспертные знания о предметной области. Можно сказать, что выработалась определенная культура применения алгебраических методов при исследовании конкретных предметных областей, которая позволяет сформулировать правильную последовательность вопросов, ответы на которые и составляют проблемно-ориентированную теорию.

Прежде всего, отметим, что решениями задач, для которых предназначен алгебраический подход, являются не ответы на конкретные содержательные вопросы, а алгоритмы, способные давать такие ответы. При этом объектом изучения оказывается не сама предметная область, а собственно алгоритмы, семейства алгоритмов, а также операции над алгоритмами. В соответствии с этим под качеством решения понимается качество построенного алгоритма, определяемое чаще всего точностью его работы на прецедентах и его соответствием различного рода дополнительным требованиям.

Основной технический прием алгебраического подхода состоит в том, что эвристические информационные модели (параметрические семейства алгоритмов) используются не в качестве области оптимизации, а как источник базовых операторов, применение к которым соответствующих корректирующих операций и приводит к построению высококачественного алгоритма - решения.

При разработке конкретной проблемно-ориентированной теории первый шаг состоит в точном описании класса задач, которые должны решаться искомыми алгоритмами. Такое описание включает в себя фиксацию множества начальных информаций (входов алгоритмов), множества финальных информаций (выходов алгоритмов) и структурной информации (вида прецедентов и дополнительных ограничений) [12,25-33].

Существенно, что уже на первом шаге возникает возможность постановки и решения ряда содержательных вопросов. А именно, устанавливаются условия, обеспечивающие разрешимость изучаемых задач. Эти условия определяют по сути дела непротиворечивость прецедентной и дополнительной информации. Они же, естественно, оказываются условиями существования корректного алгоритма - решения.

Как правило, наряду с разрешимостью изучается вопрос о так называемой регулярности рассматриваемых задач. Под регулярностью понимается при этом усиление свойства разрешимости, сводящееся к требованию разрешимости не только для самой задачи, но и для задач, в некотором смысле близких к рассматриваемой. Установление критериев регулярности задач автоматически приводит к критериям полноты для семейств алгоритмов: под полнотой семейства понимается существование в нем решений для всех регулярных задач.

В тех случаях, когда на множестве задач оказывается возможным введение адекватной метрики, решается вопрос и о получении оценок для так называемых радиусов регулярности и разрешимости, понимаемых как расстояние от данной регулярной (разрешимой) задачи до ближайшей нерегулярной (неразрешимой) [41,42]. Существенность этого вопроса вытекает из того обстоятельства, что и регулярность, и разрешимость задачи могут оказаться обусловленными избыточно точными измерениями или описаниями в начальной информации.

Итак, в результате описанного первого шага, который можно назвать этапом построения абстрактной теории предметной области, возникают описания класса задач и система критериев регулярности, разрешимости и полноты.

Следующий шаг построения проблемно-ориентированной теории состоит в конструировании эвристических моделей алгоритмов и подборе семейств корректирующих операций. В качестве эвристических семейств алгоритмов берутся параметрические семейства отображений из множества начальных информаций во множество финальных информаций. Часто эти отображения исходно строятся как суперпозиции отображений из множества начальных информаций в некоторое множество оценок и отображения из этого множества оценок во множество финальных информаций. Более того, доказано [10,11], что возможность представления этих отображений в виде суперпозиций указанного вида имеется практически во всех случаях. Семейства корректирующих операций конструируются на базе операций, определенных на множестве оценок. Эвристические модели и семейства корректирующих операций строятся при этом так, чтобы они удовлетворяли установленным на первом этапе критериям, что гарантирует возможность построения с их помощью корректных алгоритмов для всех регулярных или разрешимых задач.

В настоящей работе в качестве основного объекта исследований рассматриваются конечные множества точек на плоскости. Таким множествам могут соответствовать различного рода временные ряды, результаты измерений параметров физических процессов, ценовые и объемные характеристики биржевых торгов и тому подобное. Будем называть такие множества конечными плоскими конфигурациями (КПК).

Не исключено, что подобные конфигурации обладают "плохой", в некотором смысле, структурой. Например, точки могут быть равномерно распределены в некоторой прямоугольной области и не подтверждать наличия какой-либо зависимости исследуемой величины от времени даже при экспертном анализе. Но, как правило, при решении прикладных задач существует уверенность в том, что положение точек соответствует некой достаточно "просто устроенной", возможно, зашумленной, кривой. Под простотой при этом подразумевается малое количество экстремумов относительно числа точек КПК.

Часто при решении прикладных задач перед исследователем возникает необходимость в качестве промежуточного шага выделить внутри конфигурации или временного ряда так называемые тренды. Понятие тренда, судя по всему, не имеет строгого формального определения. Обычно, под трендом подразумевается интервал временного ряда или аппроксимирующей его кривой, не содержащий точек экстремума. Таким образом, тренд можно определить как промежуток монотонности аппроксимирующей кривой и соответствующий этому промежутку фрагмент КПК. Тренды, как правило, выделяют так, чтобы представить весь исследуемый временной ряд в виде последовательности трендов.

Очевидно, что задача выделения трендов в исходных точечных множествах не имеет, вообще говоря, единственного решения. При содержательном анализе КПК границы трендов могут выбираться экспертом достаточно произвольно. Более того, для одной и той же выборки в зависимости от собственных представлений, целей анализа или какой-либо внешней информации выделенные экспертом тренды могут быть существенно различными. Этим обстоятельством определяется целесообразность изучения задачи синтеза алгоритмов выделения трендов, настраиваемых на определенный тип анализа.

В настоящей работе под выделением трендов подразумевается решение задачи классификации, в которой каждой точке конфигурации сопоставляется номер класса из заранее определенного множества классов или, говоря иначе, метка из фиксированного словаря разметки. Это позволяет использовать глубоко разработанную технологию решения задач распознавания и классификации [2-6,34,38,39,], причем использование этой технологии опирается на статистические обоснования, разработанные школой члена-корреспондента РАН B.JI. Матросова [16-24]. Например, простейший набор меток может содержать метки "экстремальная точка" и "неэкстремальная точка" или следующий набор: "точка максимума", "точка минимума", "неэкстремальная точка". Набор меток может быть и таким: "точка максимума", "точка минимума", "точка возрастания", "точка убывания", "точка плато" и т.п.

Таким образом, рассматривается задача синтеза алгоритмов, описывающих отображения из множества конечных плоских конфигураций (пространства начальных информаций) во множество конечных наборов меток (пространство финальных информаций), которые являются по сути словами в конечном алфавите [ 15,40,49-51 ].

Обучение алгоритма осуществляется на основе формируемого экспертом наборов прецедентов - набора частично размеченных конечных конфигураций, где каждой точке либо сопоставлена метка, либо специальный символ, интерпретируемый как "не размечено". Главной задачей является синтез алгоритма, который, с одной стороны не допускал бы ошибок на прецедентах, то есть размечал бы точки, помеченные экспертом, точно так же и, с другой стороны, удовлетворял бы определенному набору дополнительных ограничений.

В качестве дополнительных ограничений выступают наборы предикатов, которые в соответствии со спецификой рассматриваемой области могут учитывать по сути "геометрические" особенности задач выделения трендов. Например, в качестве таких "геометрических" ограничений могут выступать требование вида, "в точке, имеющей метку "точка минимума " значения временного ряда должны быть не больше чем в соседних точках"; "если в точке временной ряд принимает промежуточное значение по отношению к соседним точкам, то точка не может иметь метку "экстремальная точка"; "между любыми двумя точками, имеющими метки "точка максимума" должна быть точка, имеющая метку "точка минимума"; и т.п. Таким образом, каждый предикат или, говоря иначе, правило (аксиома) разметки каждой паре конфигурация-разметка ставит в соответствие либо значение "истина", в этом случае разметка называется подходящей для конфигурации в смысле аксиомы разметки, либо "ложь" - разметка называется неподходящей. Разметка называется подходящей в смысле набора правил, если конъюнкция всех предикатов принимает значение "истина".

Следует отметить, что выбор конкретного словаря разметки и формирование набора аксиом разметки осуществляются экспертом.

Таким образом, словарь разметки, набор аксиом и набор прецедентов, будучи зафиксированными, определяют задачу синтеза алгоритмов выделения трендов.

Первая часть настоящей работы посвящена формализации предметной области и описанию критериев разрешимости задач синтеза алгоритмов выделения трендов. Также исследована регулярность описанных задач, как расширение понятия разрешимости. Получен и доказан критерий регулярности.

Учитывая специфику задач синтеза алгоритмов выделения трендов при построении проблемно-ориентированной теории, естественным и целесообразным представляется особо рассмотреть класс локальных алгоритмов.

Следует отметить, что общее понятие локальных алгоритмов было введено и изучено академиком РАН Ю.И. Журавлевым в [7-9].

В настоящей работе понятие локальных алгоритмов введено сходным образом. Локальным называется алгоритм, принимающий решение о разметке каждой точки лишь на основании анализа ее окрестности. Однако, в отличие от работ Ю.И. Журавлева, где использовалось понятие порядка окрестности и исследовались локальные алгоритмы определенного порядка, в настоящей работе введено и используется собственное понятие системы окрестностей.

При решении практических задач немаловажным оказывается "размер" рассматриваемых окрестностей точек. Очевидно, что, с одной стороны, вычислительная сложность алгоритмов существенно зависит от размера окрестности и для построения высокопроизводительных алгоритмов следует использовать окрестности по возможности небольшого размера. С другой стороны, при небольших размерах окрестностей возникают трудности с разрешимостью задач. В пределе, когда окрестностью каждой точки является она сама, неразрешимой оказывается практически любая задача. Все это обусловливает актуальность решения задачи поиска окрестностей оптимального размера.

Во второй части работы введены и обоснованы понятия окрестности точки, локальной аксиомы и локального алгоритма, локальной разрешимости и локальной регулярности; получены и доказаны критерии локальной разрешимости и локальной регулярности. Также предложены и обоснованы алгоритмы построения систем окрестностей оптимальной мощности, доказана монотонность свойств локальной разрешимости и локальной регулярности относительно мощности системы окрестностей.

Третья часть настоящей работы посвящена исследованию полноты семейств алгоритмов выделения трендов. Следует отметить, что описанные выше дополнительные ограничения для каждой конечной плоской конфигурации (точки в пространстве начальных информаций) являются по сути теоретико-множественными ограничениями в пространстве финальных информаций. Правила разметки, будучи зафиксированными, сопоставляют каждой КПК свое допустимое подмножество из множества возможных ответов алгоритма. Именно поэтому в настоящей работе для исследования полноты семейств не удается непосредственно использовать теорию универсальных и локальных ограничений, разработанную членом-корреспондентом РАН К.В. Рудаковым [25-29,31,32].

Для описания требований к семействам алгоритмов, выполнение которых обеспечивало бы полноту семейств, был разработан новый аппарат, предназначенный для исследования и решения задач с теоретико-множественными ограничениями, которыми, в частности, являются и задачи синтеза алгоритмов выделения трендов.

В третьей части получена совокупность критериев полноты для моделей алгоритмов, моделей алгоритмических операторов, семейств корректирующих операций и семейств решающих правил. Эти критерии, в отличие от случая классических универсальных и локальных ограничений, оказались не независимыми. А именно, для обеспечения полноты модели алгоритмов необходимым и достаточным оказывается использование полных семейств решающих правил, причем понятие полноты для семейства решающих правил оказывается зависящим от используемой системы теоретико-множественных ограничений. Полнота семейств корректирующих операций определяется при фиксации не только системы теоретико-множественных ограничений, но и при заданном полном семействе решающих правил. Наконец полнота моделей алгоритмических операторов определяется при фиксации системы теоретико-множественных ограничений, полных семейств решающих правил и корректирующих операций.

Благодарности

Автор выражает глубокую признательность своему Учителю члену-корреспонденту РАН Константину Владимировичу Рудакову, за постановку задачи и неоценимую помощь на всех этапах работы, академику РАН Юрию Ивановичу Журавлеву за постоянное внимание и поддержку, сотрудникам отдела вычислительных методов прогнозирования и отдела математических проблем распознавания и методов комбинаторного анализа Вычислительного центра им. А.А. Дородницына РАН, коллегам из других организаций, конструктивная критика, советы и помощь которых способствовали решению поставленных задач.

Заключение

В настоящей работе пройдены основные этапы построения проблемно-ориентированной теории для задач синтеза обучаемых алгоритмов выделения трендов.

В частности, обоснована актуальность проблемы синтеза обучаемых алгоритмов выделения трендов как промежуточного шага при решении многих прикладных проблем [13,14].

В соответствии с технологией построения проблемно-ориентированных теорий на базе алгебраического подхода предложена формализация задачи синтеза алгоритмов выделения трендов, основанной на сведении к специальной задаче классификации.

Далее предложена и исследована формализация для дополнительных ограничений, с помощью которых может быть выражен широкий класс требований к алгоритмам выделения трендов.

В первой главе получены и доказаны критерии разрешимости и регулярности задач синтеза алгоритмов выделения трендов.

С учетом специфики проблемной области во второй главе изучена проблема локальности алгоритмов выделения трендов, восходящая к классическим работам академика РАН Ю.И. Журавлева. А именно, предложена и обоснована формализация понятий окрестности, системы окрестности, локальной системы аксиом, локальной разрешимости и локальной регулярности.

Введено понятие локального алгоритма выделения трендов. Получены и доказаны критерии локальной разрешимости и локальной регулярности. Исследована проблема синтеза локальных алгоритмов выделения трендов.

Обоснована актуальность проблемы выбора системы окрестностей оптимальной мощности в задачах синтеза алгоритмов выделения трендов.

Предложены и обоснованы алгоритмы построения систем окрестностей оптимальной мощности, обеспечивающие локальную регулярность и локальную разрешимость задачи синтеза алгоритмов выделения трендов.

Доказана монотонность свойств локальной регулярности и локальной разрешимости относительно мощности системы окрестностей.

В качестве заключительного шага построения общей проблемно-ориентированной теории задач синтеза выделения трендов были рассмотрены проблемы полноты семейств алгоритмов выделения трендов.

В частности, в третьей главе предложено обобщение рассматриваемой задачи выделений трендов, как задачи с теоретико-множественными ограничениями в пространстве допустимых финальных информаций.

Для указанного класса задач получены критерии полноты, частными случаями которых оказываются критерии полноты для задач выделения трендов, а именно получены и доказаны критерии полноты моделей алгоритмов, моделей алгоритмических операторов, семейств корректирующих операций и семейств решающих правил в задачах с теоретико-множественными ограничениями.

1. Бурбаки Н. Теория множеств, М. Мир, 456 с.

2. Вапник В.Н. Восстановление зависимостей по эмпирическим данным М. Наука. 1979.

3. Васильев В.И. Распознающие системы. Справочник. Киев. Наукова думка. 1983.

4. Воронцов К.В. О проблемно-ориентированной оптимизации базисов задач распознавания //ЖВМ и МФ. 1998 Т. 38, № 5. с. 870-880

5. Воронцов К.В. Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ЖВМ и МФ. 2000. Т. 40, №1.

6. Воронцов К.В., Рудаков К.В., Чехович Ю.В. Информационные методы анализа сложных систем // Тезисы докладов научной конференции "Математические модели сложных систем и междисциплинарные исследования", ВЦ РАН им. А.А. Дородницына, 2002 г., Москва, с. 9.

7. Журавлев Ю.И. Локальные алгоритмы вычисления информации I, II // Кибернетика 1965 г. № 1, 1966 г. №2.

8. Журавлев Ю.И. Об одном классе алгоритмов над конечными множествами, ДАН СССР, т 151, 5, М. 1963, с. 1025-1028.

9. Журавлев Ю.И., Лосев Г.Ф. Окрестности в задачах дискретной математики // Кибернетика и системный анализ, 1995 г., №2.

10. Ю.Журавлев Ю.И. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. I-III // Кибернетика. 1977. № 4. С. 5-17, 1977. № 6. С. 21-27, 1978. № 2. С. 35-43.

11. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. Вып. 33 М.: Наука, 1978, С. 5-68.

12. Журавлев Ю.И. Рудаков К.В. Об алгебраической коррекции процедур обработки (преобразования) информации // Проблемы прикладной математики и информатики. М. Наука, 1987. С. 187-198.

13. КацДж. О., МакКормик Д. JT. Энциклопедия торговых стратегий //Пер. с англ. Москва, Альпина Паблишер, 2002., 400 с.

14. М.Колби Р.В., Мейерс Т.А., Энциклопедия технических индикаторов рынка //Пер. с англ. Москва, Альпина, 1998. 581 с.

15. Леонтьев В.К., Сметанин Ю.Г. О восстановлении вектора по набору его фрагментов. //ДАН СССР. 1988. - Т. 302, № 6. - С. 1319 - 1322.

16. Мазуров В.Д. Метод комитетов задачах оптимизации и классификации. М. Наука. 1990.

17. Матросов В.Л. Нижние оценки емкости многомерных алгебр алгоритмов вычисления оценок//ЖВМ и МФ. 1984 Т. 24, № 12, с. 1881-1892.

18. Матросов В.Л. Емкость алгебраических расширений модели алгоритмов вычисления оценок//ЖВМ и МФ. 1984 Т. 11, №5, с. 1719-1730.

19. Матросов В.Л. Емкость полиномиальных расширений множества алгоритмов вычисления оценок//ЖВМ и МФ. 1985 Т. 25, № 1, с. 122-133.

20. Матросов В.Л. Корректные алгебры ограниченной емкости над множествами некорректных алгоритмов // ДАН СССР. 1980 Т. 253, № 1, с. 25-30.

21. Матросов В.Л. Корректные алгебры ограниченной емкости над множествами некорректных алгоритмов // ЖВМ и МФ. 1981 Т. 21, № 5, с. 1276-1291.

22. Матросов В.Л. О критериях полноты модели алгоритмов вычисления оценок и ее алгебраических замыканий // ДАН СССР. 1981 Т. 258, № 4, с. 791-796.

23. Матросов В.Л. Оптимальные алгебры в алгебраических замыканиях операторов вычисления оценок // ДАН СССР. 1982 Т. 262, № 4, с. 818-822.

24. Матросов B.JI. Синтез оптимальных алгоритмов в алгебраических замыканиях моделей алгоритмов распознавания // Распознавание, классификация, прогноз. М.: Наука, 1989. с. 149-176.

25. Рудаков К.В. О некоторых универсальных ограничениях для алгоритмов классификации//ЖВМ и МФ. 1988. Т.26, № 11. с. 1719- 1729.

26. Рудаков К.В. О применении универсальных ограничений при исследовании алгоритмов классификации //Кибернетика. 1988. № 1. с. 1-5.

27. Рудаков К.В. О симметрических и функциональных ограничениях для алгоритмов классификации //ДАН СССР. 1987. Т. 297, № 1. с. 43- 46.

28. Рудаков К.В. Об алгебраической теории универсальных и локальных ограничений для задач классификации // Распознавание, классификация, прогноз. М.: Наука, 1989. С. 176-201.

29. Рудаков К.В. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №3. с. 106- 109.

30. Рудаков К.В. Построение проблемно-ориентированных теорий на основе алгебраического подхода к задачам распознавания образов // Доклады 10-й Всероссийской конференции "Математические методы распознавания образов", Москва, AJIEB-B, 2001, с. 113-115.

31. Рудаков К.В. Симметрические и функциональные ограничения для алгоритмов классификации // Кибернетика. 1987. № 4. с. 73 77.

32. Рудаков К.В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987. №2. с. 30-35.

33. Рудаков К.В., Чехович Ю.В. О проблеме синтеза обучаемых алгоритмов выделения трендов (алгебраический подход) // Прикладная математика и информатика, 2001 г. № 8. С. 97-113.

34. Рудаков К.В., Воронцов К.В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ДАН. 1999. Т. 367 №3. С. 314-317

35. Рудаков К.В., Чехович Ю.В. Алгебраический подход к проблеме синтеза обучаемых алгоритмов выделения трендов // Доклады Академии наук, 2003 г. том 388, № 1 с 33.-36.

36. Рудаков К.В., Чехович Ю.В. Критерии полноты моделей алгоритмов и семейств решающих правил для задач классификации с теоретико-множественными ограничениями // Доклады Академии наук, работа принята в печать.

37. Рудаков К.В., Чехович Ю.В. Критерии полноты семейств корректирующих операций и моделей алгоритмических операторов для задач классификации с теоретико-множественными ограничениями // Доклады Академии наук, работа принята в печать.

38. Рязанов В.В. Комитетный синтез алгоритмов распознавания и классификации//ЖВМ и МФ. 1981. Т. 21, № 6 с. 1533-1543.

39. Рязанов В.В. О построении оптимальных алгоритмов распознавания и таксономии (классификации) при решении прикладных задач // Распознавания, классификация, прогноз. Выпуск 1. М. Наука. 1989. с. 229279.

40. Сметанин Ю.Г. Распознавание при представлении исходных данных в виде длинных последовательностей. // Распознавание, классификация и прогноз. Математические методы и их применения. Вып. 2. - М.: Наука. - 1988.-С. 38-41.

41. Черепнин А.А. О радиусах разрешимости и регулярности задач распознавания // Доклады 11-й Всероссийской конференции "Математические методы распознавания образов", 2003 г. Пущино, с. 210 -211.

42. Черепнин А.А. Об оценках регулярности задач распознавания и классификации // Журнал вычислительной математики и математической физики. 1993. №1, с. 155-159

43. Чехович Ю.В. Об обучаемых алгоритмах выделения трендов // Интеллектуализация обработки информации: тезисы докладов Международной научной конференции, г. Симферополь, 2002 г. с. 153154.

44. Чехович Ю.В. Об обучаемых алгоритмах выделения трендов // Искусственный интеллект (научно-теоретический журнал НАН Украины) 2002 г. № 2, с. 298-305.

45. Чехович Ю.В. Обучаемые алгоритмы выделения трендов // Доклады 9-й Всероссийской конференции "Математические методы распознавания образов", 1999 г. Москва, с. 247-248.

46. Чехович Ю.В. Применения алгебраического подхода к задачам выделения трендов // Доклады 10-й Всероссийской конференции "Математические методы распознавания образов", 2001 г. Москва, с. 315-316.

47. Чехович ЮВ. Мощности окрестностей в задачах выделения трендов // Доклады 11-й Всероссийской конференции "Математические методы распознавания образов", 2003 г. Пущино, с. 215-216.

48. Leont'ev V.K., Smetanin Yu.G. Problems of Information on the Set of Words. // Journal of Mathematical Sciences. Kluwer Academic/Consultants Bureau, New York, 2000. P. 49 - 70.

49. Leont'ev V.K., Smetanin Yu.G. Recognition Model with Representation of Information in the Form of Long Sequences. // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. 2002. - Vol. 12, No. 3. - C. 250 - 287.