Исследование пространства ранговых оценок и разработка пакета прикладных программ классификационной обработки данных экспертного оценивания тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

Введение.

Глава I. Исследование экспертного оценивания и анализ факторов, снижающих достоверность обработки экспертных данных. Постановка задач исследования.Ю

1.1. Формализация задачи.

Т.2. Обзор методов решения задач обработки ЭО.

Т.З. Методы оценки согласованности экспертных данных. 25 Т.4. Факторы, снижающие достоверность выходных результатов КОД ЭО.

Т.5. Постановка задач исследования.

Т.6. Выводы по главе Т.

Глава 2. Анализ структуры, метрических и топологических свойств пространства ранговых оценок.

2.Т. Система ранговых оценок. Основные отображения.

2.2. Основные свойства пространства ранговых оценок ПП.

2.3. Структура ПИ.

2.4. Размещение подпространств И в пространстве IT

2.5. Типологические: графы П".

2.6. Характерные точки в ПГ.

2.7. Зоны пространства П

2.8. Выводы по главе 2.

Глава 3. Исследование коалиций экспертных оценок.

3.1. Критерии сходства точек в П".8®

3.2. Исследование козФициента конкордации точек вП

3.3. Коалиция экспертных оценок. Центр коалиции.

3.4. Размер и радиус коалиции.

3.5. Параметры коалиции.

3.6. Коэфициент конкордации коалиции.

3.7. Классификация коалиций.

3.8. Постановка задачи таксономии выборочных коалиций в П

3.9. Выводы по главе 3.

Глава 4. Разработка пакета прикладных программ для автоматизации обработки данных экспертного оценивания.

4.1. Стадии получения и использования данных экспертного оценивания.

4.2. Человеко-машинная обработка данных экспертного оценивания на ЭВМ.

4.3. Описание пакета прикладных программ.

4.4. Описание СА-метода классификации.

4.5. Описание функционирования ППП КОД ЭО.

4.6. Применение ППП КОД ЭО для обработки данных экспертного оценивания.

4.7. Выводы по главе 4.

Научно-технический прогресс приводит к все более широкой механизации и автоматизации производственных процессов, процессов управления во всех сферах народного хозяйства. В этих условиях важнейшее значение приобретает развитие методов и средств управления научно-техническим прогрессом, повышения его эффективности.

В последние десятилетия в системах управления все большее применение находит вычислительная техника, на базе которой создаются автоматизированные и автоматические системы управления, позволяющие улучшать качество управления, его эффективность и надежность. В управлении используются математические методы, автоматизированная обработка данных на ЭВМ, математическое моделирование.

При построении систем управления следует иметь в виду, что процесс управления всегда является эргатическим, т.е. таким, который нуждается в участии человека. Даже в автоматических системах, действующих без участия человека, критерии управления, алгоритмы управления предварительно формируются или выбираются человеком.

Основным функциональным элементом процесса управления является принятие решения, а основным инструментальным средс -твом принятия решения является оценка. Каждый акт управления совершается на основе оценки проектных решений, оценки обстановки или ситуации, оценки вариантов, оценки вероятностей достижения целей, оценки результатов и т.д. Так, при проектировании новой техники,в особенности человеко-машинных-систем и комплексов, окончательный вариант построения системы получается не сразу. Первоначальные варианты приходится несколько раз уточнять в ходе проектирования с учетом человеко-машинного взаимодействия, инженерно-психологических и эргономических факторов. Эта задача является одной из наиболее важных в инженерно-психологическом проектировании и также выполняется на основе инженерно -психологической оценки вариантов.

Роль и значение инженерно-психологической оценки особенно возрастает в связи с внедрением ГОСТ 15467-70 "Качество продукции. Термины.". Согласно этого стандарта при аттеставании промышленной продукции наряду с другими должен определяться и эргономический показатель качества, который получают методом экспертной оценки разрабатываемого изделия.

Во многих случаях оценка производится непосредственно лицом принимающим решение. Однако, в связи с тем, что экспертная оценка также является процессом эргатическим, а эргатические процессы это разновидность случайных процессов. Оценка объектов, процессов, параметров или факторов одним экспертом не дает на -дежных результатов и необходимо использовать оценку группы экспертов.

Оценка объектов человеком-экспертом является одной из форм использования эвристической информации. Для успешного решения многоплановых и многоаспектных задач управления разработками новой техники постоянно требуется обращение к опыту, знаниям, интуиции широкого круга квалифицированных специалистов. Прове -дение экспертной оценки нужно рассматривать как метод, с помощью которого можно объединить и систематизировать суждения экспертов, чтобы получить обобщенные результаты, учитывающие отдельные мнения. При этом суждения специалистов-экспертов должны анализироваться с применением соответствующих научно обосно -ванных методов получения и обработки эвристической информации.

Наиболее эффективным инструментом по использованию опыта специалистов при решении сложных проблем являются колектив-ные экспертные оценки. При этом для целей управления необходимо выявление мнений экспертов существенно различающихся между собой. Автоматизированная обработка данных экспертных оценок и выделение согласующихся между собой групп экспертный мнений --коалиций экспертов - наиболее эффективно может осуществляться при использовании методов таксономии на основе теории распознавания образов. Однако используемые в настоящее время методы и алгоритмы в ряде достаточно часто встречающихся на практике случаев не обеспечивают разделения систем экспертных оценок на таксоны, что приводит к объединению в одну группу экспертов ющих несогласующихся между собой оценки, в результате чего обобщенные оценки оказываются неправильными, недостоверными.

Анализ существующих методов обработки экспертных оценок показывает, что вопросы теории экспертных оценок и методики их обработки на ЭВМ исследованы еще недостаточно. В частности, к таким вопросам относятся исследования по анализу и синтезу математических моделей пространств экспертных оценок, свойств и закономерностей, характеризующих типологию оценок, характеристик коалиций экспертов. Широко используемые статистические оценки оказываются в ряде случаев практически неэффективными, применяются непосредственно к исходным выборкам без предвари -тельной таксономии экспертных оценок (ЭО).

Целью диссертационной работы является исследование экспертного рангового оценивания, анализ и построение математи -ческих моделей пространства ранговых оценок и разработка на этой основе программно-алгоритмического комплекса для автоматизированной обработки данных экспертного оценивания. Выполненная работа в известной степени восполняет указанный пробел [10-12].

В основу работы положено исследование метрических и топологических свойств пространства ранговых оценок, выявление коалиций экспертных оценок с высокой степенью согласованности на основе научных свойств и закономерностей.

В первой главе диссертации рассмотрены вопросы экспертного оценивании, проанализированы факторы, снижающие достоверность обработки данных ЭО, формализована задача ЭО, выполнен обзор и анализ методов ЭО экспертного оценивания, предложены математические, информационные и организационно-методические меры для повышения достоверности обработки данных ЭО, сформулированны задачи диссертационной работы.

Во второй главе впервые выполнен математический анализ структуры П - мерного пространства ГГ^ранговых оценок, его метрических, топологических и комбинаторных свойств, сформу -лированы и доказаны соответствующие утверждения и теоремы.

В третьей главе исследованы характеристики сходства точек в пространстве ранговых оценок П , определены и исследованы коалиции ЭО в отображении на подмножества (таксоны)

П|г Доказано товдество выведенной характеристики сходства с коэффициентом парной ранговой корелляции. Впервые исследована содержательная сущность коэффициента конкордации W ЭО в терминах свойств ТГ^ и показано, что W для любой совокупности точек ГГ^ представляет собой отношение расстояния от центра П^ t/0 е ГГ^ до средней точки данной совокупности к среднему значению расстояния точек совокупности до Ь0 по квадрату евклидовой метрики. На этой основе определены и исследованы условия вхождения точек ТТ'г в коалицию 57. , параметры коалиций и классификация коалиций. Сформулирована задача таксонсмии выборочных коалиций в ТТ^ и предложена методика её решения.

Четвертая глава содержит разработку пакета прикладных программ (ППП) классификационной обработки данных (КОД) ЭО, описание ППП КОД ЭО, созданного в Харьковском авиационном институте им. Н.Е.Жуковского. Рассмотрены стадии работ по использованию данных ЭО при управлении научно-техническим прогрессом, управлении разработками в научных организациях или работами по созданию новой техники.

Сформирована и решена конкретная задача сбора и классификационной обработки с помощью ППП КОД ЭО факторов, влияющих на эффективность работ по созданию программных средств для ЭВМ и систем в научных организациях министерств и ведомств.

К основным положениям, выносимым автором на защиту относятся:

1) формализация и постановка задачи экспертного оценива ния, определение факторов, снижающих достоверность выходных результатов КОД ЭО и мер по устранению этих факторов;

2) теоретическое обоснование,формулировка, доказательство и исследование утверждений и теорем, определяющих ос -новные метрические, комбинаторные свойства пространства ран

УТКЬ говых оценок II , входящих в него подпространств, их коли -чественные соотношения и характеристики;

3) теоретическое обоснование и анализ типологических графов как инструмента анализа свойств пространства ТТ^ и выборки экспертных оценок;

4) установление и исследование характерных точек и зон пространства ТТП , получение принципиально важных для анализа П^войств группировки точек в ГГ14" , определение количественных соотношений, характеризующих параметры зон;

5) утверждения и теоремы, определяющие критерии сходства точек в ТТ^и установление содержательного смысла коэф фициента конкордации множества точек в ГГ в терминах свойств пространства ранговых оценок;

6) введение определения и исследование коалиций точек и в И , классификация коалиций на основе анализа их свойств и характеристик условия объединения точек в коалиции;

7) введение и обоснование системы параметров коалиций точек в TTn , расчетных формул и алгоритмов вычисления параметров коалиций;

8) формулировка задачи таксономии выборочных коалиций методика и алгоритмы её решения;

9) определение содержания стадий работ по использованию данных ЭО;

10) разработка блок-схемы человеко-машинной системы классификационной обработки данных ЭО на ЭВМ с использованием диалогового режима;

11) методика системного проектирования ППП КОД ЭО с реализацией пакета, созданного в ХАИ им. Жуковского Н.Е., принятого, принятого в 1982 году межведомственной комиссией и сданного в Государственный фонд алгоритмов программ;

12) решение с помощью ППП КОЭ ЭО конкретной практической задачи обработки данных ЭО с целью оценки факторов, влияющих на эффективность работ по созданию программных средств для ЭВМ и систем в научных организациях министерств и ведомств.

Основные результаты работы докладывались на ряде семинаров и конференций. Работа прошла апробацию в Институте кибернетики им. ГлушковаВ.М. Академии наук Украинской ССР.

Автор выражает признательность сотрудникам Харьковского авиационного института им. Н.Е.Жуковского к.т.н. И.Б.Сиродже и Е.М.Крылову, воплотившим теоретические результаты работы автора в ППП КОД ЭО и выполнившим большое число машинных экспериментов и расчетов.

4.7. Выводы по главе 4

1) Определены стадии работ по использованию данных экс -пертного оценивания при управлении научно-техническим прог -рессом, деятельностью научной организации или работой по созданию новой техники.

2) Разработана блок-схема человеко-машинной обработки на стадии обработки данных экспертного оценивания. Показано, что наиболее эффективным является диалоговый режим работы с ЭВМ.

3) Разработана методика системного синтеза пакета прик -ладных программ КОД ЭО, созданного в Харьковском авиационном институте им. Н.Е.Жуковского, теоретическими основами которого являются математические модели пространства ранговых оценок , описания типологических графов, коалиций и системы параметров

X4I п коалиций экспертных оценок в ТТ .

4) Описан структурно-аналитический метод распознавания. Показано, что описание свойств ГР , графов и коалиций удобно задаются в СА-методе в виде свойств-предикативов и граммати -ческих R - функциональных цепочек.

5) Разработана блок-схема обработки данных ЭО на ЭВМ. Показано, что обработка данных ЭО выполняется в 7 этапов. Описано функционирование ППП КОД ЭО.

6) Описана решенная автором задача сбора и обработки данных экспертного оценивания, выполненная с целью оценки факто -ров, влияющих на эффективность работы по созданию программных средств в научных организациях министерств и ведомств.

ЗАКЛЮЧЕНИЕ

По диссертационной работе в результате теоретических исследований, расчетов на ЭВМ и разработок получены следующие основные результаты,

1. На основе проведенного обзора и анализа методов экспертного оценивания установлены три группы факторов, снижающих достоверность обработки данных экспертного оценивания и предложены математические, информационные и организационно-методические меры для их устранения.

2, Исследована система ранговых оценок, на основе которой определено и исследовано f) -мерное пространство ранговых оценок ее метрика и топология.

3, Доказаны утверждения и теоремы отражающие свойства цент-ралъносимметрично.оти,гиперсферичности, слоистости ЦП, а также определяющие это пространство метрические,топологические и комбинаторные характеристики, причем установлено, что для Л -четного и П -нечетного они имеют существенные различия.

4. Показано, чтоТТ'состоит из 2^ - 2 подпространств Лк fj ^ К^ двух типов,пересекающихся точками своих внешних поверхностей.Определено число подпространств различной размерности и их метрические характеристики.

5, Исследовано размещение подпространств Т7Кв П^ и показано, что основу П П составляет 2 П крупнейших подпространств

П*

6. Показано, что в п инверсно каждой точке Ь tien" относительно центра Т]П размещается точка противоположной типологии, а инверсно каждому подпространству ПК такое же подпространство противоположной типологии.

7. Показано, что все подпространства противоположной типологии взаимно пересекаются и что все подпространства одной типологии в IIП не пересекаются.

8. Разработаны и исследованы типологические графы, отражающие существенные свойства и закономерности ПП и являющиеся инструментом для анализа конкретных ПП . Доказан ряд теорем, определяющих свойства типологических графов, метрических и комбинаторных соотношений на них.

9. Исследована средняя точка конечного подмножества точек доказан ряд утверждений о метрических соотношениях, связанных со средней точкой. Выделены и изучены зоны ТТМ . Получены соотношения для границ зон и их радиусов, существенных для анализа ТТИ, свойств группировки точек по зонам.

10. Определено и исследовано содержательное значение коэффициента конкордации точек в терминах TP, показано, что для любой совокупности точек коэффициент координации представляет собой отношение расстояния от центра ЦП - точки до средней точки данной совокупности к среднему значению расстояния точек совокупности до to по квадрату евклидной метрики.

11. Определено понятие коалиции экспертных оценок, выходящее за рамки традиционного определения таксона, найдено формальное условие вхождения точек в коалицию, исследованы свойства коэффициента координации , коалиций, определена система параметров коалиций и алгоритм вычисления этих параметров. . ,

Проведена классификация коалиции по различным признакам* разработана классификационная схема и критерии классификации.

12. Сформулирована задача .таксономии выборочных коалиций и разработана методика ее решения.

13. Определены и аргументированы стадии работ по использованию данных экспертных оценок при решении народнохозяйственных задач, разработана блок-схема человеко-машинной классификационной обработки данных ЭО с эффективным диалоговым режимом работы.

Разработаны этапы, отработки данных ЭО на ЭВМ, содержание информационного обмена и взаимодействия пользователя с пакетом.

14. Разработана методика системного проектирования и алгоритмы функционирования пакета прикладных программ классификационной обработки данных. ЭО. Пакет прикладных.программ КОД ЭО создан в Харьковском авиационном институте им Н.Е.Жуковского в 1982.году.

15. Выполнено решение конкретной задачи КОД ЭО по оценке факторов, влияющих на эффективность работ по созданию программных средств для ЭВМ и систем в научных организациях министерств и ведомств.

1. Адлер Ю.П., Азгальдов Г.Г., Райхман Э.П. Классификация экспертных методов. Материалы У1 симпозиума по кибернетике, ч. Ш Тбилиси, 1972, с. 26-34.

2. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Стандарт,1973. 158 с.

3. Акопян К.А. Об одном методе проектирования автоматизированных информационных систем. В кн.: Технология программирования. Киев: ИК АН УССР, 1977, с. 74-80.

4. Андрукович П.Ф., Веселая Г.Н., Козырев В.П., Терехин А.Т. Статистический анализ экспертных оценок. В кн.: Многомерный статистический анализ в социально-экономических исследованиях. Ученые записки по статистике, т. 26. - М.: Наука,1974, с. 168-188.

5. Барабаш С.М. и др. Экспертная оценка перспектив стандартизации оборудования. Стандарты и качество, 1973, № 7,с. 39-49.

6. Бешелев С.Д., Гурвич Ф.Г. Экспертные оценки. М.: Наука, 1973. - 219 с.

7. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974. - 215 с.

8. Вашакмадзе Т.С., Вельбицкий И.В., Глушкова О.В., Ковалев A.JI. Применение Р-технологии при построении пакетов прикладных программ. В кн.: Операционные системы и технология программирования. Киев: ИК АН УССР, 1979, с. 37-43.

9. Вельбицкий И.В., Ходаковский В.Н., Шолмов Л.И. Технологический комплекс производства программ на машинах ЕС ЭВМ и БЭСМ-6. М.: Статистика, 1980. - 263 с.

10. Волковицкий К.Е., Крылов Е.М., Сироджа И.Б. Анализ пространства ранговых оценок и синтез структурно-аналитических моделей для автоматизации принятия экспертных решений.- Киев, 1981. 56 с. (Препринт/ ИК АН УССР: Препинт-81-43).

11. Волковицкий К.Е., Крылов Е.М., Сироджа И.Б. Анализ пространства ранговых оценок в задачах автоматизации принятия экспертных решений. Киев, 1981. - 56 с. (Препринт/ИК АН УССР: Препринт-81-43).

12. Гвишиани Д.М., Лисичкин В.А. Прогностика. М.: Знание 1969. - 101 с.

13. Глушков В.М. 0 прогнозировании на основе экспертных оценок.- Кибернетика, 1969, № 2, с. 2-12.

14. Глушков В.М. Прогнозування I керування науковыми досл1джен-нями. В1сник АН УССР, 1970, № 10, с. I20-I3I.

15. Глушков В.М. Кибернетика и социальное прогнозирование. -Проблемы мира и социализма, 1971, № I, с. 15-23.

16. Горфан K.JI., Комков Н.Н., Миндели П.Э. Планирование и управление научными исследованиями. М.: Наука, 1971. - 198 с.

17. Гурвич Ф.Г. Методы и процедуры получения экспертной информации. Экономика и математические методы, 1973, т. IX, №5, с. 962-975.

18. Добров Г.М. Прогнозирование науки и техники. М.: Наука, 1969. - 206 с.

19. Добров Г.М., Ершов Ю.В., Левин Е.Н., Смирнов Л.П. Экспертные оценки в научно-техническом прогнозировании. Киев: Наукова думка, 1974. - 159 с.

20. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М., Экономика, 1978. - 165 с.

21. Ершов Ю.В. Анализ согласованности мнений при коллективной экспертной оценке перспектив развития конкретной отрасли техники. В кн.: Материалы по науковедению, вып. 5, Киев: Наукова думка, 1970, с. 51-60.

22. Ершов Ю.В., Усовский Д.В. Об одном алгоритме поиска высоко согласованных групп экспертов. В кн.: Материалы по науковедению, вып. 10. - Киев: Наукова думка, 1970, с. 33-40.

23. Журавлев Ю.Н., Дмитриев А.Н., Кренделев Ф.И. Математические принципы классификации приоритетов и явлений. В кн.: Дискретный анализ, вып. 7. - Новосибирск, 1967, с. 28-39.

24. Журавлев Ю.Н. Об алгебраическом подходе к решению задач распознавания или классификации. В кн.: Проблемы кибернетики, 1977, № 33, с. 5-38.

25. Загоруйко Н.Г. Методы распознавания и их применение. -М., Наука, 1971. 215 с.

26. Зенкин А.И., Мунькин Х.Ж. Прогнозирование состояний объекта по данным экспертных оценок. В кн.: Сборник работ по математической кибернетике. - М.: ВЦ АН СССР, 1977, вып. 2,с. 140-152.

27. Карпов В.Я., Корягин Д.А. Задачи системного программирования, связанные с разработкой пакетов прикладных программ.- В кн.: Перспективы системного и теоретического программирования. Новосибирск: ВЦ СО АН СССР, 1979, с. 17-31.

28. Каменский B.C. Методы и модели неметрического многомерного шкалирования (обзор). Автоматика и телемеханика, 1977,8, с. I18-156.

29. Киселев Ю.Н. Метод экспертных оценок. Экономика и математические методы, 1967, т. 3, № 3, с. 59-65.

30. Лопухин М.М. ПАТТЕРН метод планирования и прогнозирования научных работ. - М.: Советское радио, 1971. - 213 с.

31. Кендэл М. Ранговые корреляции. М: Статистика, 1975.- 206 с.

32. Литвак Б.Г., Раппопорт A.M. Взвешенное ранжирование объектов. В кн.: Экспертные оценки и восприятие искусства, вып. 48. - М.: НИИ культуры, 1977, с. 20-31.

33. Маамяги А.В. Экспертная классификация объектов. Распределение расстояния между классификациями некомпетентных экспертов. Известия АН ЭССР, 1977, т. 26. Общественные науки, № 2, с. I22-I3I.

34. Мешалкин Л.Д. 0 допустимых агрегированных показателях в экспертных оценках. В кн.: Статистические методы анализа экспертных оценок. Ученые записки по статистике, т. 29.- М.: Наука, 1977, с. 215-219.

35. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974,- 325 с.

36. Налимов В.В., Мульченко З.М. Наукометрия. М.: Наука, 1969. - 211 с.

37. Николаев В.Н., Темков В.Н. Об одном методе формирования экспертной оценки. Известия АН СССР, Техническая кибернетика, 1973, №5, с. 32-36.

38. Орлов А.Н. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества. В кн.: Многомерный статистический анализ в социально-экономических исследованиях. Ученые записки по статистике, т. 26.

39. М.: Наука, 1974, с. 388-393.

40. Орлов А.И. Проблемы устойчивости и обоснованности решений в теории экспертных оценок. В кн.: Статистические методы анализа экспертных оценок. Ученые записки по статистике, т. 29. - М.: Наука, 1977, с. 7-30.

41. Орлов А.И. Прикладная теория измерений. В кн.: Прикладной многомерный статистический анализ. Ученые записки по статистике, т. 33. - М.: Наука, 1978, с. 68-138.

42. Патругин Ю.А. Балльное шкалирование признака. Экономика и математические методы, 1970, т. У1, № 6, с. 887-893.

43. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. М.: Экономика, 1974. - 189 с.

44. Раппопорт A.M., Шпейдерман М.В. Анализ экспертных суждений, заданных в виде структур. В кн.: Прикладной многомерный статистический анализ. Ученые записки по статистике, т. 33. - М.: Наука, 1978, с. 150-164.

45. Сатаров Г.А., Каменский B.C. Общий подход к анализу экспертных оценок методами неметрического многомерного шкалирования. В сб.: Статистические методы анализа экспертных оценок. - М.: Наука, 1977, с. 54-69.

46. Сатлер В.М., Хорт Л.П., Привальская С.Р. Метод вычисления приоритетов в задаче составления расписаний. В кн.:

47. Сборник работ по математической кибернетике. М.: Щ АН СССР, 1976, вып. I, с. 240-245.

48. Сироджа И.Б. Структурно-аналитический метод распознавания образцов с разнотипными признаками. В кн.: Математические методы анализа динамических систем, вып. 5, Харьков, 1981, с. 91-107.

49. Смехов Б.М. Перспективное народнохозяйственное планирование.- М.: Экономика, 1968. 285 с.

50. Смирнов А.Д. Моделирование и прогнозирование социалистического воспроизводства. М.: Экономика, 1970. - 219 с.

51. Тамм Б.Г., Тыугу Э.Х. Пакеты программ. Изв. АН СССР. Техническая кибернетика, 1977, № 5, с. III-I24.

52. Тюрин Ю.Н., Литвак Б.Г. и др. Анализ нечисловой информации. В кн.: Всесоюзная школа "Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа": Тез. докл. всесоюзной школы. Цахкадзор (Арм. ССР) 1979, с. 231-243.

53. Тюрин Ю.Н. Непараметрические методы статистики. М.: Знание, 1978. - 61 с.

54. Цикунов И.К. Принципы построения системы анализа ситуаций на основе метода "максимальной возможности". В кн.:1У симпозиум по кибернетике. Сборник докладов. 3. Проблемы коллективных решений и экспертных оценок. Тбилиси: ИК АН ГССР, 1972, с. 38-44.

55. Ямпольский С.М., Хилюк Ф.М., Лисичкин В.А. Проблемы научно-технического прогнозирования. М.: Экономика, 1969.- 358 с.

56. Янч Э. Прогнозирование научно-технического прогресса. М.:1. Мир, 1970 563 с.

57. Экспертные оценки. Вопросы кибернетики, вып. 58. М.: Научный совет АН СССР по комплексной проблеме "Кибернетика". 1979. -197 с.

58. Экспертные оценки в системном анализе. М.: ВНИИСИ, 1979. - 115 с.

59. Эйрес Р. Научно-техническое прогнозирование и долгосрочное планирование. М.: Мир, 1971. - 291 с.1. Иностранная литература

60. Ceh&« Н, MazHnoJ., /v ^ Se&ctu1. Шге/7.61. л/.^ Л* Ёхрги/кмие fo-/tfieaMcto e/Metefyti A/eMotf -/с/Лг fcfe Sx^v/J3- , Jb/tiee,у. /У2 Szo.62. fiotc/ort^ & /2е/£>с>г/ c>*7 а- Л/S-2S.63. A A/zxt/wcw ^A^/toot/-/Р/о/яе/г/са-; и л/? з

61. М., /(иг^ве^ У. Л/. /I ityeс ewe^Y <Zs/a£ ^сг&б/гаУ/е ^ff/jf? /яxre^gews, <f/4M. и. J/s 9р. 324-542. 65 Т/?е fircLnsssip с/г№/7 J° /ftf^Ot/MwZ /Ь/97 /&t/£f1. A/ew- S9P3.bb.MjzfiAisif A-, W/ef //.S, Яма,Jozsa?-t///?ms, /jeac/em/e-/hess p /Yeи/- УогА,,

62. Tec^tfogp^i ea 9 АЪъеесм*/*/?^ fipz/zeva-Ye.1. Д Jc/rfa*. S.- /Ьолс/о/?; 38о,

63. Zw/C/iy Л А/оГуОАо^оЯу <р/ Pro^drczre. /Ъ-ш&г. Pas&c/e/?/, /962., /?.3oS,

64. Zw'C/fo P. А/оъ^йобЬр'еа£ /ff/r&frosv^f.1937, -/93?, /?. 32470. We&s M В• s>/7^, /Pezjfa/np/7 Press, бк/огс/,

65. Mo 4./.; J/c/)ct<?//J.£., Ж&яалу.а 77?e Pes^

66. Atrtf/e^c/ /r<??eca,s//*?p9 -fc///7fouvf/?? 1969, />. 2.90,73. Sbff^Y ^ 9 fot 7/tzs/ty ал с/ /Рогге //ее frfew Jetsi, /?. 39o.