Анализ и разработка операционной системы в проекте МИНИМАКС тема автореферата и диссертации по математике, 01.01.10 ВАК РФ

ВВЕДЕНИЕ.

ГЛАВА I.КТУРА И ОСОБЕННОСТИ ФУНКЦИОНИРОВАНИЯ

БАЗОВЫХ СРЕДСТВ ОПЕРАЦИОННОЙ СИСТЕМЫ. II

1.1. Принципы построения и общая струк тура ОС. II

1.2. Диспетчеры элементарных машин и язык системы.

1.3. Процессы и языки для взаимодействия процессов.

1.4. Старшие диспетчеры.

1.5. Резюме.

ГЛАВА 2. МОДЕЛЬ ВЗАИМОДЕЙСТВИЙ БЛОКОВ ОПЕРАЦИОН

НОЙ СИСТЕМЫ.

2.1. Постановка задачи.

2.2. Первый способ обслуживания заявок.

2.3. Второй способ обслуживания заявок.

2.4. Численный анализ задержек процессов 91 в системе МИНИМАКС.

2.5. Резюме.

ГЛАВА 3. МЕТОДЫ ПРОГРАММНОЙ ОРГАНИЗАЦИИ 0ТКА30УС

ТОЙЧИВЫХ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ.

3.1. Схемы применения точек контроля и возврата.

3.2. Предварительная подготовка парал -лельных программ и функции блоков ОС, обеспечивающих отказоустойчи -вость вычислений. ЮЗ

3.3. Определение оптимальных временных шагов, необходимых для контроля вычислений.

3.4. Организация отказоустойчивости в системе МИНИМАКС.

3.5. Резюме.

ГЛАВА. 4. ПОСТРОЕНИЕ СИСТЕМЫ СБОРА, ХРАНЕНИЯ И ПЕ

РЕРАБОТКИ ДАННЫХ НА ОСНОВЕ ОС МИНИМАКС.

4.1. Общее описание и структура системы "РАЙОН".

4.2. Применение ОС МИНИМАКС.

4.3. База данных районного уровня.

4.4. Язык управления базой данных.

4.5. Резюме.

Важнейшими аспектами развития средств вычислительной техники в настоящее время являются повышение ее быстродействия и надежности, улучшение экономических и эксплуатационных характеристик, упрощения связи с пользователями и т.п. Одним из базовых направлений этого развития считается построение модульных многопроцессорных систем, различные классы которых отличаются друг от друга типами и количеством модулей. Успехи интегральной технологии позволяют говорить об установках, в которых каждый модуль имеет свой процессор и свою память. Примерами таких модулей могут служит однокристальные ЭВМ, сходные по своим возможностям с современными малыми ЭВМ. Массовый выпуск мини- и микро-ЭВМ облегчает задачу построения различных макетов вычислительных систем (ВС) на базе модулей такого типа и отработку на них новых архитектурных решений. Вместе с этим, мульти-мини- машинные системы имеют и самостоятельный интерес, позволяют строить проблемно-ориентированные комплексы, обладающие при меньшей стоимости (по сравнению с универсальными ЭВМ) лучшей реакцией на запрос при работе в реальном времени, большей надежностью при круглосуточном цикле функционирования, меньшими сроками окупаемости капитальных затрат и т.п.

Областями применения таких комплексов являются: решение задач управления, в том числе в режиме реального времени (например, управление технологическими процессами, крупными транспортными узлами, воздушным движением); задачи при решении которых требуется обеспечение высокой надежности, живучести и достоверности процесса обработки данных (например, управление ядерными реакторами, воздушным движением). Помимо перечисленных задач, на таких системах могут решаться с той или иной степенью эффективности и чисто вычислительные задачи, представленные параллельными алгоритмами. Это особенно удобно в тех случаях, когда задачи такого класса в некоторой интегральной системе управления не составляют основной доли всех вычислений.

Для эффективного использования возможностей мульти-мини-машинных систем необходимо построение и исследование операционных систем (ОС), основанных на различных методологиче* ских подходах. Проблемам организации параллельных вычислений посвящены работы А.Б.Барского [4], Б.А.Бабаяна [в], А.П.Ершова [2], Г.Г.Иванникова [9], Ю.В.Капитоновой [ю] , А.Н.Королева [7], Ю.Г.Косарева [1,14], В.Е.Котова [з]; А.А.Летичевского [ю], С.Д.Пашкеева [б], Д.А.Поспелова б], Э.А.Трахтенгерца [12], Е.А.Ющенко [13], Э.Дейкстры (Е.])1^-^РЭ) [16], К.Рамомурти(С.(?ат0т00гИ1^) [19], А.Хабер-мана (АНаЬегтаи) [ю], Б.Хансена (В.Нашзеп) [15,25], к.хооре (С.Ноаге) [17] и др.

Вместе с тем, опыт проектирования операционных систем в первую очередь касается многопроцессорных ЭВМ с общей памятью и сетей ЭВМ. Опыт же построения ОС для систем рассматриваемого класса, предлагающих параллельную обработку данных при решении одной задачи, является еще недостаточным.

В настоящее время создаются и уже созданы вычислительные средства на базе малых ЭВМ, объединенных в систему с целью достижения необходимых технических и эксплуатационных характеристик. При этом используются различные способы объединения ЭВМ: вычислительные системы со связями между машинами через дуплексные регистры и каналы межпроцессорной связи (ВС на основе мини-ЭВМ М-6000/М-7000 АСВТ-М и CM-I и СМ-2 [20,2l]); ВС с общими внешними ресурсами (ВС на базе АСВТ-М с разветвителем сопряжения 2К, ВС на базе СМ ЭВМ с модулем ПШ СМ); ВС с машинами посредниками, где осуществлено разделение функций (система Spider [22], система РАДИУС [27]); ВС с общей шиной (модуль AMC СМ [2б] позволяет объединить СМ ЭВМ таким способом); ВС с общими памятью и шиной (система C.mmp [24] ); ВС с многовходовой оперативной памятью (система Prime [23]).

Во многих этих системах используются неоднотипные мини-ЭВМ, при выборе средств коммутации для ВС не учитываются необходимость наращивания системы и специфика системных взаимодействий в условиях распараллеливания вычислений. Коммутаторы расчитываются, в основном, лишь на попарные взаимодействия мини-ЭВМ, базирующиеся на разделении во времени средств сопряжения. Реконфигурация, программируемость структуры не носит развитого характера, осуществляется,как правило, вручную.

Данная работа связана с исследованиями в области программных средств организации параллельных вычислений, выполненных под руководством Н.Н.Миренкова в рамках научно-исследовательского проекта МИНИМАКС. Одним из внешних условий этого проекта было предположение о том, что аппаратура мульти-мини- машинной системы обладает следующими свойствами: I) позволяет организовать решение одной задачи на всей системе или нескольких задач на различных подсистемах; 2) предоставляет возможность программным способом перестраивать структуру связей между ЭВМ; 3) обладает определенной однородностью своих основных модулей (элементарных машин), позволяет наращивать их число в широких пределах.

Следует отметить, что подобные предположения используются и в более позднем проекте МИКРОС [28], в котором базовое внимание уделено применению механизмов близким к тем, которые реализуются в сетях ЭВМ.

Важная особенность проекта МИНИМАКС - использование принципа иерархического управления, при котором принятие решений разнесено по нескольким уровням, и связано I) с базовым набором режимов работы подсистем, 2) с преимущественным назначением элементарной машины отдельному пользовательскому процессу.

Целью диссертации является исследование и разработка в рамках проекта МИНИМАКС операционной системы для однородных мульти-мини - машинных систем с программируемой структурой. Достижение цели связывается с рассмотрением следующих задач:

1) разработкой структуры операционной системы и алгоритмов базовых функциональных блоков;

2) аналитическим исследованием взаимодействий этих блоков;

3) разработкой методики программной организации отказоустойчивых параллельных вычислений;

4) созданием экспериментальной ОС и реализацией на.ее основе специализированной системы сбора, хранения и переработки данных.

Методы исследования опираются на теорию массового обслуживания, параллельную обработку данных и системное программирование .

Научная новизна работы связана с предложенной структурой и составом базовых блоков ОС, разработанной моделью взаимодействий блоков и исследованием временных характеристик этих взаимодействий, разработкой алгоритмов управления процессами, происходящими в разных элементарных машинах, подходами к программной реализации отказоустойчивых вычислений.

Практическая ценность работы состоит в следующем.

1. Создана операционная система МИНИМАКС, обеспечивающая базу для проведения экспериментов по параллельному программированию. На основе этой ОС разработана экспериментальная система сбора, хранения и обработки данных районного уровня.

2. Получены расчетные формулы и составлена программа, позволяющая вычислять среднее время доступа процесса, происходящего в одной ЭВМ, к памяти другой ЭВМ, а так же расчетные формулы и программа для оптимизации временных шагов, через которые необходим контроль аппаратуры и анализ вычислений. Проведен численный анализ взаимодействий блоков ОС.

Использование результатов работы. Результаты работы нашли свое применение в Институте математики СО АН СССР при создании 3-х машинной системы МИНИМАКС, предназначенной для исследований по параллельной обработке данных, в Сибирском филиале ВГПТИ ЦСУ СССР (Новосибирск) при выполнении работ по системам переработки статистических данных, в ОКБ "Меркурий" (Смоленск) при создании проблемно-ориентированных вычислительных систем.

Аппробация. Основные результаты работы обсуждались на семинаре Лаборатории математического обеспечения Института математики СО АН СССР, на 1У Всесоюзном симпозиуме по проблемам избыточности (Ленинград, 1974), на 1У Всесоюзной конференции по однородным вычислительным системам и средам (Киев, 1975), на Всесоюзной конференции им.А.С.Попова (Новосибирск, 1975), на Всесоюзных школах-семинарах "Высокопроизводительные системы и параллельное программирование" (Алушта, 1962, Уфа 1984) и опубликованы в 18 работах.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Содержит 140 страниц основного текста, I приложение, 38 рисунков. Общий объем диссертации 183 страницы. Библиография содержит 77 наименований.

Результаты работы, кроме Института математики СО АН СССР, где основное время выполнялся проект МИНИМАКС, нашли свое применение в ОКБ "Меркурий" (Г.Смоленск) при создании проблемно-ориентированных мульти-микро-машинных систем, а также в Западно-сибирском филиале ВГПТй ЦСУ СССР (г.Новосибирск) при выполнении работ по распределенным системам обработки статистических данных.

ЗАКЛЮЧЕНИЕ

Основным итогом работы является создание в рамках научно-исследовательского проекта МИНЙМАКС операционной системы (ОС) для мульти-мини-машинного комплекса с программируемой структурой. Разработанная ОС обладает широкими возможностями для проведения экспериментов по отработке методов и средств организации параллельных вычислений. Её важной особенностью является базовая ориентация на достижение высокой эффективности при решении одной задачи на нескольких машинах системы, а также стремление к организации отказоустойчивых вычислений. Работу раскрывают следующие результаты:

1. Предложена структура и состав базовых блоков ОС, ориентированных на управление однородными модульными многопроцессорными системами с программируемой структурой, в которых роль модуля могут играть электронные устройства с возможностями современных мини- и микро- ЭВМ.

2. Создана модель взаимодействий блоков ОС и исследованы временные характеристики этих взаимодействий.

3. Разработаны алгоритмы управления процессами, происходящими в разных машинах системы.

4. Рассмотрена общая схема программной реализации отказоустойчивых вычислений, в рамках которой решена задача об оптимизации временных шагов, через которые необходим анализ состояния обработки данных.

5. На основе созданной ОС проведены многочисленные эксперименты, связанные с решением широкого класса задач. В частности, разработана экспериментальная система сбора, хранения и обработки данных статистического учета районного уровня.

1. Евреинов Э.Ё., Косарев Ю,Г. Однородные универсальные вычислительные системы высокой производительности.-Новосибирск, Наука, 1966. -308 с.

2. Ершов А.П. Математическое обеспечение четвертого поколения. -Киев: Кибернетика, 1973, №1, с.9-20.

3. Котов В.Е. Теория параллельного программирования. Прикладные аспекты. -Киев: Кибернетика, 1974, И, с.3-17.

4. Барский А.Б. Способы динамического распараллеливания вычислений. -М.: Техническая кибернетика, 1971, №5, с.108-114.

5. Паш нее в С. Д. Основы мультипрограммирования для специализированных вычислительных систем. -М.: Советское радио, 1972. 183 с.

6. Поспелов Д.А. Введение в теорию вычислительных систем. -М.: Советское радио, 1972. 280 с.

7. Королёв Л.Н. Методика построения операционных систем. -В сб.: Проблемы прикладной математики и механики. М.: Наука, 1971, с. 117-128.

8. Бабаян Б.А. Основные принципы программного обеспечения в МВК Эльбрус. -М.: 1977. -(Препринт/Институт точной механики и вычислительной техники: №5).

9. Иванников Г.Г. Мониторная система Дубна для ЭВМ БЭСМ-6. -В кн.: Труды П Всесоюзной конференции по программированию. -Новосибирск, 1970.

10. Глушков В.М,, Капитонова Ю. В., ЛетичевсикийА.А. Методика проектирования вычислительных машин четвертого и следующих поколений. Киев: Кибернетика, 1973, №1, с.3-8.

11. Горин В.Г., Инденбаум М.Я., Королёв В.М., Переходов В.В., Поздняк Г.Е., Хвостанцев м.А. Микромашинная однородная вычислительная система ПАРОМ. -Киев: Управляющие системы и машины, 1982, № 4, с.66-71.

12. Трахтенгерц Э.А. Введение в теорию анализа и распараллеливания программ ЭВМ в процессе трансляции. М.: Наука, 1981. - 254 с.

13. Глушков В.М., Цейтлин Г.Е., Ющенко Е.Л. Методы символьной мультиобработки. -Киев: Наукова думка, 1980. 252 с.

14. Косарев Ю.Г. 0 схемах обмена между ветвями параллельных алгоритмов. -В кн.: Вычислительные системы, вып. 51. Новосибирск, 1972, с. 70-75.

15. Н ceruse.^ Р. В. Sfciix^faxa^- JHu/fcb^^s^m^Ai*^.

16. От. ЛСМ3 Jafy.; mZ, V. , У- k, p. .

17. E-W-Tfa SUouztcci*- ot-tfLz, "THE"

18. ЛаССС/эЮахс^М^И^ Се>УП. JfCM,1. V.11, A^s; p. V

19. Ноаяе- C.fi.fL.MonltoTA : Луи

20. StULcfotuL^LHQ CorL6€f>t. Con?. J CM J Oc^b-gej^ ,43?4, V.I?, S43-SSS.

21. НоьВ-еъмсаг, ЛМ. 0.pw2diyuj, Sy-dtav Sbitdctustc,f>£ CoУприиЬгл-* . Jieutk^jmeutic^C- СекЛ/г.е Toou^c&S- 63 Jhwi't-esuiL&syri y

22. RotmoLyrjooztiu^, C.I/.J PouxJc J.H., Li H.F. Compel -■Utp^Zje^&S&J&L, icu^ts.Ъ CK, (XszctJLynestc^- IFFE ok Comput., -13Z3,1. V. c-22,№11,p.9S1-338 .

23. Резанов В.В., Винокуров В.Г., йтенберг И.И. и др. Новый набор агрегатных модулей и дальнейшее развитие системы АС ВТ. -Труды НИИ УВМ. -Северодонецк, 1970, вып. 2.

24. Резанов В.В., Костелянский В.М. Управляющие вычислительные комплексы СМ-1 и СМ-2. М.: Приборы и системы управления, 1977, № 10, с. 6-9.22. Ръл^&ъ Л. Л IгиЛигълк.- ЪесЕоитоМок,^ ^ЗЧ^, V. М- р. .

25. Воидкс/г^ И. В. у Воъ^ъъьоуи ВЛу И. РИТМ Е- Л ¡пооСиХа^ ¿Ъ'ссД^^^х^и^г^ -^ох, ¿е^ —- би^Хллп^ — Ръос,

26. Сок$.9 тг, V. чо,р. Рг***.,1. МоушньЛе., У-еи*

27. Ш\аЦ> Ц, Л- Ьхи^с ПхЗли-оък . —1. V. тль м-2,р. т-в'о.25. Р. В. о<( ви ПьсоС£ср\а ъъьлгиьиия -ЗчЪ^Уп. Сотупииъъ. ЛСМ. 1140, у. -/з, № ч, р. °гъ у - 2,5'о. '

28. Малые ЭВМ и их применение /Ю.А.Дедов, М.А.Островский, К.В.Песелев и др.; Под общей редакцией Б.Н.Наумова* -М.: Статистика, 1980. 231с.

29. Сидоров В.А., Сысолетин Б.Л., Шувалов Б.Н. Программное обеспечение системы РАДИУС. Киев: Управляющие системы и машины, 1978, №1, с. 101-103.

30. Архитектура вычислительных систем с программируемой структурой /Корнеев В.В., Хорошевский В.Г./- Новосибирск, 1979. 43 е., 45 с. (Препринты/Институт математики СО АН СССР: 0ВС-Ю, 0ВС-П).

31. Программное обеспечение системы МИНИМАКС /Кербель В.Г., Колосова Ю.И., Корнеев В.Д., Крылов Э.Г., Миренков H.H./ -Новосибирск, 1979. 43 с. -(Препринт/Институт математики1. СО АН СССР: 0ВС-09).

32. Миренков H.H. Однородные вычислительные системы. Структурная организация операционных систем. Части I и 2. -Новосибирск, 1977. - 48 е., 47 с. -(Препринты ИМ СО АН СССР; 0BC-I, ОВС-2).

33. Корнеев В.Д. Операционная система МИНИМАКС. -В кн.: Вычислительные системы, вып. 78. Математическое обеспечение вычислительных систем. -Новосибирск, 1979, с. 3-30.

34. Корнеев В.Д. Программные средства для организации отказоустойчивых вычислений в системе МИНИМАКС. Там же,с. 40-53.

35. Корнеев В.Д., Колосава Ю.И., Кербель В.Г., Миренков H.H., Щербаков Е.В., Средства программирования системы МИНИМАКС.

36. В кн.: Вычислительные системы, вып.60. Новосибирск, 1974,с. 143-152.

37. Корнеев В.Д., Колосова Ю.И., Кербель В.Г.»Миренков H.H., Щербаков Е.В. Управляющая программа системы МИНИМАКС. Тамже, с. 129-142.

38. Корнеев В.Д. Программные методы организации высоконадежных вычислений. -В кн.: Однородные вычислительные системы и среды. Часть I. Материалы 1У Всесоюзной конференции. -Киев: Наукова думка, 1975, с. 89-91.

39. Корнеев В.Д., Мйренков H.H. Организация высоконадежного счета в однородных вычислительных системах. Киев: Управляющие системы и машины, 1976, № 4, с. 46-54.

40. Винокуров В.Г., Димитриев Ю.К., Евреинов Э.В., Костелянский В.М., Леханова Г.М., Миренков H.H., Резанов В.В., Хорошевский В.Г. Однородная вычислительная машина из мини-машин. -В кн.: Вычислительные системы, вып. 51. -Новосибирск, 1972, с. 127-146.

41. Колосова Ю.И. Языки для описания параллельных процессов. Операторы групповых взаимодействий. Новосибирск,1977.- Отчет ИМ СО АН СССР. 39 с.

42. Корнеев В.Д. Супервизор реального времени однородной вычислительной системы МИНИМАКС. Новосибирск, 1978. - Отчет ИМ СО АН СССР. - 105 с.

43. Крылов Э.Г. Загрузка параллельных программ в однородную вычислительную систему МИНИМАКС. Новосибирск, 1979.- Отчет ИМ СО АН СССР. 83 с.

44. Димитриев Ю.К., Шум Л.С., Томилов Ю.Ф., Потапова Ю.Н., Блок коммутации и взаимодействие электронных машин управляющей однородной вычислительной системы. -В кн.: Вычислительные системы. -Новосибирск, 1970, вып. 39, с.128-136.

45. Корнеев В.Д. Стохастическая модель взаимодействий блоков операционной системы МИНИМАКС. -В кн.: Вычислительные системы, вып. 96. Математическое обеспечение ВС из микро-ЭВМ.- Новосибирск, 1983, с. 29-50.

46. Корнеев В.Д., Колосова Ю.И. Автоматизация параллельного программирования для однородной вычислительной системы МИНИМАКС. -В кн.: Материалы ХУШ областной конференцииим. А.С.Попова. Новосибирск, 1975.

47. Миренков H.H., Колосова Ю.И., Кербель В.Г., Корнеев В.Д., Крылов Э.Г. и др. Система сбора, хранения и обработки статистических данных районного звена ЦСУ СССР (Сисстема "РАЙОН" ЦСУ). Новосибирск, 1981. - Отчет ИМ СО АН СССР. - 114 с.

48. Миренков H.H., Кербель В.Г., Колосова Ю.И., Корнеев В.Д., Крылов Э.Г. Опыт разработки и эксплуатации системы МИНИМАКС. -Тезисы 1У Всесоюзного симпозиума СТП. Кишинев, 1983, с. 270-171.

49. JW^teft^c5 Л. Г^е- STAR. CompLcte^: Лк^ti^jxtCoK, о{ t&ji, tkjbO^L ocuxt o^

50. OLüL&t -to&n^ut tomp^tesi^ cLe^>^n^. —IEFE48. boutMviK^ R. W.y Mou^aJc J.S.j Тиощ^л^оЫсь L. S.

51. Mo 1ES5 BuM. Sua tj ТгеАк,.

52. J.,-13e4yV. pt 1,/э. 9.0-13. f

53. ЛноСеялоги J.E.j JHouo'U- F.J. MbuCiipfz, ХлЛи-няСa^pp-CocoutcoK^ im, ou c^m^jhuuU^.— lib:

54. Pxoc. 13G? fin,!^. Sumb. freXiaJ^LtLhj.j WaA&ujqto^

55. CaTvtesc VJ. C. Tdeot^ ocuxL ииб<- oif oJue^ ü*xj. Cbv^i^itb. In.: Computes^

56. Clt^, EnjnC&MjdL: lyufotiLdL IfrfoismsbtioKs Ltd.v №ЧЦ3 p. 443-4W.

57. Уэнсли Дж. X., Лэмпорт Л, и др.1. SIFT

58. Проектирование и анализ отказоустойчивой вычислительной системы для управления полетом летательного аппарата. Журн. Труды института инженеров по электротехнике и радиоэлектронике, т.66, № 10, октябрь 1978, с. 166-185.

59. Катсуки Д., Элсам Э.С. и др. ЩииплЛссъ отказоустойчивый операционный мультипроцессор. -Журн. ТИИЭР, т.66, № 10, октябрь 1978, с. 49-67.

60. Ихара X. Фукуока К. и др. Отказоустойчивая вычислительная система с тремя симметричными вычислительными машинами. -Журн. ТИИЭР, т.66, № 10, октябрь 1978, с. 68-88.

61. Движение А. Отказоустойчивость свойство обеспечивающее постоянную работоспособность цифровых систем. -Журн. ТИИЭР, т.66, № 10, октябрь 1978, с. 5-25.

62. Миренков H.H., Параллельные программы для решения задач на однородных вычислительных системах, вып. 57. Новосибирск, 1973, с. 3-32.

63. Миренков H.H., Фишерман С.Б. Распознавание подсистем заданных структур в однородных вычислительных системах. -В кн.: Вычислительные системы, вып. 63. Новосибирск, 1975, с. 44-53.

64. Константинов В.И., Корнеев В.Д., Миренков H.H. и др. Язык параллельных алгоритмов. -В кн.: Вычислительные системы, Новосибирск, 1973, вып. 57, с. 33-54.

65. Константинов В.И., Корнеев В.Д., Миренков H.H. и др. Транслятор с языка параллельных алгоритмов. -В кн.: Вычислительные системы, вып.57. Новосибирск, 1973,с. 55-73.

66. Корнеев В.Д. Подсистема хранения данных районного звена на базе вычислительного комплекса МИНИМАКС. -1У Всесоюзная школа-семинар "Параллельное программирование и высокопроизводительные системы.-Киев: Наукова думка, 1982,ч.4,с.31-33.

67. Кербель В.Г., Колосова Ю.И., Корнеев В.Д., Крылов Э.Г., Миренков H.H. Система сбора, хранения и переработки данных районного звена. Там же, с. 26-28.

68. Колосова Ю.И., Кербель Н.&, Кербель В.Г. Параллельные программы для системы МИНИМАКС. -В кн.: Вычислительные системы, вып. 78. Математическое обеспечение вычислительных систем. -Новосибирск, 1979, с.78-89.

69. Никитин А.И. Вопросы архитектуры и операционных систем многомашинных комплексов. -В кн.: Операционные системы комплексов ЭЦВМ. Киев: ИК АН УССР, 1972, с.3-12.

70. Головкин Б.А. Параллельные вычислительные системы. -М.: Наука, 1980. 519 с.

71. Иванников В.П., Киреева Т.В., Королёв Л.Н., Максаков В.И., Эланская Л.В. Мониторная система для связи БЭСМ-6 с машиной ввода-вывода на базе диспетчера НД-70. -В кн.: Операционные системы комплексов ЭЦВМ. -Киев: ИК АН УССР, 1972, с. 13-21.

72. Редько В.А. Многомашинный вычислительный комплекс в системе обработки научной информации. -В кн.: ЕЫчислитель-ные комплексы в системах автоматизации исследований.-Рига: Зинатне, 1977, с. 73-79.

73. Дражжинов В.И., Мямлин А.Н. Системный анализ архитектуры сетей ЭВМ. -М., 1976. 39 с. (Препринт/ИПМ АН СССР:№2)

74. Метляев Ю.В. Переферийный центр обработки на базе мини-ЭВМ (М-7000, СМ-2) и системы КАМАК. -В кн.: Программное и техническое обеспечение ВЦ КП: Сб. научн.тр. ВЦ СО АН СССР, Новосибирск, 1978, с. 169-185.

75. Кутепов В.П., Кораблин Ю.П., Тиц П.Г., Вопросы реализации параллельных алгоритмов на вычислительных системах. -Киев: Программирование, 1975, №2, с.3-10.

76. Нуриев P.M. Об алгоритмах распараллеливания системы циклов над массивами. -В кн.: Вычислительные системы, вып.73. Вопросы теории и построения вычислительных систем. -Новосибирск, 1978, с. I38-151.

77. Волков Ю.М., Ерофеев Ю.Ф., Жиратков В.И., Малявко А.А., Мищенко В.К. Распределенная вычислительная система АСТРА.-В кн.: Вычислительные системы, вып. 63. -Новосибирск, 1975, с. 132-139.

78. Эфрос Л.Б. Организация многомашинных вычислительных систем, ориентированных на коллективное использование средств вычислительной техники. -Новосибирск, 1980. 21 с. (Препринт/ ВЦ СО АН СССР: №255).

79. Мямлин А.Н. Экспериментальная сеть ЭВМ коллективного пользования СЕКОП. -М., 1978. 23 с. (Препринт/ИПМ АН СССР: №30).

80. Кузнецов Е.П. О принципах обработки информации в условиях ВЦ КП СО АН СССР. -В кн.: Вычислительные системы коллективного пользования: Сб. науч. тр. ВЦ СО АН СССР, Новосибирск, 1980, с. 42-50.

81. Прангишвили И.В., Горинович Л.Н., Игнатущенко В.В. и др. Организация вычислений на однородной управляющей вычислительной системе с перестраиваемой структурой. -В кн.:1. РъеЬof IMC. WiÜlkJcL,

82. Медведев И.А., Прангишвили И.В., Чудин A.A. Многопроцессорные вычислительные системы с перестраиваемой структурой. -М.: 1975. 73 с. (Препринт/ИПУ).

83. Халилов А.И. Некоторые вопросы организации баз данных в сложных системах автоматизированного управления. -Киев: Кибернетика, 1981, № 3, с. 40-45.