Разработка модели программных систем контроля и управления ускорителями и ее реализация на ускорительном комплексе ИФВЭ тема автореферата и диссертации по физике, 01.04.20 ВАК РФ
Воеводин, Валерий Павлович
АВТОР
|
||||
доктора физико-математических наук
УЧЕНАЯ СТЕПЕНЬ
|
||||
Протвино
МЕСТО ЗАЩИТЫ
|
||||
2000
ГОД ЗАЩИТЫ
|
|
01.04.20
КОД ВАК РФ
|
||
|
н ь ин
ф ГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР РОССИЙСКОЙ ФЕДЕРАЦИИ
ИНСТИТУТ ФИЗИКИ ВЫСОКИХ ЭНЕРГИЙ
РАЗРАБОТКА МОДЕЛИ ПРОГРАММНЫХ СИСТЕМ КОНТРОЛЯ И УПРАВЛЕНИЯ УСКОРИТЕЛЯМИ И ЕЕ РЕАЛИЗАЦИЯ НА УСКОРИТЕЛЬНОМ КОМПЛЕКСЕ ИФВЭ
01.04.20 — физика пучков заряженных частиц и ускорительная техника
Автореферат диссертации на соискание ученой степени доктора физико-математических наук
ЕРИ
На правах рукописи
2000-19
Воеводин Валерий Павлович
Протвино 2000
УДК 539.1.07
М-:
Работа выполнена в ГНЦ РФ Институт физики высоких энерп (г. Протвино).
Официальные оппоненты: доктор физико-математических н ук В.Н.Беляев (МИФИ), доктор технических наук В.И.Беляке Бодин (ИТЭФ), доктор физико-математических наук Ю.А.Чеснок (ИФВЭ).
Ведущая организация - Московский радио-технический инстит? (МРТИ РАН).
Защита диссертации состоится "_"-2000
в_часов на заседании диссертационного совета Д 034.02.
при Институте физики высоких энергий по адресу: 1422? г.Протвино Московской обл.
С диссертацией можно ознакомиться в библиотеке ИФВЭ. Автореферат разослан "_" __ 2000 ]
Ученый секретарь
диссертационного совета Д 034.02.01 Ю.Г.Рябс
© Государственный научный центр Российской Федерации Институт физики высоких энергий, 200
21 03
Общая характеристика работы
Актуальность темы. По мере развития вычислительных редств и программных технологий, более глубокого их пронгск-овения в современную ускорительную технику возрастают роль и начимость проектирования системы управления в делом, ее струк-уры и принципов организации. К началу 90-х годов в мире в бщих чертах определилась "стандартная трехуровневая архитек-ура" вычислительных и коммуникационных средств современных истем управления (СУ). Что касается программного обеспечения ПО), то единого подхода в этой области до сих пор нет, несмо-ря на то, что предпринимаются серьезные усилия к унификации [О и минимизации затрат на разработку и создание программных истем. Направления, наиболее актуальные в настоящее время, мож-:о, например, определить из названий секций международных конвенций ЮАЬЕРСБ, посвященных исключительно системам упра-ления ускорителями и большими экспериментальными установка-си: программные технологии, базы данных, графический интерфейс еловек-машина и др.
В ИФВЭ в конце 70-х годов возникла задача создания итерированной СУ как неотъемлемой части строящегося бустерного инхротрона У-1.5 с каналами ввода и вывода пучков. Бустерный инхротрон был первым в ИФВЭ ускорителем без средств ручного онтроля и управления на большинстве технологических подсистем,
работа с которыми уже с этапа проектирования предполагалась * ключительно через СУ. Параллельно, одновременно и согласован велись разработки и ускорителя, и системы управления как неот емлемой части бустера.
В 1994 г. были начаты работы по созданию новой единой систем управления всего действующего ускорительного комплекса ИФВЭ : энергию 70 ГэВ.
Проблема создания интегрированных систем управления пр обретает особую актуальность для больших ускорителей и для с вместно работающих комплексов из нескольких ускорителей, ког, технологическое оборудование распределено по значительной те ритории и располагается в различных зданиях. Разработка и р ализадия программных систем управления ускорителями являют наиболее наукоемкой частью СУ, роль которой постоянно растет ] мере развития информационных и программных технологий.
Цель диссертационной работы заключается в:
1) адаптации методологий и технологий науки программиров ния с целью внедрения их в ускорительную технику;
2) разработке модели программных систем контроля и управл ния ускорителями на основании результатов исследования техн ческих особенностей и режимов работы ускорительного комплек ИФВЭ с точки зрения их влияния на автоматизацию технологич ских процессов производства пучков заряженных частиц;
3) разработке в соответствии с моделью методов реализащ программных систем, оптимизирующих требуемые бюджетные, в] числительные и кадровые ресурсы;
4) создании программных систем контроля и управления у скор телями по разработанным методам для конкретных реальных эк номических, технических и технологических условий.
Научная новизна и результаты. В диссертационной рабо' предлагается разработанная автором модель программных систе контроля и управления ускорителями, построенная на принципиал но новых концепциях и базовых принципах, решаются проблемы ' реализации на ускорительном комплексе ИФВЭ. Модель програз
шых систем ориентируется на управление технологическим провесом производства пучков заряженных частиц, а не управление борудовашгем ускорителя. Архитектура программного обеспечения :ак результат логического проектирования строится на базе инфор-1ационной модели, отображающей текущее состояние технологиче-кого процесса. Разрабатываемые в диссертации методы реализации годели программных систем определяются из формализованных объ-ктов информационной модели.
Первая реализация архитектурных узлов модели была выполнена i 70-80-х годах как интегрированная СУ бустера и его каналов шода и вывода на базе центральной мини-ЭВМ и р а спр еде ленных го каркасам КАМАК встроенных одноплатных микроЭВМ. Она шходилась в эксплуатации до 1998 г.
С 1994 г. в ИФВЭ были начаты разработка проекта, а затем и юздание новой единой интегрированной системы управления всего существующего комплекса ускорителей У-70. В целом проект СУ зазрабатывался в сотрудничестве с CERN, каждое предлагаемое зешение проходило экспертную оценку зарубежных специалистов из зяда ускорительных центров, имеющих богатый практический опыт i данной области. Предлагаемая модель программных систем была вдобрена, легла в основу проекта в части, касающейся программ-гого и информационного обеспечения, и была реализована на со-$ременных технических средствах и программных технологиях под эуководством и при непосредственном участии автора.
Практическая ценность диссертации заключается в следую-цем: разработана модель программных систем контроля и управления ускорителями; осуществлена ее реализация в системе управления бустерным синхротроном, которая находилась в эксплуатации з течение 17 лет и показала практичность и надежность принятых решений; выполнена вторая реализация в новой распределенной СУ всего ускорительного комплекса У-70, которая в настоящее время вносит вклад в обеспечение проведения сеансов и физических исследований в ИФВЭ.
Автор защищает:
о Разработку модели программных систем контроля и управления ускорителями, в основе которой лежат новые концепции и принципы. Модель программных систем включает в себя концептуальную, архитектурную и информационную составляющие и ориентируется на управление технологическим процессом, а не оборудованием, как это принято в других моделях. Архитектура программного обеспечения как результат логического проектирования строится на базе информационной модели, отображающей текущее состояние технологического процесса.
• Разработку методов реализации модели программных систем, которые определяются: 1) из формализованных объектов информационной модели, 2) по результатам исследования технических особенностей и режимов работы ускорительного комплекса ИФВЭ, 3) с учетом внешних параметров реализации — бюджет, сроки, кадры.
• Непосредственную реализацию программных систем ускорительного комплекса У-70, которая включает в себя управление динамическими данными, организацию распределенной обработки информации, управление транспортировкой сообщений в неоднородной коммуникационной среде, ПО реального времени для микропроцессоров нижнего уровня СУ, графический интерфейс с пользователем и средства интеграции ПО обработки данных.
Апробация результатов и публикации. Основу диссертации составляют 38 печатных работ [1-38], опубликованных в виде препринтов, докладов и журнальных статей. Разработки и полученные результаты докладывались на всероссийских и международных конференциях, симпозиумах и совещаниях.
Объем и структура диссертации. Диссертация изложена на 191 странице, состоит из введения, пяти глав и заключения. Содержит 41 рисунок и список цитируемой литературы из 151 наименования.
Содержание работы
В первой главе обсуждаются особенности использования суще-твующих методологий проектирования программного обеспечения ;ля анализа и разработки программных систем контроля и упра-ления ускорителями, которые формально рассматриваются как аб-трактные логические конструкции. В соответствхп! с введенными разами цикла жизни программных систем на первой стадии вырабатываются базовые требования к системе управления ускоритель-гого комплекса ИФВЭ в целом и к ее программно-информационным юставляющим. Далее выполняется этап абстрактного логического гроектирования интегрированных программных систем.
Существующие модели программных систем зависят от органи-(ации работ и в зарубежных ускорительных центрах не включают з себя ПО обработки данных и ПО непосредственного взаимодей-:твия с аппаратурой, а ускоритель в них описывается как установка з терминах логических устройств или логических каналов, что и определяет все дальнейшее построение архитектуры программных :истем. В предлагаемом подходе программные системы рассматриваются как совокупность всех программных компонент — от обслуживания интерфейсной электроники до взаимодействия с оператором ускорителя. В его основе лежит технологический процесс производства пучков заряженных частиц, который для программных систем описывается конечным множеством параметров А. Каждому параметру соответствует конечное множество допустимых дискретных значений
е АЗВ{, г = 1 ,п(А).
Под состоянием Б мы понимаем функцию, определенную на множестве А и принимающую значения в Д-:
V*. е АЗУ е А-5(*) = у.
Она ассоциирует параметр с его текущим значением. Множество текущих состояний всех параметров представляет собой информационную модель технологического процесса. Время, в течение которого это состояние устойчиво, т.е. модель адекватна текущему
состоянию ускорителей, зависит от динамики процессов и опред ляет необходимый темп переключения состояний информационнс модели. Тогда каждое множество Di является пространством сост яний параметра Xi £ А, а декартово произведение D1XD2X»»*XDTI( определяет конечное пространство всех допустимых состояний и: формационной модели. Множество всех подмножеств множества будем обозначать через Р(А), а его элементы назовем сообщ ниями. Отметим, что наше понимание функции состояния moí но распространить и на Р(А), т.е. для сообщения X £ P(j S(X) = {у/у = S(x)Vx £ X}.
Обозначим через М С Р{А) множество сообщений, которые им ют смысл в реальной программной системе. Будем говорить, 4i сообщение X порождает сообщение У, если существует эффекти ный процесс, переводящий X в Y. Если X порождает Y, то . находится в отношении Í2L с Y, что записывается в виде XR{\ Отношение Ri является отрицанием а запись XR{Y означав что X не порождает сообщение У. Выделим подмножества I С 1 и О С М такие, что
I = {i/i G МУх е Мх Ф ixR[i}, О = {j/j £ MVx £ М j ф xjR¡x
Таким образом, множество I содержит все допустимые в СУ вхо, ные, а О — все выходные сообщения, внешние по отношению ПО. Для программных систем управления ускорителями существ; ют по два внешних источника входной и получателя выходнс информации:
• человек — в нашей модели вводит управляющие сообщени только в физических терминах ускорителя из множества Фх I, а СУ представляет ему также физические параметры i множества Ф2 С 0\
• интерфейсная электроника — измеренные технологически данные из множества Тх С I, т.е. непосредственно счита! ные из аппаратуры, и управляющие технологические даннь: из множества Т2 С О, т.е. непосредственно записываемые аппаратуру.
Одной из базовых задач прикладного ПО обработки данных являете преобразование технологических параметров в физические и обра:
ю, что можно представить в виде двух встречных потоков упра-ляющих и измеренных данных ППО(Ф1) = Т2 и ППО(Г1) = Ф2-]хема нашего подхода отображается рис.1.
человек —ас—
Г*1 с 7
физические данные
ин ф ормационная мод ель
технологические данные
с / О Г
реальное оборудование
Рис. 1. Входные/выходные потоки данных.
Информационная модель наилучшим образом реализуется посред-:твом технологий баз данных реального времени. Программные процедуры ввода/вывода значений физических параметров образуют [юльзовательский интерфейс, а процедуры ввода/вывода значений технологических параметров обслуживают аппаратуру. Остальные процедуры, входящие в программные системы, обеспечивают обработку данных и транспортировку сообщений. Таким образом определяется основная архитектура программных систем (рис.2) и базовых компонент, подлежащих детальному проектированию в последующих главах диссертации.
Из выведенной архитектуры следуют важные рекомендации для этапа детального проектирования:
• максимальное разделение данных и программ;
• отделение пользовательского интерфейса от остальных программ;
• отделение доступа к оборудованию от обработки данных.
человек
пользовательский интер
ф ейс |
ПО обработки данных
базы данных реального времени
(состояния информационной модели
ПО ввода/вывода
реальное оборудование
Рис. 2. Архитектурная модель программных систем.
Представленные на рисунке основные архитектурные компо ненты программного обеспечения являются слабосвязанными чере: структуры и информацию баз данных и могут проектироваться I создаваться независимо друг от друга с применением методологий наиболее подходящих для каждой задачи.
Во второй главе рассматриваются особенности ускорительногс комплекса У-70; распределение главного (ГПУ) и местных пульто! управления (МПУ) по зданиям; топология расположения оборудова ния и зданий (рис.3); анализируются режимы работы, влияющие ш конкретное проектирование программных систем.
На стадии проектирования в программные системы закладыва ется возможность автоматического переключения режимов работь: по внешним событиям или в соответствии с планом работы ускорительного комплекта и предполагается последовательная и/или одновременная отработка ряда логических установок, показанных не рис.4, реализующая любой технологический цикл всего ускорительного комплекта У-70, который мы называем суперциклом.
Зд.5/2 ВЧ-система
3д.5/3 ЕЧ-сист«ама
Зд.1 А ГП У.электроника
Зд.5/1 ВЧ-еистем а
Зд.5/6 ВЧ-система
и СПГП □
1483.7 метров
Зд.5/4 ВЧ-с истема,
системы коррекции и ба мпов
34 74м
73.94м
30
I/
Зд.ЗВ системы бустера
и МПУ □
о
Зд.ЗА ЛУ-30 и МПУ
пп
Зд. 175 Системы вывода и МПУ
с=з
Зд.10
Система питания КЭМ У-70
^^ - Зал ЭВМ верхнего уровня СУ
I I - ЭВМ среднего уровня СУ (каркасы УМЕ)
Подземные сооружения
Рис. 3. Схема доступных СУ зданий и подземных сооружений.
ЛУ-30 У - 1.5 у - 7 0 быстрый вывод Л 1 Ц Л 2 И Б 1
Б 2
У-7 0
Б В 1 ► Б В 2
Б В 3
медленный вывод в н .м и ш .+ д и ф .м .в ы в .
М В 1 М В 2
В м д м В
Л 1 ,Б 1 - циклы ЛУ-30 и У-1.5 для обслуживания У-70 Л 2 ,Б 2 - циклы ЛУ-30 и У-1.5 для локальных экспер. Б В 1-Б В 3-трехкратное срабатывание быстрого выв. М В 1-М В 2 - двукратная работа медленного вывода В М ,Д М В - виутр. миш еяи + диф ракцион. кедл. выв.
Рис. 4. Последовательность работы логических установок.
Было решено, что программные системы постоянно поддерживают для каждой логической установки до восьми возможных текущих режимов работы и библиотеку до тридцати спасенных режимов Любой суперцикл комплекта У-70 описывается фиксированной последовательностью параметров С — -£2, ■■■^12, Д« = 1,8, каждый из которых определяет текущий режим работы одной логическое установки и принимает значение номера режима от 1 до 8.
Автоматическое программное переключение режимов внутри суперцикла мы называем внутрипакетным программированием, а между суперциклами — межпакетным программированием.
Важную роль играют базовые параметры внешней среды реализации программных систем: бюджет, сроки, трудозатраты. Исследованы их взаимосвязи и влияние на процесс детального проектирования и принятие конкретных технических решений. И первая, и вторая реализации модели программных систем осуществлялись с учетом выбранной аппаратной архитектуры СУ, которая определялась соответствующими внешними условиями.
Далее разрабатывается центральный элемент архитектуры модели программных систем — управление динамическими данными в режиме реального времени. Исходя из коэффициента обновляемости данных и круга решаемых задач, определяется внешнее представление данных в форме трехмерных таблиц, где каждый элемент таблицы адресуется тремя целочисленными координатами х,у,г. Переходом от теории множеств к теории комплектов дается формальное определение трехмерных структур данных как расширение понятия "отношение" в реляционном подходе.
Из принятых решений следует, что единственными базовыми информационными объектами, которыми манипулирует все программное обеспечение, являются таблица, вектор (столбец таблицы) и структура (строка таблицы). Данное внешнее представление в значительной степени определяет дальнейшее проектирование программных составляющих архитектурной модели.
Разработаны две внутренние схемы хранения динамических данных с адаптацией к условиям реального времени, которые были реализованы в первой и второй реализациях модели программных си-
г ем. Спроектирована и создана специализированная система управления распределенными базами данных реального времени ССУДА полной инкапсуляцией распределения доступа и данных.
Рис. 5. Основные объекты информационной модели.
Распределение таблиц данных осуществляется как по вертика ли, так и по горизонтали структуры системы управления. ССУД-/ реализована в Unix-подобных системах для процессоров Intel, DEC и Motorola. В терминах элементов ССУДА определены основные объекты информационной модели и их взаимосвязи (рис.5).
В настоящее время в СУ комплекса У-70 используются околс 1500 ССУДА-таблиц, хранящихся в 12 базах данных, распределен ных по дискам восьми ЭВМ и имеющих суммарный объем свьпш 400 Мбайт. С развитием системы управления их количество соответственно увеличивается.
В третьей главе анализируются наиболее критические задачи реального времени и обсуждается ПО нижнего уровня системы управления, которое включает в себя один из узлов архитектурной модели программных систем — ПО ввода/вывода. Рассматривается программный интерфейс с аппаратурой, синхронизация с внешними событиями и особенности первой и второй реализаций. Схема организации ПО нижнего уровня (рис.6) однозначно следует из модели программных систем.
Рис. 6. Схема взаимодействий ПО нижнего уровня.
Пусть Е — множество электронных адресов, т.е. адресное пространство электронной аппаратуры. Над каждым адресом из Е можно выполнять определенные элементарные операции чтения/записи, которые обозначим RW. Тогда для любого технологического параметра t существует фиксированная последовательность операций RW над подмножеством электронных адресов е С Е, которая реализует процесс ввода/вывода текущего состояния этого параметра, что можно представить в виде t О RW(e), t С Т, е С Е.
Поскольку состояние каждого технологического параметра хранится в определенном месте соответствующей ССУДА-таблицы, то ему можно поставить в соответствие координаты элемента таблицы t = (tabID, х, у. z). Отсюда зависимости между элементами таблиц БД и аппаратурой можно представить в виде
(tabID, х, у, z) <=> RW{e).
Синхронизованный с событиями технологического процесса обмен данных между ними и является основной функцией ПО ввода/вывода нашей модели программных систем. В режимах внутри-пакетного и межпакетного программирования для каждой из технологических подсистем ускорительного комплекса программное обес-• печение нижнего уровня СУ должно выполнять процесс копирования текущего состояния четко определенного количества управляющих технологических параметров между ССУДА таблицами и аппаратурой за строго фиксированное время.
Выполнен анализ задач программирования микропроцессорной техники, и обосновывается применение в системе управления встроенных микроконтроллеров, ориентируемых на решение конкретных узко специализированных задач, и универсальных интеллектуальных контроллеров, решающих определенный класс задач и имеющих унифицированный интерфейс с верхним уровнем СУ.
Описывается разработанная и созданная специализированная многозадачная многотерминальная операционная система реального времени VPV для бездисковых микроЭВМ на базе микропроцессоров Intel 8086 и Intel 80186, используемая во всех контроллерах оборудования (КО) нижнего уровня СУ ускорительного комплекса У-70.
Она обеспечивает богатые возможности организации прикладных программ с синхронизацией по внутренним часам, с локальными и глобальными событиями технологического процесса (рис.7). При включении КО осуществляется автоматическая загрузка соответствующих ССУДА-таблиц и прикладных программ в память контроллера, тем самым восстанавливается последнее состояние оборудования перед выключением питания.
Рис. 7. Возможная организация прикладных программ в КО.
В нашей модели программных систем ПО ввода/вывода является единственным аппаратно-зависимым компонентом программной архитектуры, т.е. изменения аппаратуры приводят к изменениям только в данном слое ПО. Также только это ПО является и аппаратно-ориентированным, т.е. относящиеся к аппаратуре термины используются исключительно программами нижнего уровня системы управления.
Четвертая глава посвящена разработке следующего архитектурного узла модели — программного обеспечения транспортировки сообщений, а также организации распределенной обработки данных,
обсуждению средств повышения надежности и достоверности передачи информации в неоднородной среде, анализу времени доставки сообщений, Неоднородная коммуникационная среда СУ зависит от топологии расположения оборудования ускорителей и зданий и состоит из проблемно-ориентированной локальной вычислительной сети Ethernet (рис.8) и девяти магистралей MIL1553, соединяющих все контроллеры оборудования с шестью каркасами VME. В локальной сети используются линии связи 100 М и 10 М, магистрали MIL1553 обеспечивают 1 Мбит/с.
Сеть ИФВЭ с ВЫХОДОЛ1 в Internet
Зд ЗВ
Зд. 1А
Рис. 8. Схема локальной вычислительной сети СУ У-70.
Разработаны и реализованы следующие проблемно-ориентированные специализированные прикладные протоколы:
• удаленого доступа к любой таблице баз данных ССУДА из любой точки системы управления;
• виртуального терминала контроллера оборудования;
• загрузки программ в память контрлолеров оборудования;
• загрузки ССУДА-таблиц в память ЭВМ среднего уровня и КО.
На уровне локальной вычислительной сети используются стандартные протоколы NFS, UDP и TCP. Для магистралей MIL1553 разработаны и реализованы специализированные транспортные протоколы, построенные над разработанным в CERN пакетом QuickData для контроллера магистрали R.TI. Надежность доставки и достоверность доставленных данных обеспечиваются адаптацией механизмов CRC, timeout, посылки/подтверждения, повторных передач для использования со специализированными транспортными протоколами.
Значительное внимание уделено разработке и созданию ПО ЭВМ среднего уровня СУ, т.е. обслуживанию каркасов VME под управлением операционной системы LynxOS, к которым подключаются магистрали MIL1553 с контроллерами оборудования (рис.9). Созданное программное обеспечение идентично для каждой ЭВМ среднего уровня и состоит из четырех программ, две из которых выполнены с применением технологий multithread. Основное функциональное назначение данного программного обеспечения заключается в обслуживании ССУДА-таблиц в своей памяти и перекоммутации пакетов вышеперечисленных прикладных протоколов между Ethernet (10 Мбит/с, размер пакета до 8 К) и MIL1553 (1 Мбит/с и длина пакета не более 256 байт, из которых 234 информационных).
Инициатором передачи данных по магистрали MIL1553 могут быть как программы на верхнем уровне СУ, так и программы в контроллерах оборудования. Общая пропускная способность по магистралям MIL1553 зависит от количества, частоты и порядка поступления запросов на передачу, времени реакции программы /е_ес и драйверов системы VPV, скорости взаимодействия других программ и т.д. Зафиксированный реальный максимум составляет 35 переданных по магистрали MIL1553 пакетов QuickData в секунду, из которых 14 были переданы в КО, а 21 — в обратном направлении.
OuickData
RTI драйвер ;
j,'.........f..............Магистрали MIL1553
Модули RTI i-
Рис. 9. Организация ПО в ЭВМ среднего уровня.
Таким образом, по девяти магистралям на верхний уровень СУ может поступать не более 9 X 21 X 234 и 40 Кбайт/секунда измеренных данных. Время доставки end-to-end любого сообщения в вычислительной сети СУ аккуратно спроектированной топологии в худшем случае не превышает 15 мс. Время доставки любого сообщения по магистрали MILI553 Т" w 28.6ÍV мс, где N — число пакетов QuickData, на которые фрагментируется сообщение. Тогда при решении конкретных задач в рамках системы управления комплекса У-70 время Т транспортировки сообщения в коммуникационной сре-
де СУ можно оценивать следующим образом: Т < 15 + 28.6Лгмс, N = 0736.
Разработанное программное коммуникационное ПО в совокупности с используемыми стандартными средствами обеспечивает возможность практически неограниченного расширения системы управления по технологиям открытых систем.
В пятой главе рассматривается программное обеспечение верхнего уровня СУ, включающее в себя средства платформы разработки программного обеспечения и два узла архитектурной модели: пользовательский интерфейс и ПО обработки данных. Обсуждаются организация программной и вычислительной среды в первой и второй реализациях модели, инструментальные технологии и выполненные разработки с целью обеспечения условий для эффективного проектирования и создания программных систем.
Дано определение четырех возможных уровней обработки данных, определяющих достигнутый интеллектуальный уровень системы управления ускорителями. Предлагается один из практических способов унификации ПО обработки данных, который значительно сокращает трудозатраты, требуемые для реализации наиболее емкого программного обеспечения, интегрирует прикладное ПО в единую прикладную систему и минимизирует потребность в вычислительных ресурсах. Следуя выведенным из архитектурной модели рекомендациям по отделению от прикладных программ данных, пользовательского интерфейса и доступа к оборудованию, мы уже значительно сокращаем общий объем прикладного ПО (рис.10) и, как следствие, концентрируем внимание на его алгоритмической части.
Анализ применяемых методов обработки данных показывает, что значительное количество идентичных сервисных процедур и алгоритмов используются во многих приложениях, относящихся к различным ускорителям и технологическим системам. Они легко реализуются в форме хорошо формализованных процедурных модулей, выполняющих обработку объектов информационной модели. Тем самым достигается высокий уровень универсализма программных компонент обработки данных.
Множество традиционно организованных программ
интерфейс с
пользователем *
управление
данными *
алгоритмы обработки
и управления *
доступ к
оборудованию /
У 1
Пекомполипия программных компонент
Рис. 10. Декомпозиция традиционной прикладной программы.
В соответствии с потоками данных прикладные программы делятся на управляющие и программы обработки измеренных технологических данных. Адекватность информационной модели технологическому процессу обеспечивают постоянно выполняющиеся программы обработки измерений, которые обновляют в БД состояния измеряемых физических параметров каждый суперцикл ускорительного комплекса. Тогда, сколько бы операторов ни подключалось к СУ в режиме наблюдения, программные системы организованы так, что при этом не инициализируются новые программы обработки данных, тем самым значительно сокращая потребность в вычислительных мощностях.
Интерфейс человек-система управления рассматривается как множество операций над объектами информационной модели, реализуемый в виде отдельной консольной программы, которая может быть создана на разных платформах с применением различных графических пакетов. В каждой реализации консольной программы принципы взаимодействия с оператором унифицированы и не зависят от конкретной установки и особенностей технологического процесса. С точки зрения пользователя, сессия работы с системой управления строится на четырех наборах основных операций:
1. Выбор установок, технологических подсистем и задач оператора. В настоящее время описанное в базах данных ССУДА дерево выбора содержит несколько тысяч вершин.
2. Операции редактирования, спасения, восстановления и др. над элементами экранной таблицы, отображающей текущие состояния параметров, относящихся к выбранной задаче оператора. Задачи оператора (конечные вершины дерева) составляют около 70% всего дерева выбора, а общее количество измеряемых и управляющих параметров информационной модели ускорительного комплекса У-70 исчисляется десятками тысяч.
3. Операции графического представления значений элементов экранной таблицы и их функциональных зависимостей.
4. Вывод специфической картинки, хранящейся в определенном файле и подготовленной прикладной программой.
Разработан и реализован механизм защиты от выполнения коррелирующих воздействий на одну установку или технологическую подсистему при одновременной работе любого числа операторов с различных консолей, независимо от места их расположения. Реализация данного механизма осуществлена посредством специального информационного и программного обеспечения.
Главу завершает обсуждение трех направлений возможного дальнейшего развития программных систем контроля и управления ускорителями. Эти направления тесно связаны с расширением информационной модели до полного отображения всех параметров технологического процесса, установок и самой СУ, развитием баз дан-
ных ускорителей, повышением интеллектуального уровня СУ путем развития алгоритмизации автоматической оптимизации параметров пучка.
В Заключении отмечается, что главным достигнутым итогом выполненной работы является вклад в обеспечение проведения физических сеансов на ускорительном комплексе ИФ-ВЭ, внесенный посредством адаптации методологий и технологий науки программирования для организации и осуществления контроля и управления ускорителями. Полученные при этом основные научные и практические результаты, вошедшие в диссертацию, можно сформулировать следующим образом:
1. Предложен принципиально новый концептуальный подход к проектированию и построению программных систем контроля и управления ускорителями как абстрактных логических конструкций с ориентацией на технологический процесс производства пучков заряженных частиц, а не на оборудование ускорительных установок. В процессе проектирования и разработки учитываются особенности автоматизации больших ускорителей и ускорительных комплексов научного назначения, а также специфика организации работы над крупными программными проектами.
2. Сформулированы базовые требования к СУ, осуществлено логическое проектирование и выведена архитектура программных и информационных составляющих модели программных систем, которые обеспечивают хранение и отображение текущих устойчивых дискретных состояний технологического процесса в физических и технологических терминах. Архитектура основана на анализе потоков данных и представляет собой пять основных слабосвязанных программно-информационных узлов.
3. На основе теории реляционных баз данных формально определено внешнее представление данных в форме трехмерных таблиц, разработана внутренняя схема организации их хранения и быстрого доступа. С учетом конкретных параметров внешней среды схема дважды реализовалась на ускорительном
комплексе У-70 как центральный информационный узел архитектуры программных систем с целью хранения динамических данных и обеспечения доступа к ним в режиме реального времени.
4. Разработана и создана специализированная система управления распределенными данными реального времени ССУДА, которая охватывает все иерархические уровни СУ, содержит и обслуживает информационную модель текущего состояния технологических процессов. На основе проектных решений ССУДА определены единые базовые типы абстрактных данных (вектор и структура) и информационных объектов (ССУДА-таблицы), над которыми осуществляют операции все программные компоненты системы управления ускорителями.
5. Решены задачи организации программного обеспечения нижнего уровня, удовлетворяющего требованиям синхронизации с технологическим процессом и реагируемости на внешние события. Унифицирован и формализован доступ к интерфейсной электронике. Показаны особенности применения на ускорительном комплексе У-70 в разных реализациях программных систем встроенных микроконтроллеров и универсальных интеллектуальных контроллеров, выполненных на базе микропроцессорной техники. С целью обеспечения работы в режиме реального времени интеллектуальных контроллеров на базе микропроцессоров Intel 8086 и Intel 80186 разработана и создана специализированная многозадачная, многотерминальная операционная система реального времени VPV.
6. Разработаны прикладные протоколы и программное обеспечение транспортировки сообщений в неоднородной коммуникационной среде системы управления комплекса У-70. Обеспечена реализация распределенной обработки данных в реальном масштабе времени по всем уровням СУ.
7. Исследованы возможности и предложены правила построения наиболее крупного архитектурного узла модели — программ обработки данных — как интегрированной прикладной программной системы, объединенной на принципах унифицирован-
ного доступа и единой организации обрабатываемой информации. Заложенные в исследованиях минимизация дублирования разработок, возможность многоцелевого использования разработанных прикладных программных компонент дают наибольший эффект в экономии трудозатрат и сроков создания прикладного ПО. Определены четыре интеллектуальных уровня СУ, достигаемых посредством программного обеспечения обработки данных.
8. Сформулированы базовые функциональности и организация графического интерфейса человек-система управления, осуществлена реализация интерфейса в виде отдельно выполняющейся программы на рабочей станции и на персональном компьютере. Принципы построения пользовательского интерфейса унифицированы и формализованы, вследствие чего они не ориентируются и не зависят от особенностей конкретного ускорителя или графического пакета.
9. Определены главные направления дальнейшего развития и модернизации программных систем контроля и управления ускорительного комплекса У-70 по мере создания новых аппаратных средств, появления новых программных технологий и разработки алгоритмов управления с целью автоматической настройки и оптимизации режимов работы ускорительных установок.
10. Разработанный подход к созданию программных систем позволил дважды успешно решить задачу управления ускорителями посредством средств вычислительной техники, мощности которой, по крайней мере, на порядок меньше в сравнении с зарубежными аналогами, что, соответственно, значительно снизило стоимость систем управления.
Список литературы
[1] Воеводин В.П., Мамучашвшш Н.Г. Специализированная файловая система для обслуживания сменных дисков ЭВМ ЕС-1010. — В сб.: Тезисы докладов II Всесоюзной конференции по мини-ЭВМ. — Рига, 1978, с.51.
[2] Воеводин В.П. Имитация внешних устройств в дисковом мониторе ЭВМ ЕС-1010: Препринт ИФВЭ 78-146, Серпухов, 1978.
[3] Воеводин В.П. Новый пакетный режим на ЭВМ ЕС-1010: Препринт ИФВЭ 79-35, Серпухов, 1979.
[4] Беляевская Л.В., Воеводин В.П., Калинченко П.А. DICOL — диалоговый язык в системе автоматизации настройки и упра-вленияя бустером. — В сб.: Материалы II Всесоюзного совещания "ДИАЛОГ-79". — Протвино, 1979, с.123.
[5] Балакин С.И., Воеводин В.П. Банк данных на ЭВМ ЕС-1010 в автоматизированной системе управления бустером. - В сб.: Тезисы докладов III Всесоюзной конференции по мини-ЭВМ. — Рига, 1980, с.36.
[6] Балакин С.И., Богатырев С.Л., Брук B.JL, Воеводин В.П., Ломов А.П., Почтарев Г.Г., Тишин В.Г. Связь ЭФМ ЕС-1010 с системой АСИУ бустерного синхротрона ИФВЭ. - В сб.: Тезисы докладов III Всесоюзной конференции по мини-ЭВМ — Рига, 1980, с.34.
[7] Балакин С.И., Брук В.Л., Воеводин В.П., Почтарев Г.Г. Использование ЭВМ ЕС-1010 для наладки и тестирования аппаратуры АСИУ бустерного синхротрона: Препринт ИФВЭ 81-50, Серпухов, 1981.
[8] Балакин С.И., Воеводин В.П. Информационные потоки и организация вычислений в системе автоматизации контроля и управления бустерным синхротроном: Препринт ИФВЭ 81-64, Серпухов, 1981.
[9] Балакин С.И., Воеводин В.П. Препроцессор языка FORTRAN в системе автоматизации контроля и управления бустерным синхротроном: Препринт ИФВЭ 81-170, Серпухов, 1981.
10] Балакин С.И., Воеводин В.П. Программные диалоговые средства в системе автоматизации контроля и управления бустерным синхротроном: Препринт ИФВЭ 83-6, Серпухов, 1983.
L1] Балакин С.И., Воеводин В.П. Роль и место программных диалоговых средств в системе автоматизации контроля и управления бустерным синхротроном ИФВЭ. — В сб.: Материалы III Всесоюзной конференции "Диалог человек-ЭВМ", Протвино, 1983, с.97.
12] Антипов В.П., Балакин С.И., Богатырев C.JL, Брук B.JL, Воеводин В.П., Говорун В.Н., Дунайцев А.Ф., Екимов А.В., Ермолин Ю.В., Мамаков П.В., Почтарев Г.Г., Рыбаков В.Г., Сытин А.Н., Тишин В.Г. Информационно-измерительный комплекс управления и контроля типовой технологической системой протонного синхротрона на базе микро-ЭВМ. - Тезисы докладов IV Всесоюзного симпозиума по модульным информационно-вычислительным системам, Иркутск, 1983, с.100.
L3] Антипов В.П., Брук B.JL, Воеводин В.П. Межмашинные связи в системах автоматизации кольцевых ускорителей ИФВЭ: Препринт ИФВЭ 84-181, Серпухов, 1984.
L4] Воеводин В.П. Современные тенденции в программировании и системы контроля и управления ускорителями: Препринт ИФВЭ 84-104, Серпухов, 1984.
L5] Антипов В.П., Балакин С.И., Богатырев СЛ., Брук B.JL, Воеводин В.П., Мамаков П.В., Миличенко Ю.В., Мяэ Э.А., Рыбаков В.Г., Сытин А.Н., Тшшш В.Г, Троянов Е.Ф. Общая структура и организация системы автоматизации контроля и управления бустерным синхротроном ИФВЭ. — В сб.: Материалы IX Всесоюзного совещания по ускорителям заряженных частиц, Дубна, 1985, т.1, с. 231.
[16] Балакин С.И., Воеводин В.П., Детиненко А.Ф. Информационно справочная система в автоматизации контроля и управления 63 стерным синхротроном: Препринт ИФВЭ 85-37, Серпухов, 1981
[17] Балакин С.И., Воеводин В.П. Интеллектуальный графически интерфейс на базе микро-ЭВМ МЭ-80 в системе СУММА: Пр< принт ИФВЭ 85-38, Серпухов, 1985.
[18] Балакин С.И., Брук В.Л., Воеводин В.П., Тишин В.Г. Автс матизированная система управления бустерным синхротроно ИФВЭ. - В сб.: Тезисы докладов XIX всесоюзной школы л автоматизации научных исследований, Новосибирск, 1985, с.Г
[19] Воеводин В.П. Распределение ресурсов в двухмашинном вь числительном комплексе автоматизированной системы управл! ния бустерным синхротроном: Препринт ИФВЭ 86-64, Серпухо: 1986.
[20] Воеводин В.П., Детиненко А.Ф. Элементы реляционной баз данных в автоматизированной системе управления бустерны синхротроном: Препринт ИФВЭ 86-63, Серпухов, 1986.
[21] Балакин С.И., Воеводин В.П., Клименков Е.В. Средства ун) фикации диалога с прикладными программами в системе а: томатизации бустерного синхротрона: Препринт ИФВЭ 88-14 Серпухов, 1988.
[22] Воеводин В.П., Детиненко А.Ф., Ковальцов В.И., Пузынин В.] Проблемно-ориентированные трехмерные структуры данных АСУ ТП: Препринт ИФВЭ 88-109, Серпухов, 1988.
[23] Воеводин В.П., Детиненко А.Ф., Ковальцов В.И, Пузынин В.] Специализированная система управления данными для быстрь технологических процессов. — М.: Наука, "Программирование № 5, 1989, с.91-95.
[24] Воеводин В.П. Один подход к проектированию программных с: стем в автоматизации протонных кольцевых ускорителей: Пр принт ИФВЭ 89-43, Серпухов, 1989.
[25] Воеводин В.П. Концептуальная модель программной системы в автоматизации кольцевых протонных ускорителей: Препринт ИФВЭ 89-81, Серпухов, 1989.
[26] Воеводин В.П., Дунайцев А.Ф. Автоматизация ускорительных установок. — В сб.: Труды международной школы по вопросам применения ЭВМ в физических исследованиях, Дубна, Д10-89-70, 1989, с.229.
[27] Воеводин В.П., Клименков Е.В. Диалог "Человек-прикладные программы" в системе контроля и управления бустерным синхротроном ИФВЭ: Препринт ИФВЭ 91-35, Серпухов, 1991.
[28] Воеводин В.П., Клименков Е.В. Организация прикладных программ в системе контроля и управления бустерным синхротроном ИФВЭ: Препринт ИФВЭ 91-36, Серпухов, 1991.
[29] Воеводин В.П., Губаева М.М., Зайцев Л.Ф., Зенин В.А., Ивченко В.Е., Карлов Г.Д., Масаев А.Б., Медведев В.Ф., Павлычев В.В., Радомский Н.В., Рыжов А.И., Теняев С.А., Уточкин Б.А. Система автоматизации линейного ускорителя-инжектора ускорительного комплекса ИФВЭ. - В сб.: XIV совещание по ускорителям заряженных частиц, Протвино, 1994, т.2, с.137.
[30] Komarov V., Sytin A., Trojanov Е., Voevodin V., Yurpalov V. Upgrading of the U-70 complex control. — In: Proceedings of the ICALEPCS'95, Chicago, Illinois, USA, 1995, V.2, p.930.
[31] Komarov V., Milichenko Y., Voevodin V., Yurpalov V. Draft design study for the control system of the U-70 complex. — IHEP&CERN, PS/CO/Note 96-26, Switzerland, Geneve, 1996.
[32] Воеводин В.П. ССУДА — Специализированная Система Управления распределенными ДАнными реального времени. - В сб.: XVI совещание по ускорителям заряженных частиц. Протвино, 1998, т.1, с. 135.
[33] Балакин СЛ., Воеводин В.П., Клименков Е.В. Организация прикладного программного обеспечения контроллеров оборудования в новой системе управления комплексом У-70. - В сб.: XVI совещание по ускорителям заряженных частиц, Протвино, 1998, т.1, с. 176.
[34] Воеводин В.П., Елин А.П., Комаров В.В. Вычислительные средства системы управления ускорительного комплекса У-70. - В сб.: XVI совещание по ускорителям заряженных частиц, Протвино, 1998, т.1, с. 138.
[35] Воеводин В.П., Кузьменко В.Г., Щербаков С.Е. Пользовательст-кий интерфейс в новой системе управления ускорительного комплекса У-70. - В сб.: XVI совещание по ускорителям заряженных частиц, Протвино, 1998, т.1, с. 141.
[36] Воеводин В.П., Комаров В.В., Миличенко Ю.В., Перриолла Ф. Система управления ускорительным комплексом У-70. // Приборы и системы управления, № 6, 1999, с.1-4.
[37] Voevodin V. Software Architecture of the U-70 Accelerator Complex New Control System. In.: Proceedings of the ICALEPCS'99, Trieste, Italy, 1999, p.457.
[38] Komarov V., Milichenko Yu., Voevodin V., Perriollat F. New Integrated Control System of IHEP Accelerators Complex. — In: Proceedings of the ICALEPCS'99, Trieste, Italy, 1999, p.639.
Рукопись поступила 29 мая 2000 г.
Список используемых сокращений
Список рисунков.
Введение.
Глава 1Логическое проектирование программных систем контроля и управления ускорителями.
1.1Л,икл жизни ПО, время жизни СУ и ускорителей.
1.2.Методологии, термины и понятия.
1.3Архитектурные модели программных систем зарубежных ускорительных центров.
1.4.Базовые требования к СУ и ее программным системам.
1.5.0сновные концепции модели программных систем
1.6Архитектурная модель программных систем.
Глава 2.Внешние условия реализации программных систем и управление данными реального времени.
2.1.Ускорите ли ИФВЭ как объекты автоматизации.
2.2.Внешняя среда реализации программных систем
2.3Аппаратные архитектуры реализации модели программных систем.
2.4.Внешняя модель динамических данных.
2.5.Внутренняя схема хранения динамических данных
2.6.ССУДА-специализированная система управления распределенными данными реального времени.
2.7.0сновные объекты информационной модели.
Глава ЗЛрограммные компоненты нижнего уровня СУ.
3.1.0сновные задачи и состав ПО нижнего уровня.
3.2.Интерфейс программных систем с аппаратурой
З.З.Организация доступа к оборудованию
3.4.Универсальные интеллектуальные контроллеры.
З.б.УРУ-специализированная операционная система реального времени.
Глава ^Программное обеспечение транспортировки сообщений.
4.1.3адачи и назначение коммуникационного ПО СУ.
4.2.Средства коммуникации в СУ комплекса У-70.
4.3.Программные транспортные протоколы.
4.4.Надежность доставки и достоверность данных.
4.5.0рганизация ПО в ЭВМ среднего уровня СУ.
Глава 5.ПО верхнего уровня.
5.1.Состав и назначение ПО верхнего уровня.
5.2.Средства разработки и создания ПО.
5.2.1Аппаратная платформа и организация работ.
5.2.2.Языки программирования
5.2.3.Базы данных оборудования.
5.3.Распределение вычислительных средств верхнего уровня системы управления.
5.4.Функции ПО обработки данных.
5.5.0рганизация ПО обработки данных.
5.6.Интерфейс человек-система управления
5.6.1.Инструментарий взаимодействия человека с СУ
5.6.2.Базовые функции пользовательского интерфейса.
5.6.3.Дополнительные функции консольной программы
5.7.Дальнейшее развитие программных систем ускорительного комплекса ИФВЭ.
Актуальность темы. Первые работы по применению вычислительных средств для контроля и управления ускорителями заряженных частиц появились в конце 60-х годов, например [1], и этот процесс интенсивно развивается по настоящее время. На первом этапе разработки велись в двух направлениях: во-первых, внедрение средств автоматизации на старых, уже существующих ускорительных установках и, во-вторых, проектирование и создание интегрированных систем управления вновь строящихся ускорителей. В первом случае идет процесс постепенной замены средств ручного контроля и управления на компьютеризованные, по завершении которого автоматизированная система управления (СУ) ускорителем или комплексом ускорителей становится одной из его технологических подсистем. Во втором случае СУ является неотъемлемой частью ускорителя с момента проектирования, а ускоритель создается без средств ручного управления. К настоящему времени все вновь создаваемые ускорители разрабатываются одновременно с системами управления.
По мере развития вычислительной техники и программных технологий, более глубокого проникновения автоматизации в ускорительную технику возрастают роль и значимость проектирования системы управления в целом, ее архитектуры и принципов организации [2-16]. В современных ускорительных центрах, где ускорительные комплексы одновременно обеспечивают пучками различных частиц и характеристик большое количество экспериментальных установок, разработка и создание интегрированной системы управления требует значительных материальных и человеческих ресурсов (сотни миллионов долларов и сотни человеко-лет). Поэтому обмен опытом, рекомендациями и разработками взаимовыгоден соответствующим специалистам всех ускорительных центров мира и, как следствие, с 1985 года (Los Alamos) регулярно, с периодичностью два года, проводятся международные конференции, посвященные исключительно системам управления ускорительных и физических установок. С 1989 года (Vancouver) такая конференция называется ICALEPCS -International Conference on Accelerator and Large Experimental Physics Control Systems. К началу 90-х годов в общих чертах определиласъ "стандартная архитектура" вычислительных и коммуникационных средств современных систем управления [17]. Что касается программного обеспечения (ПО), то единого подхода в этой области до сих пор нет, несмотря на то, что предпринимаются серьезные усилия к унификации ПО и минимизации затрат на разработку и создание программных систем. Наиболее актуальные в настоящее время направления определяются названиями секций конференций ICALEPCS: программные технологии, базы данных, интерфейс человек-машина и др.
В нашей стране восприятие систем управления как неотъемлемой части ускорителя фактически началось осенью 1980 года, когда на очередном совещании по ускорителям заряженных частиц впервые была введена отдельная сессия по автоматизированным системам управления ускорителями [18]. В дальнейшем эта сессия присутствует на всех последующих ускорительных совещаниях. Проблема создания интегрированных систем приобретает особую остроту для больших ускорителей и для совместно работающих комплексов из нескольких ускорителей, когда технологическое оборудование распределено по значительной территории и располагается в различных зданиях.
В ИФВЭ первые практические результаты в автоматизации ускорителей были получены в конце 70-х годов. Работы традиционно велись в двух направлениях: поэтапное решение отдельных задач на подсистемах работающего ускорителя У-70; проектирование и создание интегрированной СУ строящегося бустерного синхротрона У-1.5. Бустерный синхротрон был первым в ИФВЭ ускорителем без средств ручного контроля и управления на большинстве технологических подсистем, работа с которыми уже с этапа проектирования предполагалась исключительно через автоматизированную систему управления. Соответственно и СУ проектировалась сразу для всей установки с учетом особенностей У-1.5 и предполагаемых режимов его работы как в качестве инжектора У-70, так и самостоятельной машины.
Если весь ускорительный комплекс, от технологического процесса до человека, представить в виде иерархии из семи уровней (Рис.В.1), то видно, что в его составе только два интеллекту алъноактивных компонента, т.е. способных анализировать ситуацию и принимать решения. Во-первых, это человек и, во-вторых, как и в любой вычислительной системе [19,20], программное обеспечение. Следовательно, функционирование комплекса в целом и реакция на нестандартные ситуации в значительной степени зависят от квалификации и опыта операторов, а также заложенного в прикладном ПО интеллектуального уровня. Теоретически достижимый уровень последнего определяется принятыми на стадии проектирования программных систем базовыми концептуальными и архитектурными решениями, степенью их реализации в системном программном обеспечении.
В данной работе прикладным ПО (ППО) мы будем называть программное обеспечение, которое либо прямо взаимодействует с аппаратурой ускорителя посредством управления интерфейсной
Человек-оператор
Аппаратура пульта управления
Средства вычислительной техники Программные системы
Интерфейсная электроника (преобразования сигнал <=> цифра)
Аппаратура технологических систем
Технологический процесс
Рис.В.1 Иерархия ускорительного комплекса электроникой, либо осуществляет математическую обработку значений физических и/или технологических параметров. Все остальное ПО будем считать системным (СПО). Следует отметить, что в вышеуказанной иерархии вся цифровая информация обязательно проходит через программные системы. программные системы = ПО + информационное обеспечение
ПО = СПО + ппо
Цель диссертационной работы заключается в: 1)адаптации методологий и технологий науки программирования с целью внедрения в ускорительную технику; 2 разработке модели программных систем контроля и управления ускорителями на основании результатов исследования технических особенностей и режимов работы ускорительного комплекса ИФВЭ с точки зрения их влияния на автоматизацию технологических процессов; 3)разработке, в соответствии с моделью, методов реализации программных систем, оптимизирующих требуемые бюджетные, вычислительные и кадровые ресурсы; 4)создании программных систем контроля и управления ускорителями по разработанным методам для конкретных реальных технических и технологических условий.
Научная новизна и результаты. В данной работе предлагается разработанная автором модель программных систем контроля и управления ускорителями [20-23], построенная на принципиально новых концепциях и базовых принципах, и решаются проблемы ее реализации на ускорительном комплексе ИФВЭ. Модель программных систем ориентируется на управление технологическим процессом, а не оборудованием, и архитектура программного обеспечения строится на базе информационной модели, отображающей текущее состояние технологического процесса.
Первая реализация заметной части архитектурных узлов модели была выполнена в 70х-80х годах, на уровне имевшихся программных технологий того времени, как интегрированная СУ бустера и его каналов ввода и перевода на базе центральной миниЭВМ и распределенных по аппаратуре встроенных одноплатных микроЭВМ [24-41]. Она находилась в эксплуатации до 1998г.
По мере развития вычислительной техники и программных технологий параллельно прорабатывались и макетировались различные методики реализации модели. Отдельные базовые решения модели рассматривались как реальные кандидаты на реализацию в системе управления ускорительно-накопительного комплекса (УНК) ИФВЭ [42-45]. Некоторые опытные образцы программных продуктов нашли применение в системах управления линейными ускорителями [46-48].
В 1994г. в ИФВЭ было принято решение о разработке проекта и создании новой единой интегрированной системы управления всего существующего комплекса ускорителей У-70. В целом проект СУ разрабатывался в сотрудничестве со специалистами ЦЕРНа, каждое предлагаемое решение проходило экспертную оценку зарубежных специалистов из ряда ускорительных центров, имеющих богатый практический опыт в данной области. Предлагаемая модель программных систем была одобрена, легла в основу проекта в части, касающейся программного и информационного обеспечения [49,50], и была реализована в максимальном объеме на современных технических средствах и программных технологиях [51,52] под руководством и при непосредственном участии автора.
Практическая ценность диссертации заключается в создании модели программных систем контроля и управления ускорителями, ее реализации в системе управления бустерным синхротроном, которая находилась в эксплуатации в течение 17 лет и показала практичность и надежность принятых решений, а также реализации ее в новой распределенной СУ всего ускорительного комплекса У-70, которая в настоящее время обеспечивает проведение сеансов и физических исследований в ИФВЭ. Как сама модель, так и созданные в соответствии с ее архитектурой отдельные программные продукты - управление динамическими данными, организация распределенной обработки, управление транспортировкой сообщений в неоднородной среде, наработанное ПО для микропроцессоров и др. - могут быть использованы при разработке и создании программных систем для существующих и вновь строящихся ускорителей и ускорительных комплексов (ИФВЭ, ИТЭФ, НИЯФ, ОИЯИ и др.), а также применены в других технологических процессах (ядерные, физические установки и т.д.).
Апробация результатов и публикации. Диссертация написана на основе 38 печатных работ, опубликованных в виде препринтов, докладов и журнальных статей. Разработки и полученные результаты докладывались на всероссийских и международных конференциях, симпозиумах и совещаниях.
Объем и структура диссертации. Диссертация состоит из введения, пяти глав и заключения. Ее обьем составляет 191 страницу, включая 41 рисунок и список цитируемой литературы из 151 наименования.
Заключение
Главным достигнутым итогом выполненной работы является вклад в обеспечение проведения физических сеансов на ускорительном комплексе ИФВЭ, внесенный посредством адаптации методологий и технологий науки программирования для автоматизации ускорителей. Полученные при этом основные научные и практические результаты, вошедшие в диссертацию, можно сформулировать следующим образом:
1. Предложен принципиально новый концептуальный подход к проектированию и построению программных систем контроля и управления ускорителями как абстрактных логических конструкций с ориентацией на технологический процесс производства пучков заряженных частиц, а не на оборудование ускорительных установок. В процессе проектирования и разработки учитываются особенности автоматизации больших ускорителей и ускорительных комплексов научного назначения, а также специфика организации работы над крупными программными проектами.
2. Сформулированы базовые требования к СУ, осуществлено логическое проектирование и выведена архитектура программных и информационных составляющих модели программных систем, которые обеспечивают хранение и отображение текущих устойчивых дискретных состояний технологического процесса в физических и технологических терминах. Архитектура основана на анализе потоков данных и представляет собой пять основных слабосвязанных программно-информационных узлов.
3. На основе теории реляционных баз данных формально определено внешнее представление данных в форме трехмерных таблиц, разработана внутренняя схема организации их хранения и быстрого доступа. С учетом конкретных параметров внешней среды схема дважды реализовывалась на ускорительном комплексе У-70 как центральный информационный узел архитектуры программных систем с целью хранения динамических данных и обеспечения доступа к ним в режиме реального времени.
4. Разработана и создана специализированная система управления распределенными данными реального времени ССУДА, которая охватывает все иерархические уровни СУ, содержит и обслуживает информационную модель текущего состояния технологических процессов. На основе проектных решений ССУДА определены единые базовые типы абстрактных данных (вектор и структура) и информационных объектов (ССУДА-таблицы), над которыми осуществляют операции все программные компоненты системы управления ускорителями.
5. Решены задачи организации программного обеспечения нижнего уровня, удовлетворяющего требованиям синхронизации с технологическим процессом и реагируемости на внешние события. Унифицирован и формализован доступ к интерфейсной электронике. Показаны особенности применения на ускорительном комплексе У-70 в разных реализациях программных систем встроенных микроконтроллеров и универсальных интеллектуальных контроллеров, выполненных на базе микропроцессорной техники. С целью обеспечения работы в режиме реального времени интеллектуальных контроллеров на базе микропроцессоров Intel 8086 и Intel 80186 разработана и создана специализированная многозадачная, многотерминальная операционная система реального времени VPV.
6. Разработаны прикладные протоколы и программное обеспечение транспортировки сообщений в неоднородной коммуникационной среде системы управления комплекса У-70.
Обеспечена реализация распределенной обработки данных в реальном масштабе времени по всем уровням СУ.
7. Исследованы возможности и предложены правила построения наиболее крупного архитектурного узла модели -программ обработки данных - как интегрированной прикладной программной системы, объединенной на принципах унифицированного доступа и единой организации обрабатываемой информации. Заложенные в исследованиях минимизация дублирования разработок, возможность многоцелевого использования разработанных прикладных программных компонент дают наибольший эффект в экономии трудозатрат и сроков создания прикладного ПО. Определены четыре интеллектуальных уровня СУ, достигаемых посредством программного обеспечения обработки данных.
8. Сформулированы базовые функциональности и организация графического интерфейса человек-система управления, осуществлена реализация интерфейса в виде отдельно выполняющейся программы на рабочей станции и на персональном компьютере. Принципы построения пользовательского интерфейса унифицированы и формализованы, вследствие чего они не ориентируются на и не зависят от особенностей конкретного ускорителя или графического пакета.
9. Определены главные направления дальнейшего развития и модернизации программных систем контроля и управления ускорительного комплекса У-70 по мере создания новых аппаратных средств, появления новых программных технологий и разработки алгоритмов управления с целью автоматической настройки и оптимизации режимов работы ускорительных установок.
10. Разработанный подход к созданию программных систем позволил дважды успешно решить задачу управления
1. K.H.Reich. Some thoughts on the data acquisition and control systems for the CPS booster. - CERN, DL/69-5, 1969.
2. M.C.Crowley-Milling. The design of the control system for the SPS. LAB II-CO/75-20,1975.
3. F.Beck. The design and construction of a control centre for the CERN SPS accelerator. CERN,SPS-CO/76-1,1976.
4. G.Benincasa,J.Cuperus,A.Daneels,P.Heymans,J.Potier,C.Serre, P.Skarek. Design goals and application software layout for CERN 28GEV accelerator complex. CERN/PS/CO/79-1,1979.
5. G.Benincasa, A.Daneels,P.Heymans, C.Serre. Structured design benefits to a process control software project. CERN/PS/CCI/78-12,1978.
6. M.C.Crowley-Milling. The architecture of the LEP control system. CERN,LEP control note 20,1982.
7. P.Wolstenholme. LEP-70 control system principles. CERN,LEP-70/82, 1978.
8. M.C.Crowley-Milling. Principles for the controls of LEP. -CERN,LEP note 313,1981.
9. D.Bogert,L.J.Chapman,R.J.Ducur,S.L.Segler. The Tevatron control system. IEEE Transactions on Nuclear Science, Vol.NS-28, N3,June 1981.
10. M.C.Crowley-Milling. Control problems in very large accelerators. -SLAC-PUB-3624,1985.
11. J.Harvey. Applying structured methods to software gesign. -Europhysics conference on control systems for experimental physics, Villars-sur-Ollon,Switzerland, 1987,p.505.
12. O.M.Nierstrasz. Object oriented design principles. Europhysics conference on control systems for experimental physics, Villars-sur-Ollon,Switzerland, 1987,p.523.
13. W.B.Klein,R.T.Westervelt,G.E.Luger. An architecture for intelligent control of particle accelerators. Proceedings of the 1995 International Conference on Accelerator and Large Experimental Physics Control Systems, Chicago, Illinois, 1995, p.746.
14. Preface. Proceedings of the Third International Conference on Accelerator and Large Experimental Physics Control Systems, Berlin, Germany, 1993.
15. Труды седьмого всесоюзного совещания по ускорителям заряженных частиц, т.И, Дубна, 1981.
16. V.Rauzino. Conversations with an intelligent chaos. Datamation, v.28, N5, 1982, p.122.
17. В.П.Воеводин. Современные тенденции в программировании и системы контроля и управления ускорителями. Препринт ИФВЭ 84-104, Серпухов, 1984.
18. В.П.Воеводин. Один подход к проектированию программных систем в автоматизации протонных кольцевых ускорителей. -Препринт ИФВЭ 89-43, Серпухов, 1989.
19. В.П.Воеводин. Концептуальная модель программной системы в автоматизации кольцевых протонных ускорителей. Препринт ИФВЭ 89-81, Серпухов, 1989.
20. В.П.Воеводин, А.Ф.Дунайцев. Автоматизация ускорительных установок. Труды международной школы по вопросам применения ЭВМ в физических исследованиях, Дубна, Д10-89-70, 1989, стр. 229.
21. Л.В.Беляевская, В.П.Воеводин, П.А.Калинченко. DICOL-диалоговый язык в системе автоматизации настройки и управления бустером. Материалы II всесоюзного совещания "ДИАЛОГ-79", Протвино, 1979, стр.123.
22. С.И.Балакин, С.Л.Богатырев, В.Л.Брук, В.П.Воеводин и др. Связь ЭВМ ЕС-1010 с системой АСИУ бустерного синхротрона ИФВЭ. Тезисы докладов III всесоюзной конференции по мини-ЭВМ, Рига, 1980, стр.34.
23. С.И.Балакин, В.П.Воеводин. Банк данных на ЭВМ ЕС-1010 в автоматизированной системе управления бустером. Тезисы докладов III всесоюзной конференции по мини-ЭВМ, Рига, 1980, стр.36.
24. С.И.Балакин, В.Л.Брук, В.П.Воеводин, Г.Г.Почтарев. Использование ЭВМ ЕС-1010 для наладки и тестирования аппаратуры АСИУ бустерного синхротрона. Препринт ИФВЭ 81-50, Серпухов, 1981.
25. С.И.Балакин, В.П.Воеводин. Информационные потоки и организация вычислений в системе автоматизации контроля и управления бустерным синхротроном. Препринт ИФВЭ 81-64, Серпухов, 1981.
26. С.И.Балакин, В.П.Воеводин. Препроцессор языка FORTRAN в системе автоматизации контроля и управления бустерным синхротроном. Препринт ИФВЭ 81-170, Серпухов, 1981.
27. С.И.Балакин, В.П.Воеводин. Программные диалоговые средства в системе автоматизации контроля и управления бустерным синхротроном. Препринт ИФВЭ 83-6, Серпухов, 1983.
28. С.И.Балакин, В.П.Воеводин. Роль и место программных диалоговых средств в системе автоматизации контроля и управления бустерным синхротроном ИФВЭ. Материалы III всесоюзной конференции "Диалог человек-ЭВМ", Протвино, 1983, стр.97.
29. В.П.Антипов, В.Л.Брук, В.П.Воеводин. Межмашинные связи в системах автоматизации кольцевых ускорителей ИФВЭ. -Препринт ИФВЭ 84-181, Серпухов, 1984.
30. С.И.Балакин, В.П.Воеводин, А.Ф.Детиненко. Информационно-справочная система в автоматизации контроля и управления бустерным синхротроном Препринт ИФВЭ 85-37, Серпухов, 1985.
31. С.И.Балакин, В.П.Воеводин. Интеллектуальный графический интерфейс на базе микро-ЭВМ МЭ-80 в системе СУММА. -Препринт ИФВЭ 85-38, Серпухов, 1985.
32. С.И.Балакин, В.Л.Брук, В.П.Воеводин, В.Г.Тишин. Автоматизированная система управления бустернымсинхротроном ИФВЭ. Тезисы докладов XIX всесоюзной школы по автоматизации научных исследований, Новосибирск, 1985, стр.11.
33. В.П.Воеводин. Распределение ресурсов в двухмашинном вычислительном комплексе автоматизированной системы управления бустерным синхротроном. Препринт ИФВЭ 86-64, Серпухов, 1986.
34. С.И.Балакин, В.П.Воеводин, Е.В.Клименков. Средства унификации диалога с прикладными программами в системе автоматизации бустерного синхротрона. Препринт ИФВЭ 88146, Серпухов, 1988.
35. В.П.Воеводин, Е.В.Клименков. Диалог "человек-прикладные программы" в системе контроля и управления бустерным синхротроном ИФВЭ. Препринт ИФВЭ 91-35, Серпухов, 1991.
36. В.П.Воеводин, Е.В.Клименков. Организация прикладных программ в системе контроля и управления бустерным синхротроном ИФВЭ. Препринт ИФВЭ 91-36, Серпухов, 1991.
37. В.Н.Алферов, В.П.Воеводин, А.Ф.Дунайцев, Н.Н.Трофимов. Тенденции в развитии систем управления больших ускорителей. Материалы III всесоюзного семинара по автоматизации в ядерной физике и смежных областях, Тбилиси, 1984, стр.15.
38. V.N.Alferov,V.L.Brook, et al. The UNK control system. -Proceedings of the ICALEPCS'91, Tsukuba,Japan, 1991, p.134.
39. V.N.Alferov,V.L.Brook, et al. The UNK control system. Particle Accelerator Conference on Accelerator Science and Technology, San Francisco, USA, 1991.
40. А.И.Агеев, В.Н.Алферов, Ю.И.Бардик, П.Б.Ветров, В.П.Воеводин и др. Состояние работ по системе управления УНК. XIV совещание по ускорителям заряженных частиц, Протвино, 1994, т.2, стр.152.
41. С.М.Баков, О.К.Беляев, А.А.Боровиков, В.П.Воеводин и др. Автоматизированная система управления линейным ускорителем. Постановка задачи и основные принципы построения. Препринт ИФВЭ 88-156, Серпухов, 1988.
42. В.П.Воеводин, М.М.Губаева, Л.Ф.Зайцев и др. Система автоматизации линейного ускорителя-инжектора ускорительного комплекса ИФВЭ. XIV совещание по ускорителям заряженных частиц, Протвино, 1994, т.2, стр.137.
43. В.П.Воеводин, И.В.Горшенина, М.М.Губаева, Л.Ф.Зайцев и др. Система автоматизации линейного ускорителя-инжектора в бустер ИФВЭ. Препринт ИФВЭ 95-04, Серпухов, 1995.
44. V.Komarov, A.Sytin, E.Trojanov, V.Voevodin, V.Yurpalov. Upgrading of the U-70 complex control. Proceedings of the ICALEPCS'95, Chicago, Illinois, USA, 1995, V.2, p.930.
45. V.Komarov, Y.Milichenko, V.Voevodin, V.Yurpalov. Draft design study for the control system of the U-70 complex. IHEP&CERN, PS/CO/Note 96-26, Switzerland, Geneve, 1996.
46. В.П.Воеводин, В.В.Комаров, Ю.В.Миличенко, Ф.Перриолла. Система управления ускорительным комплексом У-70. Приборы и Системы Управления, N6, 1999, стр.1-4.
47. V.Voevodin. Software Architecture of the U-70 Accelerator Complex New Control System. Proceedings of the ICALEPCS'99, Trieste, Italy,1999,p.457.
48. P.Brown. Managing software development. Datamation, 1985, V.31, N8, p.,133.
49. L.J.Peters, L.L.Tripp. Comparing software design methodologies. -Datamation, 1977, V.23, N11, p.89.
50. N.L.Kerth. Software tools automate structured analysis. Electronics week, 1984, Vol.57, N19, p.69.
51. J.Martin. From analysis to design. Datamation, 1985, V.31, N18, p.,129.
52. E.Gamma.,R.Helm,R.Johnson,J.Vlissides. Design Patterns ¡Elements of Reusable Object-Oriented Software. Addison Wesley, October 1994.
53. F.Buschmann, R.Meunier, H.Rohnert, P.Sommerlan, M.Stal. Pattern-Oriented Software Architecture-A system of Patterns. -Wiley, 1996.
54. R.S.Casselman,B.Eng. A Role-Based Architectural Model Applied to Object-Oriented Systems. Ottawa-Carlton Institute for Electrical Engineering, Ottawa,Ontario,Canada,1993,KlS 5B6.
55. Aho and Ullman. Foundations of Computer Science. Computer Science Press, 1992.
56. C.Reade. Elements of Functional Programming. Addison-Wesley, 1989.
57. N.L.Russo,J.L.Wynekoop,D.B.Walz. The use and adaptation of system development methodologies. International Resourse Management Association International Conference, Atlanta, Georgia,USA, 1995.
58. B.Curtis,H.Krasner,N.Iscoe. A Field Study of the Software Design Process for Large Systems. Communications of the ACM, V.31, 1988, p.1268.
59. M.Vidger,B.Sc,M.Eng. Applying Formal Techniques to the Design of Concurrent Systems. Carlton University, Ottawa, Ontario, 1992.
60. G.Booch. Object Oriented Design with Applications. Benjamin/Cummings,Redwood City,CA, 1991.
61. H.Ehrig,B.Mahr. Fundamentals of Algebraic Specification -1. -Springer-Verlag,Berlin,1985.
62. J.L.Gischer. The equational theory of pomsets. Theoretical Computer Science,61:199-224,1988.
63. A.Hall. Seven myths of formal methods. IEEE Software,7(5):ll-20, September 1990.
64. D.J.Hatley,I.Pirbhai. Strategies for Real-Time System Specification. Dorset House, New York,1987.
65. P.T.Ward, S.I.Mellor. Structured Development for Real-Time Systems: Volume 1-3. Yourdon Press, New York, 1985.
66. M.L.Fussel. Foundations of Object-Relational Mapping. ChiMu Publications, 1998.
67. M.C.Crowly-Milling. Designing equipment subroutines. CERN,LAB II-CO/CC/74-7,1974.
68. G.Shering. Calling equipment subroutines. CERN,LAB II-CO/74-1, 1974.
69. M.C.Crowly-Milling. The data modul concept in the LEP context. -CERN,LEP note 330,1981.
70. M.C.Crowly-Milling. The equipment interface possibilities for LEP. CERN,LEP control note 24,1982.
71. A.Daneels, P.Skarek. A general software module for CAM AC, equipment and composite variable control. Proceedings of the second international workshop on accelerator control systems, Los Alamos,NM,1985,p.141.
72. J.Gamle, J-Y.Hemery et al. The extension of the ISR computer control and monitoring system by two NORD-IO computers. -CERN, ISR-CO/78-24,1978.
73. P.Clout et al. The PSR control system. Proceedings of the second international workshop on accelerator control systems, Los Alamos,NM,1985,p.l 16.
74. R.Melen. A new generation control system at SLAC. IEEE Transactions on Nuclear Science, Vol.NS-28,N3,1981.
75. P.Clout. The status of Vsystem. Proceedings of the 1993 International Conference on Accelerator and Large Experimental Physics Control Systems, Berlin, Germany, 1993.p.442.
76. P.Clout et al. A Comparison of Vsystem and EPICS. Proceedings of the 1997 International Conference on Accelerator and Large Experimental Physics Control Systems, Beijing, China, 1997, p.124.
77. S.Evanczuk. New tools boost software productivity. Electronics Week, V.57, N22, 1984, p.67.
78. В.И.Сеничкин. Языки спецификации информационных систем. -Измерения, контроль, автоматизация. Выпуск 4(60), 1986, с.61.
79. C.Serre et al. Design study for the TRIUMF KAON factory control system. Europhysics Conference on Control Systems for Experimental Physics, Villar, Switzerland, 1987, p.141.
80. B.Shneiderman. How to design with the user in mind. -Datamation, V.28,N4,1982,p.l25.
81. D.V.Morland. Friendliness. Datamation, V.28,N2,1982,p.224.
82. J.A.Meads. Friendly or frivolous? Datamation, V.31,N7,1985,p.98.
83. A.MacDonald. Visual programming. Datamation, V.28,N11,1982,p.l 32.
84. L.Fried. Nine principles for ergonomic software. Datamation, V.28,N12,1982,p.l63.
85. Х.Карри. Основания математической логики. М.: Мир,1969.
86. Э.Дейкстра. Дисциплина программирования. М.: Мир, 1978.
87. К.Хоор. О структурной организации данных. в кн.: Структурное программирование. - М.: Мир,1975, с.98.
88. Д.Грис. Наука программирования. М.: Мир, 1984.
89. J.D.Gannon. Theory of moduls. IEEE transactions on software engineering, Vol.SE-13,N7,1987,p.820.
90. T.Hikita,K.Ishihata. A method of program transformation between variable sharing and message passing. Software-practice and experience, Vol.15(7), 1985,p.677.
91. А.Н.Ерохов и др. Сетевое программное обеспечение удаленного вызова операций. Проблемы информационных систем, МЦНТИ, N3,1985,c.38.
92. Ю.А.Илларионов,Г.Г.Стецюра. Взаимодействие процессов при распределении ресурсов в распределенных вычислительных системах. Измерения, контроль, автоматизация. 1987. Выпуск 3(63), с.70.
93. Э.Мендельсон. Введение в математическую логику. М.: Наука, 1971.
94. Г.Биркгоф, Т.Барти. Современная прикладная алгебра. -М.:Мир, 1976.
95. А.Н.Мелихов. Ориентированные графы и конечные автоматы. -М.: Наука, 1971.
96. R.F.Archer. Representation and analysis of real-time control structures. MIT/LCS/TR-241,USA,Massachusetts, 1978.
97. Д.Кемени, Д.Снелл. Конечные цепи Маркова. М.: Наука, 1970.
98. B.Boehm. Software Engineering Economics. Englewood Cliffs, NJ:Prentice-Hall,1981.
99. A.B.Ferrentino. Making software development estimates "good". Datamation, V.27,N10,1981,p.l79.
100. Y.Miyazaki, A.Takanou, H.Nozaki. Method to estimate parametere values in software prediction models. Information and Software Technology,V.33, April 1991, p.239.
101. J.Dreger. Function Point Analysis. Englewood Cliffs, NJ:Prentice-Hall,1989.
102. F.Sweet. Process driven data design. Datamation,1985, V.31., N16,p.83; N17,p.l25; N18,p.l52; N19,p.ll9; N20,p.l37; N21,p.l29; N22,p.l51; N23,p.ll7.
103. М.Нагао,Т.Катаяма,С.Уэмура. Структуры и базы данных. -М:Мир,1986.
104. R.A.Baker. Internal Data Base Management.- Datamation,1982, V.28., N5,p.l39.
105. В.П.Воеводин, А.Ф.Детиненко. Элементы реляционной базы данных в автоматизированной системе управления бустерным синхротроном. Препринт ИФВЭ 86-63, Серпухов, 1986.
106. В.П.Воеводин, А.Ф.Детиненко, В.И.Ковальцов, В.И.Пузынин. -Проблемно- ориентированные трехмерные структуры данных в АСУ ТП. Препринт ИФВЭ 88-109, Серпухов, 1988.
107. В.П.Воеводин, А.Ф.Детиненко, В.И.Ковальцов, В.И.Пузынин. -Специализированная система управления данными для быстрых технологических процессов. М: Наука, "Программирование", N5, 1989, стр.91-95.
108. E.F.Codd. A Relational Model of Data for Large Shared Data Banks. Communications of ACM, June 1970.
109. E.F.Codd. The Realational Model for Database Management, Version 2. Addison-Wesley„Reading,MA,1990.
110. V.Cerf, E.Fernandez, K.Gostelow, S.Volansky. Formal control flow properties of a model of computation.- Report ENG-7178, Computer Science Department, University of California,Los Angeles,California, December 1971,p81.
111. J.Peterson. Computation sequence sets. Journal of computer and system science, 13,N1,August 1976, p.1-24.
112. В.П.Воеводин. ССУДА Специализированная Система Управления распределенными ДАнными реального времени. -XVI совещание по ускорителям заряженных частиц, Протвино, 1998, т. 1, стр. 135.
113. SDK-80. MCS-80 System design kit. Monitor listing. Intel Corporation, Santa Clara, California,USA, 1978.
114. С.И.Балакин, В.П.Воеводин, Е.В.Клименков. Организация прикладного программного обеспечения контроллеров оборудования в новой системе управления комплексом У-70. -XVI совещание по ускорителям заряженных частиц, Протвино, 1998, т. 1, стр. 176.
115. V.Komarov, Yu.Milichenko, V.Voevodin, F.Perriollat. New Integrated Control System of IHEP Accelerators Complex. -Proceedings of the ICALEPCS'99, Trieste, Italy, 1999,p.639.
116. У.Ньюмен, Р.Спрул. Основы интерактивной машинной графики. М., Мир, 1976.
117. В.П.Воеводин, АП.Елин, В.В.Комаров. Вычислительные средства системы управления ускорительного комплекса У-70. -XVI совещание по ускорителям заряженных частиц, Протвино, 1998, т. 1, стр. 138.
118. D.Berry. Protocol standardization works its way up the ladder of the OSI model. Electronics, Vol.57,N12,1984,p.148.
119. J.Davidson. An introduction to TCP/IP. Santa Clkra,CA 950528030, USA, 1988.
120. W.R.Stevens. TCP/IP illustrated,Volume 1. The Protocols. -Addison-Wesley, 1994.
121. J.Postel. User datagram protocol. RFC 768,1980.
122. Э.А.Якубайтис. Локальные информационно-вычислительные сети. Рига, Зинатне, 1985.
123. Э.А.Якубайтис. Архитектура вычислительных сетей. М: Статистика, 1980.
124. SuperStack II Switch 1000. User Guide. 3Com, 1996.
125. A.Amundsen, A.Bland, P.Charrue, H.Christiansen. QuickData a new packet type for the M1553B packet protocol. CERN, SL/Note 92-02 (CO)-Rev., 1992.
126. R.Swansosn. Understanding Cyclic Redundancy Codes. -Computer Design, Vol.14, N11, 1975, p.93.
127. P.J.Fortune. Two-step procedure improves CRC mechanism. -Computer Design, Vol.16, N11, 1977, p.116.
128. В.П.Воеводин, Н.Г.Мамучашвили. Специализированная файловая система для обслуживания сменных дисков ЭВМ ЕС-1010. Тезисы докладов III всесоюзной конференции по мини-ЭВМ, Рига, 1978, стр.51.
129. В.П.Воеводин. Новый пакетный режим на ЭВМ ЕС-1010. -Препринт ИФВЭ 79-35, Серпухов, 1979.
130. R.Cailliau. Languages for the software system of the PS. -CERN, CCI/75-30,1975.
131. R.Cailliau, M.Krueger, J.Mc Cullough. PS-Pascal user's guide. -CERN, PS/CO/79-22,1979.
132. R.Cailliau, B.Carpenter, G.Cuisinier. The interface between compiled or NODAL programs and NODAL-compatible functions. CERN,PS/CCI/78-10,1978.
133. W.Busse. ISAAC for the PSB. CERN,BR/73-11,1973.
134. C.Faraut, J.Gamble, J.Stark. ESAU-an interpretive language for real-time control. CERN, CCI/75-2,1975.
135. M.C.Crowley-Milling, J.T.Hyman, G.C.Shering. The NODAL system for the SPS-1974. CERN,LAB-II-CO/74-2,1974.
136. J.Altaber, P.D.Van der Stok. The NODILER: a preinterpreter for NODAL. CERN,SPS/ACC/pvds/rep.79-4, 1979.