Разработка аппаратуры и программного обеспечения интеллектуальных контроллеров для систем управления ускорительно-накопительными комплексами

Мамкин, Виталий Рудольфович

Разработка аппаратуры и программного обеспечения интеллектуальных контроллеров для систем управления ускорительно-накопительными комплексами тема автореферата и диссертации по физике, 01.04.01 ВАК РФ

Мамкин, Виталий Рудольфович АВТОР

кандидата технических наук УЧЕНАЯ СТЕПЕНЬ

Новосибирск МЕСТО ЗАЩИТЫ

2004 ГОД ЗАЩИТЫ

01.04.01 КОД ВАК РФ

Диссертация по физике на тему «Разработка аппаратуры и программного обеспечения интеллектуальных контроллеров для систем управления ускорительно-накопительными комплексами»

Автореферат диссертации на тему "Разработка аппаратуры и программного обеспечения интеллектуальных контроллеров для систем управления ускорительно-накопительными комплексами"

Направахрукописи

МАМКИН Виталий Рудольфович

РАЗРАБОТКА АППАРАТУРЫ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ ИНТЕЛЛЕКТУАЛЬНЫХ КОНТРОЛЛЕРОВ

ДЛЯ СИСТЕМ УПРАВЛЕНИЯ УСКОРИТЕЛЬНО-НАКОПИТЕЛЬНЫМИ КОМПЛЕКСАМИ

Специальность: 01.04.01 - приборы и методы экспериментальной физики

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

НОВОСИБИРСК - 2004

Работа выполнена в Институте ядерной физики имени Г.И.Будкера СО РАН.

ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

Аульченко — доктор технических наук,

Владимир Михайлович профессор, Институт ядерной физики

им. Г.И.Будкера СО РАН, г.Новосибирск

Сердюков — кандидат технических наук,

Олег Викторович Институт автоматики и электрометрии

СО РАН, г.Новосибирск

ВЕДУЩАЯ — ГНЦ РФ «Институт физики высоких

ОРГАНИЗАЦИЯ: энергий», г.Протвино

Защита диссертации состоится « » анрел^_2004 г

в «./7-30 » часов на заседании диссертационного совета Д.003.016.01 при Институте ядерной физики им. Г.И.Будкера СО РАН.

Адрес: 630090, Новосибирск-90,

проспект академика Лаврентьева, 11.

С диссертацией можно ознакомиться в библиотеке ИЯФ им. Г.И.Будкера СО РАН.

Автореферат разослан: « 2 » сд-с^ /а Гч_2004 г

Ученый секретарь диссертационного совета, доктор физ.-мат. наук

А.А. Иванов

Общая характеристика работы

Актуальность темы

Система управления современным ускорителем элементарных частиц представляет собой многоуровневый программно-аппаратный комплекс. В первом приближении, рассматривают три уровня аппаратных средств. На нижнем уровне (уровень датчиков) происходит измерение параметров физических процессов и преобразование их в электрическую форму. На среднем (приборном) уровне происходит мультиплексирование сигналов от различных датчиков и их предварительная: обработка. Обработка может включать аналого-цифровое преобразование, накопление данных, управление обратными связями и т.д. Верхний уровень обычно представляет собой средства человеко-машинного интерфейса. Как правило, интеллектуальные контроллеры занимают средний уровень системы управления. Под интеллектуальностью" контроллера подразумевается возможность реализации в данном контроллере сложного алгоритма управления, а также возможность оперативно изменять этот алгоритм путем перезагрузки программы контроллера. Если рассматривать программное обеспечение системы управления в целом, то также можно выделить три уровня. На нижнем уровне, разработчики стараются сосредоточить всю аппаратно-зависимую часть ПО. На среднем уровне решаются задачи обработки данных и управления системой. На верхнем уровне находятся программные средства, отвечающие за представление данных и визуализацию. ПО интеллектуальных контроллеров, как правило, охватывает два нижних уровня программных средств. Наиболее распространенным решением на среднем уровне системы управленияЛ является применение магистрально-модульных стандартов САМАС и УМЕ. В качестве контроллеров при этом используются либо специализированные разработки; либо применяются стандартные индустриальные контроллеры. Недостаток индустриальных контроллеров заключается в избыточности и универсализме, что приводит к их высокой стоимости. Специализированные разработки, как правило, более адекватны задачам управления, при условии, если они удовлетворяют

роду современных треб°ваний к конгроллерЬ^с, национальна»

За последнее десятилетие в области научной автоматизации наблюдался ряд важных тенденций. Во-первых, для задач управления стало широко использоваться программное обеспечение с открытым кодом, в частности, операционная система Linux. Во вторых, стандартным средством' коммуникаций между узлами системы управления стал стандарт Ethernet и протоколы TCP/IP. В третьих, были созданы и получили распространение специализированные программные системы управления физическими установками, такие как EPICS, TANGO и ряд других.

В тоже время на уровне контроллеров эти тенденции не проявлялись в отечественных разработках. Основная причина этого в том, что- специализированные контроллеры, разработанные для систем управления в конце 80-х, начале 90-х годов, архитектурно не совместимы с новым программным обеспечением. Индустриальные контроллеры общего назначения мало используются, так как они избыточны и дороги.

Таким образом, актуальность разработки интеллектуальных контроллеров для управления ускорительными комплексами вызвана необходимостью решения следующих задач:

1) использование на контроллерном уровне преимуществ открытых систем для решения задач автоматизации;

2) расширение коммуникационных возможностей контроллеров путем использования интерфейсов Ethernet и полноценной реализации протоколов TCP/IP;

3) апробация Ethernet в качестве полевой шины и принципа построения системы управления на базе встраиваемых контроллеров с интерфейсом Ethernet;

4) использование общемировых разработок в области специализированного программного обеспечения для систем автоматизации, исследование их возможностей;

5) замена компонентной базы контроллеров на более современную, уменьшающую энергопотребление и себестоимость контроллеров;

6) создание средств автоматизации, экономически адекватных возможностям отечественных научных институтов.

Цель диссертационной работы

Основной целью работ, вошедших в диссертацию, стала разработка и внедрение семейства контроллеров и программного обеспечения для них, обеспечивающих решение задач автоматизации на современном

уровне. Для достижения поставленной цели было необходимо решить следующие задачи:

- провести анализ архитектуры системы управления ускорительно-накопительным комплексом, и, в частности, места и роли интеллектуального контроллера в ней;

- сформулировать требования к аппаратной части интеллектуального контроллера и требования к системному программному обеспечению;

- разработать и реализовать архитектуру контроллеров САМАС, VME и встраиваемого контроллера с интерфейсом Ethernet;

' разработать и реализовать концепцию системного программного обеспечения контроллеров;

- использовать разработанные интеллектуальные контроллеры в качестве аппаратной базы для системы управления EPICS, исследовать возможности и границы применения системы;

- повести апробацию разработанных программно-аппаратных средств в системах управления реальными физическими установками;

- сформулировать способы дальнейшего усовершенствования программно-аппаратных средств контроллеров.

Научная новизна диссертационной работы

1. В соответствии с целями диссертационной работы проанализирована архитектура систем управления ускорительно -накопительными комплексами, сформулированы требования к аппаратуре и программному обеспечению интеллектуальных контроллеров.

2. Предложена и реализована архитектура интеллектуальных контроллеров, использующих программное обеспечение с открытым кодом. В частности, разработаны контроллеры в стандартах САМАС, VME и встраиваемый контроллер с интерфейсом Ethernet.

3. Предложен и реализован оригинальный метод программно-аппаратной защиты адресного пространства процессов в операционной системе uCLinux.

4. Предложен и реализован оригинальный метод организации твердотельного диска с файловой системой ext2 в операционной системе uCLinux.

5. Разработаны программные компоненты ОС RTEMS, существенно расширяющие возможности этой ОС. В частности, были

разработаны загрузчик модулей формата elf и файловая система romfs.

6. На базе разработанных < контроллеров апробирована система управления EPICS, изучены ее возможности и область применения.

Практическая ценность диссертационной работы и внедрение результатов

1. Контроллер BIVME-1 используется в системе управления стендом магнитных измерений в ИЯФ им. Будкера СО РАН.

2. На базе контроллера BIVME-1 и разработанного автором VME крейта создано 6 стендов для разработки и отладки аппаратуры VME.

3. Применен ряд технологических решений, позволивших существенно снизить стоимость VME платформы (контроллер и крейт VME). Стоимость VME платформы и средств разработки программного обеспечения сопоставима со стоимостью настольного ПК. Это позволяет говорить о возможности широкого внедрения технологии VME в системах управления ускорительных комплексов.

4. Около 20 контроллеров САМАС СМ5307 работают в системе управления комплекса ВЭГШ-5 в ИЯФ им. Будкера СО РАН.

5. Около 10 контроллеров ГР302 используются в системе управления установкой ГДЛ (газодинамическая ловушка) в ИЯФ им. Будкера СО РАН.

6. Разработанный на базе контроллера TP302 специализированный мультиплексор эксплуатируется более чем 20 операторами связи в различных городах России. Мультиплексор получил сертификат Минсвязи РФ и включен в государственный реестр средств связи.

7. Получен практический опыт использования системы управления EPICS на установках: стенд магнитных измерений и 200 кВ электронная пушка форинжектора ВЭПП-5 (ИЯФ им. Будкера СО РАН)

Апробация работы

Результаты работы докладывались на научных семинарах в ИЯФ им.Будкера СО РАН, на международных конференциях и в научных журналах: Automation, Control and Information Technology, June 10-13, 2002, Novosibirsk, Russia; XVIII конференция по ускорителям заряженных частиц RUPAC-2002, Обнинск, Россия; ГХ International Conference on Accelerator and Large Experimental Physics Control

Systems ICALEPCS-2003, Gyeongju, Korea; Nuclear Instruments and Methods in Physics Research.

На защиту выносятся результаты

1. Анализ структуры систем управления ускорительно-накопительными комплексами и выработка на его основе требований к интеллектуальным контроллерам.

2. Разработка архитектуры интеллектуальных контроллеров, использующих программное обеспечение с открытым кодом.

3. Разработка семейства контроллеров САМАС, VME, встраиваемого контроллера с интерфейсом Ethernet.

4. Разработка системного программного обеспечения контроллеров

5. Исследование на базе разработанных аппаратных средств возможностей и границ применимости системы управления EPICS.

6. Разработка сопутствующих средств отладки и тестирования контроллеров

Структура диссертации и ее объем

Работа состоит из введения, четырех глав, заключения, четырех приложений и списка литературы. Материал диссертации изложен на 139 страницах, содержит 9 таблиц и 32 рисунка.

Содержание работы

Во введении обоснована актуальность темы диссертации, сформулированы цели диссертации, научная новизна, практическая ценность и результаты, выносимые на защиту.

В первой главе рассматриваются интеллектуальные контроллеры в системах управления ускорительно-накопительными комплексами. Систему автоматизации современного ускорительного комплекса структурно можно разделить на систему сбора данных (ССД), систему обработки данных (СОД) и систему управления (СУ). ССД характеризуется большими объемами передаваемых данных, несимметричностью потока данных, относительно фиксированными алгоритмами обработки данных. Кроме того, для первичных систем ССД (первичных триггер) характерны большие скорости принятия решений (порядка 1 мкс). СОД характеризуются сложными алгоритмами работы и требовательностью к вычислительным

ресурсам. В качестве аппаратуры СОД, как правило, используются рабочие станции под управлением операционной системы общего назначения. Применение интеллектуальных контроллеров наиболее целесообразно в системах управления. Для систем управления характерен значительно меньший поток данных, чем для ССД. Поток данных в СУ является двунаправленным. Требования по быстродействию к решающим элементам СУ также значительно менее жесткие, чем в ССД. В то же время в СУ в полной мере востребованы преимущества интеллектуальных контроллеров -возможность реализации сложных алгоритмов и быстрая их смена. На современном этапе можно сформулировать следующие требования к системам управления ускорительно-накопительных комплексов:

1. Отделение операторского интерфейса от остальной системы управления.

2. Доступ к управляющей информации одновременно с нескольких терминалов.

3. Использование удобного, интуитивно понятного пользовательского интерфейса, разработанного на базе распространенных графических программных интерфейсов.

4. Поддержка набора вспомогательных сервисов, таких как архивирование данных, создание серверов с резервными копиями технологических данных.

5. Легкая интеграция системы управления со стандартными программами обработки и визуализации данных - математическими и графическими пакетами, электронными таблицами и т.д.

6. Стандартизация протоколов обмена между приборным и операторским уровнями. Наиболее часто для этого используется семейство протоколов TCP/IP.

7. Максимальное использование стандартов как при разработке аппаратуры, так и программного обеспечения.

8. Разделение задач реального времени и задач, не критичных ко времени реакции.

9. Обеспечение высокой частоты опроса датчиков для своевременного реагирования на события в ускорительном комплексе.

10. Наличие эффективной системы сигнализации о событиях, требующих вмешательства оператора.

11. Широкое использование принципа модульности как в аппаратуре, так и в программном обеспечении.

12. Возможность расширения системы.

13. Устойчивость к сбоям. Сбой в одной из подсистем не должен приводить к сбою всей системы управления или значительной ее части.

14. Подсистемы управления должны иметь возможность автоматически восстанавливать работоспособность после сбоя или ручного перезапуска.

15. Возможность распределенной обработки, что предполагает существование механизма горизонтального взаимодействия между компонентами системы.

Наиболее полно перечисленным требованиям будет соответствовать система, выполненная с применением интеллектуальных контроллеров. Архитектура контроллеров должна позволять установку операционных систем с открытым кодом. Другие важные свойства, которыми должны обладать контроллеры являются: наличие в контроллере скоростного коммуникационного интерфейса (Ethernet); наличие flash диска; обеспечение . автоматической перезагрузки при сбое контроллера; наличие защиты программных процессов друг от друга; высокая производительность контроллера; использование современной компонентной базы; низкая себестоимость; технологичность в производстве. Программное обеспечение контроллеров должно обеспечивать: поддержку стека протоколов TCP/IP; обработку внешних событий в реальном времени; удаленный мониторинг и управление контроллером.

Во второй главе рассматривается аппаратура интеллектуальных контроллеров. Разработанные контроллеры BIVME-1, CM5307, IP302 имеют одинаковую архитектуру и построены по схеме с единой внутренней магистралью. В основе их архитектуры используются 32-х разрядные микроконтроллеры производства фирмы Motorola. Выбор 32-х разрядной архитектуры и конкретного микроконтроллера обусловлен несколькими факторами.

Во-первых, интеллектуальные контроллеры предназначались для эксплуатации под управлением операционных систем с открытым кодом, таких как Linux, RTEMS. Необходимые ресурсы для запуска этих систем составляют типично 1-2 Мбайт ПЗУ и более 2 Мбайт свободного ОЗУ. Обеспечить необходимое адресное пространство и приемлемую производительность могут в этом случае 32-х разрядные процессоры.

Во-вторых, контроллеры должны быть обеспечены развитыми средствами разработки и диагностики кода. Наиболее целесообразно для этого ориентироваться на свободно распространяемый компилятор GNU GCC, отладчик GDB и сопутствующее программное обеспечение. Использование GCC также накладывает ограничение на выбор процессорной архитектуры.

В смысле широты выбора и наличия на кристалле разнообразных функций, лидирует на рынке, безусловно, семейство процессоров 68k/coldfire фирмы Motorola. Различные модификации этого семейства были заложены в основу разработанных контроллеров.

Другими важными узлами контроллеров являются: несколько видов памяти (ROM начальной загрузки, NVRAM для хранения параметров, DRAM - основная память, Flash для файловой системы); коммуникационные интерфейсы (консоль, Ethernet 10/100), интерфейсы к системной магистрали.

Отличительной особенностью интеллектуальных контроллеров СМ5307 и BIVME1 является наличие твердотельного flash диска. Наличие дисковой памяти обеспечивает автономность контроллера, быстрое восстановление работоспособности после включения питания, гибкость конфигурации. В качестве основы для диска были использованы микросхемы flash памяти серии DataFlash фирмы Atmel с последовательным доступом по шине SPI. Аппаратный обмен между процессором и диском реализован с помощью интерфейса, который разработан на программируемой логике фирмы Altera. Опыт эксплуатации показал, что flash диск является оптимальным и эффективным средством конфигурации операционной системы Linux.

Другой особенностью разработанных контроллеров является наличие аппаратной защиты процессов и ядра операционной системы друг от друга. Наличие такой защиты существенно повышает устойчивость программного обеспечения к программным ошибкам. Устройство защиты памяти представляет собой монитор циклов обращений к памяти SDRAM контроллера, который реализован на программируемой логике фирмы Altera. В функции монитора входит контроль доступа микропроцессора к определенному диапазону адресов, генерация немаскируемого прерывания в случае нарушения этого диапазона, отслеживание длительности циклов обращения к памяти.

В третьей главе рассматривается программное обеспечение контроллеров. Программное обеспечение (ПО) можно разделить на

ПО разработки кода и системное ПО. ПО разработки кода включает средства трансляции исходных текстов программ с языков высокого уровня, средства отладки приложений, а также вспомогательные утилиты, позволяющие проводить диагностику кодов разработанных программ. Под системным подразумевается программное обеспечение, загружаемое непосредственно в контроллер и создающее рабочую среду для прикладных программ. К системному ПО можно отнести начальный загрузчик, операционную систему, системные утилиты, библиотеки для разработки прикладных программ.

Начальный загрузчик получает управление при старте контроллера и производит начальную инициализацию контроллера, загружает операционную систему и передает ей управление. Наличие начального загрузчика увеличивает гибкость программного обеспечения и дает ряд дополнительных удобств при эксплуатации контроллера - например, возможность загрузки различных ОС, функции диагностики и т.д.

В качестве операционных систем для управления интеллектуальными контроллерами используются микро-Linux, RTEMS, VxWorks.

Разработка всего комплекса программного обеспечения «с нуля» является очень трудоемкой задачей и по трудозатратам значительно превысила бы разработку аппаратуры контроллера. Использование программного обеспечения с открытым кодом значительно облегчает эту задач)'. В публичных ресурсах доступны следующие средства: ассемблер GAS, дизассемблер, компилятор языка С, C++ GCC, линкер, отладчик GDB. Все это программное обеспечение поставляется в исходных текстах и построено по идеологии кросс трансляции, в рамках которой есть кросс-платформа и целевая платформа. Кросс платформой обычно является рабочая станция под управлением ОС общего назначения. На кросс платформе исполняется программное обеспечение, генерирующее код для целевой платформы. Целевой платформой в данном случае является интеллектуальный контроллер. Такой подход особенно выгоден в случае встраиваемых систем, так как существенно экономятся ограниченные ресурсы целевой системы.

Для рассматриваемых интеллектуальных контроллеров были разработаны несколько начальных загрузчиков; разработаны

комплекты драйверов для ОС RTEMS, VxWorks, Linux; адаптированы средства разработки кода на языках С, C++.

Было сделано также несколько программных разработок, повышающих эксплуатационные свойства ОС Linux и RTEMS. В частности, для ОС Linux реализована поддержка flash диска, для RTEMS разработана реализация файловой системы ROMFS и загрузчик модулей.

В четвертой главе приводятся результаты исследования возможностей системы EPICS. Усложнение систем автоматизации физических установок, стандартизация аппаратуры и программного обеспечения вычислительных средств, используемых для построения систем управления физическими установками, привела к появлению в 90-х годах ряда специализированных программных систем управления. Программная система управления представляет собой набор программных средств разработки приложений, служебных утилит, облегчающих построение системы управления реальной физической установки. Наиболее известными в мире программными системами управления являются EPICS, TINE, TANGO. Разработка интеллектуальных контроллеров, поддерживающих общераспространенные операционные системы, позволила ставить вопрос о возможности широкого использования системы EPICS.

При работе с системой EPICS ставились следующие задачи:

1. Исследовать возможность переноса на интеллектуальные контроллеры САМАС и VME ключевого компонента системы -контроллера ввода-вывода (ЮС).

2. Выбрать наиболее адекватную операционную систему с открытым кодом для функционирования IOC EPICS в интеллектуальном контроллере.

3. Сформулировать минимальные требования к аппаратным ресурсам контроллера, необходимым для функционирования узла EPICS.

4. Исследовать на долговременную устойчивость ЮС EPICS на базе интеллектуальных контроллеров с целью выявления внутренних программных ошибок.

5. Получить опыт разработки реальных систем управления на базе EPICS с использованием интеллектуальных контроллеров САМАС и VME. На базе этого опыта проанализировать преимущества и недостатки системы.

6. Исследовать особенности протокола взаимодействия Channel Access (CA) между узлами EPICS. В частности, возможность взаимодействия между аппаратными платформами с разной архитектурой.

7. Получить опыт работы с шинами САМАС и VME в среде EPICS, в данном аппаратном окружении.

8. Оценить гибкость базы данных EPICS и удобство ее использования при разработке конкретных систем управления.

9. Подготовить программное окружение для полноценного использования IOC EPICS совместно с интеллектуальными контроллерами (сторожевой таймер, средства диагностики, удаленного контроля и т.д.).

10. Предложить цикл разработки приложений в среде EPICS для данных интеллектуальных контроллеров.

Для получения ответов на поставленные вопросы, идеология и компоненты EPICS были использованы в реальных системах управления - системы управления пушкой инжектора накопителя ВЭПП-5 и системы управления ЯМР магнетометра (обе работы выполнены в ИЯФ им. Будкера СО РАН).

По результатам опытных разработок и натурных испытаний систем управления с использованием EPICS, работающих под управлением интеллектуальных контроллеров САМАС и VME, были сделаны нижеследующие выводы.

1. Возможность переноса полнофункционального ЮС на разработанные контроллеры существует и она успешно реализована.

2. В качестве операционной среды для функционирования ЮС целесообразно выбрать RTEMS, так как по построению и внутреннему интерфейсу RTEMS наиболее близок к ОС VxWorks, которая традиционно использовалась как операционная среда для ЮС.

3.Аппаратные ресурсы разработанных контроллеров являются достаточными для функционирования ЮС. По опыту эксплуатации ЮС, минимально необходимый объем памяти контроллера можно оценить в 4 Мбайт.

4. Долговременные тестовые испытания показали, что программное обеспечение интеллектуальных контроллеров (операционная система и ЮС) устойчиво функционирует при различных нагрузках и внешних событиях, что говорит об отсутствии серьезных внутренних ошибок.

5. Имеющиеся инструментальные средства для интеллектуальных контроллеров позволяют вполне комфортно разрабатывать реальные системы управления на базе EPICS.

6. Протокол Channel Access прозрачно для прикладного программиста решает проблему совместимости различных архитектур процессоров (имеется в виду проблема порядка байтов и формата хранения чисел).

7. Не вызывает затруднений обращение к аппаратным устройствам из записей базы данных ЮС. Обращение к аппаратуре осуществляется из драйверов устройств ЮС (Device Support) и может происходить напрямую или через драйвер шины операционной системы. Однако целесообразнее разработать низкоуровневую библиотеку RTEMS для обращения к шине.

8. Система записей ЮС обладает достаточной гибкостью для реализации большинства алгоритмов управления. Некоторые затруднения вызвала невозможность добавления или удаления записей без перезагрузки IO. Частично эту проблему компенсирует быстрая перезагрузка всего ЮС (порядка 5 секунд) и возможность динамической загрузки модулей SNL.

9. Стандартная реализация ЮС для ОС RTEMS, которая предлагается официальным дистрибутивом EPICS, обладает рядом недостатков, которые были исправлены серией доработок.

В заключении сформулированы основные научные и практические результаты работы:

1. Проанализирована структура систем управления ускорительно -накопительных комплексов с точки зрения места и роли в них управляющих микропроцессорных контроллеров. Сформулированы требования, предъявляемые к современным системам управления.

2. Сформулированы требования к аппаратуре и программному обеспечению интеллектуальных контроллеров, применяемых для управления ускорительно-накопительными комплексами.

3. Разработана аппаратная архитектура интеллектуальных контроллеров, удовлетворяющих сформулированным требованиям.

4. Разработана и доведена до мелкосерийного производства аппаратура интеллектуальных контроллеров трех типов: контроллер шины VME BIVME-1, контроллер КАМАК СМ5307, встраиваемый контроллер IP302. При разработке автором были предложены и реализованы несколько оригинальных технических решений: метод

организации flash диска, метод аппаратной зашиты процессов в ОС uCLinux.

5. Для интеллектуальных контроллеров разработано системное программное обеспечение, которое включает начальный загрузчик; адаптированные ОС трех видов (Linux, RTEMS, VXWORKS); систему драйверов устройств, адаптированные средства разработки и генерации кода. Решена проблема организации файловых систем в бездисковых контроллерах.

6. Проанализирована структура программных систем управления. Приведена сравнительная характеристика программных систем управления, использующихся в современных системах научной автоматизации.

7. Адаптирован EPICS IOC для использования в разработанных интеллектуальных контроллерах САМАС и VME. Разработана программная среда, облегчающая разработку и эксплуатацию приложений EPICS.

8. На базе разработанных реальных систем управления с использованием интеллектуальных контроллеров, произведено исследование преимуществ и недостатков системы EPICS, сделан вывод о возможности использования контроллеров в сложных распределенных системах управления на базе EPICS.

9. Разработаны средства отладки и тестирования. В частности, налажена сборка крейтов VME, адаптированы программные отладчики для использования с контроллерами.

10. Интеллектуальные контроллеры САМАС и VME используются в системах управления различных физических установок ИЯФ им. Будкера СО РАН. Аппаратура на базе встраиваемых контроллеров IP302 сертифицирована Министерством Связи и Информатизации РФ и включена в государственный реестр средств связи.

Материалы, положенные в основу диссертации, опубликованы в следующих работах:

1. A.Batrakov, LDyin, G.Karpov, V.Kozak, M.Kuzin, E.Kuper, V.Mamkin, N.Mezentsev, V.Repkov, A.Selivanov and V.Shkaruba. Control and data acquisition systems for high field superconducting wigglers. Nuclear Instruments and Methods in Physics Research A467-468 (2001)202-205

2. A.Batrakov, Lllyin, G.Karpov, V.Kozak, M.Kuzin, E.Kuper, V.Mamkin, N.Mezentsev, V.Repkov, A.Selivanov and V.Shkaruba. Control and data acquisition systems for high field superconducting wigglers. 7th International Conference on Synchrotron Radiation Instrumentation, Berlin, Germany, August 21-25,2000.

3. А.М.Батраков, В.М.Боровиков, И.В.Ильин, Г.В.Карпов, В.Р.Козак, Д.А.Коршунов, М.В.Кузин, Э.А.Купер, В.Р.Мамкин, Н.А.Мезенцев, В.В.Репков, А.Н.Селиванов, В.А.Шкаруба. Система управления и контроля сверхпроводящими вигглерами. 17-е совещание по ускорителям заряженных частиц, ГНЦ РФ, Ин-т физ. высоких энергий, Протвино, 17-20 октября 2000.

4. В.Р.Мамкин. Интеллектуальный контроллер в стандарте VME. Препринт ИЯФ им.Будкера СО РАН 2002-33.

5. В.Р.Мамкин, А.Н.Селиванов. Разработка контроллера ввода-вывода с поддержкой TCP/IP. Препринт ИЯФ им.Будкера СО РАН 2001-55

6. В.Р.Мамкин. Использование VME и САМАС контроллеров в составе EPICS. Препринт ИЯФ им.Будкера СО РАН 2002-12

7. V.R.Mamkin. Intelligent controllers for Data Acquisition and Control Systems. Proc. of the International Assotiation of Science and Technology for development (IASTED), June 10-13, 2002, Novosibirsk, Russia

8. В.Р.Мамкин. Разработка интеллектуальных VME и САМАС контроллеров для управления электрофизическими установками. XVIII конференция по ускорителям заряженных частиц RUPAC-2002, 1-4 октября 2002, Обнинск, Россия

МАМКИН Виталий Рудольфович

Разработка аппаратуры и программного обеспечения интеллектуальных контроллеров

для систем управления ускорительно-накопительными комплексами

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Сдано в набор 4.03.2004 г. Подписано к печати 15.03.2004 г. Формат 60x90 1/16 Объем 1,3 печл., 1,0 уч.-изд.л. Тираж 100 экз. Бесплатно. Заказ № 15 Обработано на IBM PC и отпечатано на ротапринте ИЯФ им. Г.И. Будкера СО РАН Новосибирск, 630090, пр. Академика Лаврентьева, 11

»- 5958

Содержание диссертации автор исследовательской работы: кандидата технических наук, Мамкин, Виталий Рудольфович

ВВЕДЕНИЕ.

ГЛАВА 1. Интеллектуальные контроллеры в системах управления ускорительно-накопительными комплексами.

1.1. Система автоматизации ускорительно-накопительного комплекса.

1.2. Существующие стандарты и оборудование.

1.3. Выработка технических требований к контроллерам.

1.4. Обзор программного обеспечения.

1.5. Выводы.

ГЛАВА 2. Разработка аппаратуры интеллектуальных контроллеров.

2.1. Архитектура контроллера.

2.2. Организация файловых систем в бездисковых контроллерах.

2.3. Аппаратная защита между процессами в контроллерах без менеджера памяти.

2.4. Шинные интерфейсы.

2.5. Возможности дальнейшего развития.

2.6. Выводы.

ГЛАВА 3. Разработка программного обеспечения интеллектуальных контроллеров.

3.1. Структура программного обеспечения.

3.2. Разработка начального загрузчика.

3.3. Перенос операционных систем на контроллеры.

3.3.1. Адаптация ядра ОС.

3.3.2. Разработка системы драйверов.

3.4. Программная реализация файловых систем в бездисковых контроллерах.

3.4.1. Файловая система ROMFS.

3.4.2. Программная реализация flash диска.

3.5. Расширение возможностей ОС RTEMS.

3.5.1. Сервер удаленной консоли.

3.5.2. Динамический загрузчик модулей.

3.6. Средства разработки кода.

3.7. Выводы.

ГЛАВА 4. Исследование возможностей системы управления EPICS.

4.1. Обзор программных систем управления.

4.2. Задачи исследования. 4.3. Архитектура системы EPICS.

4.4. Методы исследования.

4.5. Особенности ЮС на базе RTEMS.

4.6. Результаты исследования системы EPICS.

4.7. Выводы.

Введение диссертация по физике, на тему "Разработка аппаратуры и программного обеспечения интеллектуальных контроллеров для систем управления ускорительно-накопительными комплексами"

Актуальность темы. Система управления современным ускорительно-накопительным комплексом или < другой крупной электрофизической установкой, представляет собой многоуровневый программно-аппаратный комплекс. В первом приближении, рассматривают три уровня аппаратных средств. На нижнем; уровне (уровень датчиков) происходит измерение параметров физических процессов и преобразование их в электрическую форму. На среднем (приборном) уровне происходит мультиплексирование сигналов от различных датчиков и их предварительная обработка. Обработка может включать аналого-цифровое преобразование, накопление данных, управление обратными связями и т.д. Верхний уровень обычно представляет собой средства человеко-машинного интерфейса. Как правило, интеллектуальные контроллеры занимают средний уровень системы управления. Под интеллектуальностью контроллера подразумевается возможность реализации в данном контроллере сложного алгоритма управления, а также возможность оперативно изменять этот алгоритм путем замены программного обеспечения контроллера. Если рассматривать программное обеспечение системы управления в целом, то также можно выделить три уровня. На нижнем уровне, разработчики стараются сосредоточить всю аппаратно-зависимую часть программного обеспечения. Нижний уровень представляет собой интерфейс между аппаратурой и верхними слоями программного обеспечения. На среднем уровне решаются задачи обработки данных и управления системой. На верхнем уровне находятся программные средства, отвечающие за представление данных и визуализацию. Программное обеспечение интеллектуальных контроллеров, как правило, охватывает два нижних уровня рассмотренной иерархии программных средств. Наиболее распространенным решением на среднем уровне системы управления является применение контроллеров магистрально-модульных стандартов САМАС и VME. Например, в ИЯФ СО РАН, было разработано несколько вариантов контроллеров САМАС [33,34]. В качестве контроллеров VME в физических, центрах используются контроллеры общеиндустриального назначения, наиболее популярным из которых является MVME162 производства фирмы Motorola [44]. По ряду причин, рассмотренных далее, эти контроллеры перестали удовлетворять в полной мере потребностям современной системы управления.

Развитие микроэлектроники приводит к необходимости смены компонентной базы контроллеров каждые 5-7 лет. Общеизвестен факт экспоненциального роста производительности процессоров и объемов памяти в одном кристалле. Это? приводит к резкому удешевлению компонентов на единицу ресурса. Применение современных компонентов. приводит к повышению степени интеграции контроллера, а значит, упрощается сборочный процесс, который при малых объемах производства обычно связан с дорогостоящим ручным трудом. Уменьшение энергопотребления уменьшает нагрузку на системы питания и приводит к увеличению надежности всей системы управления. Кроме того, по экономическим причинам производители микроэлектроники прекращают выпуск устаревших изделий, поэтому обслуживание и ремонт устаревших электронных блоков становится проблематичным. Периодическая смена поколений контроллеров, очевидно, является объективным фактом. Например, в ИЯФ СО РАН последние разработки интеллектуальных контроллеров САМАС проводились в конце 80-х, начале 90-х годов. К настоящему времени в таких разработках вновь возникла необходимость.

С общим развитием вычислительных средств, связана и смена подходов к проблеме телекоммуникаций. С одной стороны, появляются все новые стандарты в области передачи данных. С другой стороны, все больше внимания уделяется коммуникационным возможностям контроллеров. Как правило, современный контроллер, разработанный в каком-либо магистрально-модульном стандарте, имеет интерфейс Ethernet 10 или 100 мбит/с. Развитие эффективных протоколов верхнего уровня выдвигает определенные требования к системному программному обеспечению. Стек протоколов TCP/IP на сегодняшний день является универсальной коммуникационной средой, на которой базируется большинство систем управления. С телекоммуникационными возможностями контроллера связана гибкость его применения, возможность удаленной диагностики и т.д. Хотя стек протоколов TCP/IP и Ethernet нельзя назвать новыми стандартами, в САМАС контроллерах, используемых в России для научных исследований, эти стандарты не были поддержаны в полной мере.

Появление новых телекоммуникационных стандартов привело, в некоторой мере, и к изменению подходов к построению систем управления. Речь здесь идет о появлении целого семейства так называемых полевых шин-PROFIBUS, CAN и других. Система управления, построенная по «полевому» принципу, представляет собой совокупность интеллектуальных датчиков, объединенных последовательной помехозащищенной магистралью. Датчики территориально привязаны каждый к своему объекту управления. Управляется эта система датчиков обычно от центральной ЭВМ. По сравнению с магистрально-модульной системой, в «полевой» системе управления значительно уменьшается число соединительных: кабелей, и, следовательно, увеличивается помехозащищенность. Главными требованиями к магистрали при таком подходе являются детерминированное время доступа, помехозащищенность, дальность связи (характерные размеры физических установок могут достигать сотен метров). Кроме специализированных магистралей, в качестве полевой шины все чаще используется стандарт Ethernet [16]. Удовлетворяя большинству требований к полевой шине, Ethernet обладает рядом преимуществ - скорость передачи данных, возможность наращивания масштабов сети, дешевизна и доступность оборудования. Местом применения контроллера в системе управления, построенной по «полевому» принципу, является интеллектуальный датчик. Принцип построения такого датчика ясно просматривается - это разбиение на модуль коммуникационного контроллера и специфический для данной физической установки модуль сопряжения. Необходимость разработки такого контроллера и программного обеспечения для него возникла из необходимости реализации для управления физическими установками «полевого» подхода в целом, и, в частности, использования Ethernet в качестве полевой шины.

Другая тенденция, наблюдаемая в настоящее время - переход к, идеологии так называемых открытых систем. Под открытой: понимают систему, разработанную в соответствии с опубликованными и принятыми в промышленности стандартами. В сфере программного обеспечения существует соответствующее понятие - программное обеспечение с открытым кодом. Использование идеологии открытых систем дает возможность разрозненным разработчикам аппаратуры и программного обеспечения объединять свои усилия. Примером открытой системы является операционная система Linux, возникшая и ставшая популярной как система с открытым кодом. Linux - результат усилий сотен разрозненных программистов. Подобные открытые системы успешно конкурируют с фирменными системами - ОС MS Windows, VxWorks и другими. Если говорить о программном обеспечении в научной автоматизации, то на уровне контроллеров преимущества использования открытых систем практически не реализованы в России, по крайней; мере, если судить по публикациям последних лет. Использование в интеллектуальном контроллере операционной системы с открытым кодом, дало бы неоспоримые преимущества разработчику системы управления. По возможностям программного обеспечения такой контроллер приблизился бы к уровню рабочей станции. Постоянное развитие программного обеспечения обеспечивалось бы усилиями большого сообщества программистов. Учитывая, что такие UNIX-подобные ОС как Linux, FreeBSD широко используются; в научной автоматизации на уровне рабочих станций и серверов, произошла бы унификация базового программного обеспечения контроллеров и рабочих станций. Это немаловажно, учитывая что сложившаяся в России система подготовки программистов ориентирована, в основном, на изучение и преподавание особенностей общераспространенных ОС - MS Windows и UNIX-подобных.

В последние годы для отечественной науки открылись новые возможности участия в международных исследовательских проектах в физике высоких энергий. Более тесное сотрудничество с зарубежными научными центрами позволяет использовать международный опыт в создании систем управления крупными физическими установками. В частности, система управления EPICS (Experimental Physics and Industrial Control System) создана членами коллаборации около 100 институтов и лабораторий, среди которых Argonne National Laboratory (США), Los Alamos National Laboratory (США), КЕК (Япония), SLAC (США), BESSY II (Германия), DESY (Германия), INFN (Италия) [54]. Система EPICS создана специально для автоматизации крупных физических установок и отвечает большинству требований, предъявляемых к такому программному обеспечению. Интерес представляет опыт использования EPICS в отечественных условиях. Исследование возможностей системы, границ ее применимости, надежности, даст важную информацию для выбора направления дальнейших разработок в области автоматизации. Работа с передовым программным обеспечением в своей области, позволит программистам-разработчикам систем управления получить ценный опыт и расширить свой кругозор. Разрешение этих вопросов возможно при появлении соответствующей аппаратной базы, отвечающей требованиям EPICS, то есть интеллектуальных контроллеров, позволяющих функционировать основным компонентам системы.

По известным причинам, разработчики нового оборудования вынуждены учитывать вопросы себестоимости их изделий и технологичности производства. Доступные сейчас на рынке контроллеры САМАС и VME [18] зарубежного производства, отвечают большинству технических требований, предъявляемых к системе управления, однако их высокая стоимость делает их неприменимыми в отечественных условиях по причинам экономическим. Стоимость рядового контроллера VME составляет около 2000$. С учетом VME крейта и необходимых средств расширения возможностей контроллера (например, дисковый накопитель), начальная стоимость VME системы может доходить до 5000$. При использовании коммерческих средств разработки программного обеспечения, стоимость одного рабочего места программиста может возрасти до 10000$ и более. О массовом внедрении новой технологии при таких условиях не может быть и речи. С другой стороны, общеиндустриальные контроллеры, в силу своего универсализма, часто страдают избыточностью. Отсюда возникает вывод о необходимости сбалансированного и комплексного подхода к разработке новых контроллеров. При выборе компонентной базы контроллеров должны учитываться не только функциональные возможности, но и себестоимость изделия, технологичность его производства в российских условиях, возможность использования свободно распространяемого программного обеспечения.

Таким образом, актуальность разработки интеллектуальных контроллеров для управления ускорительно-накопительными комплексами вызвана необходимостью решения следующих задач:

- замена компонентной базы контроллеров на более современную, уменьшение энергопотребления и себестоимости контроллеров на единицу ресурса;

- расширение коммуникационных возможностей контроллеров путем использования интерфейсов Ethernet и полноценной реализации протоколов TCP/IP;

- апробация Ethernet в качестве полевой шины и принципа построения системы управления на базе встраиваемых контроллеров с интерфейсом Ethernet;

- использование на контроллерном уровне преимуществ открытых систем для решения задач автоматизации;

- использование международных разработок в области специализированного программного обеспечения для систем автоматизации, исследование их возможностей;

- создание средств автоматизации, экономически адекватных финансовым возможностям отечественных научных институтов;

Цель диссертационной работы

- разработать и реализовать концепцию системного программного обеспечения контроллеров;

- указать возможности дальнейшего усовершенствования программно-аппаратных средств контроллеров;

Научная новизна диссертационной работы

1. В соответствии с целями диссертационной работы проанализирована архитектура систем управления ускорительно-накопительными комплексами, сформулированы требования к аппаратуре и программному обеспечению интеллектуальных контроллеров.

2. Предложены и реализованы архитектура и программное обеспечение интеллектуальных контроллеров, использующих программное обеспечение с открытым кодом. В частности, разработаны контроллеры в стандартах САМАС, VME, встраиваемый контроллер с интерфейсом Ethernet.

3. Предложен и реализован оригинальный метод программно-аппаратной защиты адресного пространства процессов в операционной системе uLinux.

4. Предложен и реализован оригинальный метод организации твердотельного диска с файловой системой ext2 в операционной системе uLinux.

5. Разработан ряд расширений ОС RTEMS, существенно расширяющих возможности этой ОС. В частности, загрузчик модулей формата elf и файловая система romfs.

6. На базе разработанных контроллеров апробирована система управления EPICS, изучены ее возможности и область применения.

7. Показаны возможности дальнейшего развития программно-аппаратных средств контроллеров.

Практическая ценность диссертационной работы и внедрение результатов

1. Контроллер BIVME-1 используется в системе управления стендом магнитных измерений в ИЯФ им. Будкера СО РАН.

3. Освоена сборка дешевых крейтов VME. Стоимость контроллера, крейта VME и средств разработки: программного обеспечения сопоставима со стоимостью настольного ПК, что позволяет говорить о широком внедрении технологии VME.

4. Около 20 контроллеров САМАС СМ5307 работают в системе управления комплекса ВЭПП-5 в ИЯФ им. Будкера СО РАН.

5. Около 10 контроллеров IP302 используются в системе управления установкой ГДЛ в ИЯФ им. Будкера СО РАН.

6. Разработанный на базе контроллера IP302 специализированный мультиплексор эксплуатируется более чем в 20 городах и населенных пунктах России. Мультиплексор получил сертификат Минсвязи РФ и был включен в государственный реестр средств связи.

Результаты работы докладывались на научном семинаре в ИЯФ им.Будкера СО РАН, на конференциях: Automation, Control and Information Technology, June 10-13, 2002, Novosibirsk, Russia; XVIII конференция no ускорителям заряженных частиц RUPAC-2002, Обнинск, Россия и других. По теме работы опубликованы статьи [1-8]. На защиту выносятся результаты:

3. Разработка семейства контроллеров САМАС, VME, встраиваемого контроллера с интерфейсом Ethernet.

4. Разработка системного программного обеспечения контроллеров

6. Разработка сопутствующих средств отладки и тестирования контроллеров

Личный вклад

Автором сформулированы и реализованы цели диссертационной работы, получены основные научные и практические результаты. Внедрение результатов работы на реальных физических установках происходило при непосредственном участии автора.

Заключение диссертации по теме "Приборы и методы экспериментальной физики"

4.7. Выводы

Приведено сравнение различных программных систем управления. Рассмотрена система управления EPICS и особенности ее функционирования на интеллектуальных контроллерах САМАС и VME. В частности, при переносе контроллера ввода-вывода EPICS в операционную среду RTEMS, потребовалась разработка файловой системы romfs, сервера удаленной консоли, системы загрузки модулей для RTEMS. Исследования свойств системы EPICS проводились на реальных системах управления, по результатам эксплуатации которых сформулированы преимущества и недостатки системы.

ЗАКЛЮЧЕНИЕ

Основные научные и практические результаты работы следующие:

1. Проанализирована структура систем управления ускорительно-накопительных комплексов с точки зрения места и роли в них управляющих микропроцессорных контроллеров. Сформулированы требования, предъявляемые к современным системам управления.

4. Разработана и доведена до мелкосерийного производства аппаратура интеллектуальных контроллеров трех типов: контроллер шины УМЕ BIVME-1, контроллер КАМАК СМ5307, встраиваемый контроллер IP302. При разработке автором были предложены и реализованы несколько оригинальных технических решений: метод организации flash диска, метод аппаратной защиты процессов в ОС uCLinux.

7. Адаптирован EPICS ЮС для использования в разработанных интеллектуальных контроллерах САМАС и УМЕ. Разработана программная среда, облегчающая разработку и эксплуатацию приложений EPICS.

9. Разработаны средства отладки и тестирования. В частности, налажена сборка крейтов УМЕ, адаптированы программные отладчики для использования с контроллерами.

В заключение автор хотел бы выразить благодарность научным сотрудникам ИЯФ СО РАН: Г.С.Карпову, за помощь и консультации при разработке программного обеспечения ЯМР магнетометра; Е.А.Гусеву, за ряд конструктивных замечаний и предложений по системе EPICS; заведующему лабораторией 6-1 ИЯФ СО РАН, д.т.н. Э.А.Куперу и профессору, д.т.н. В.И.Нифонтову за помощь при подготовке диссертации.

Список источников диссертации и автореферата по физике, кандидата технических наук, Мамкин, Виталий Рудольфович, Новосибирск

1. В.Р.Мамкин. Интеллектуальный контроллер в стандарте VME. Препринт ИЯФ им.Будкера СО РАН 2002-33.

2. В.Р.Мамкин, А.Н.Селиванов. Разработка контроллера ввода-вывода с поддержкой TCP/IP. Препринт ИЯФ им.Будкера СО РАН 2001-55

3. В.Р.Мамкин. Использование VME и САМАС контроллеров в составе EPICS. Препринт ИЯФ им.Будкера СО РАН 2002-12

4. V.R.Mamkin. Intelligent controllers for Data Acquisition and Control Systems. Proc. of the International Assotiation of Science and Technology for development (IASTED), June 10-13, 2002, Novosibirsk, Russia

5. В.Р.Мамкин. Разработка интеллектуальных VME и САМАС контроллеров для управления электрофизическими установками. XVIII конференция поускорителям заряженных частиц RUPAC-2002, 1-4 октября 2002, Обнинск, Россия

6. А.Н.Рыбаков. PCI+VMEbus: эффективный союз лидеров. Мир компьютерной автоматизации, № 1, 1996.

7. А.Н.Рыбаков. PCI в роли РЭМБО. CompactPCI эволюция стандарта PCI для жестких встраиваемых приложений. Мир компьютерной автоматизации, № 1, 1997.11 .А.А.Жданов. Современный взгляд на ОС реального времени. Мир компьютерной автоматизации, № 1, 1999.

8. Джон Вранович. Эра Linux: ОС с открытым исходным кодом основной элемент встраиваемых систем. Мир компьютерной автоматизации, № 2, 2000.

9. Питер Вархол. Linux во встроенных системах и системах реального времени. Мир компьютерной автоматизации, № 4, 2000.

10. Н.А.Н.Любашин. Ethernet на пути из офиса к промышленному предприятию. Мир компьютерной автоматизации, № 2, 2001.

11. Рей Олдерман. О шине VME и не только. Мир компьютерной автоматизации, № 2,2001.

12. Перри Синк. Industrial Ethernet: все более ясные очертания. Мир компьютерной автоматизации, № 4, 2001.

13. И.И.Шагурин, В.А.Ванюлин, А.В.Смирнов. Исполнительное ядро реального времени RTEMS и особенности его применения. Мир компьютерной автоматизации, № 4, 2001.

14. В.Свиридов. Современные интегрированные системы. Шины и объединительные магистрали. 20 лет VME bus. Мир компьютерной автоматизации, № 4,2001.

15. Перри Синк. Восемь открытых промышленных сетей и Industrial Ethernet. Мир компьютерной автоматизации, № 1,2002.

16. Грег Роуз. Вопросы успешного применения ОС Linux во встраиваемых системах. Мир компьютерной автоматизации, № 3, 2002.

17. Philip Duval. The TINE Control System Protocol: Status Report. Proc of PCAPAC, 2000.

18. M.T. Heron, B.G. Martlew. A review of options for the DIAMOND control system. Proc of PCAPAC, 1999.

19. Philip Duval. TINE: An Integrated Control System for HERA. Proc of PCAPAC, 1999.

20. Control system comparisons. Proc of PCAPAC 2002.

21. J-M. Chaize, A. Gotz, W-D. Klotz, J. Meyer, M. Perez, E. Taurel, P. Verdier. TANGO: an object oriented control toolkit based on CORBA. Proc. of PCAPAC, 2000.

22. A.Aleshaev et al. VEPP-4 Control system. Proc. of ICALEPCS-95.

23. F.Nedeoglo. D. Komissarov. Linux and RT-Linux for accelerator control pros and cons, application and positive experience. Proc. of ICALEPCS, 1999.

24. S. Karnaev et al. Database and data flow on the VEPP-4 control system. Proc. of ICALEPCS, 1999.

25. D. Filimonov et al. Database and channel access on the VEPP-4 control system. Proc. of ICALEPCS, 2001.

26. T. Straumann. Open source real time operating systems overview. Proc. of ICALEPCS, 2001.3 l.M.R. Kraimer, J.B. Anderson, J.O. Hill, W.E. Norum. EPICS: a retrospective on porting iocCore to multiple operating systems. Proc. of ICALEPCS, 2001.

27. В.М.Аульченко и др. Проект детектора КМД-2М. Препринт ИЯФ СО РАН им. Будкера, 2001-45.

28. Козак В.Р. Матобеспечение для ЭВМ ОДРА и ОДРЕНОК, программы обработки текстовых файлов. Новосибирск, 1988. Препринт ИЯФ СО РАН им. Будкера, 88-23

29. Квашнин А.Н., Конюхов В.В., Хильченко А.Д. Интеллектуальный контроллер крейтаКАМАК «Миленок». Новосибирск, 1991. Препринт ИЯФ СО РАН им. Будкера, 91-39.

30. Wade D. Peterson. The VME bus handbook. A VITA publication, 1989.

31. Flash диски с интерфейсом IDE (обзор). Industrial Computer News N5, 1999.

32. Единая система стандартов приборостроения. СИСТЕМА КАМАК. КРЕЙТ И СМЕННЫЕ БЛОКИ. Требования к конструкции и интерфейсу. ГОСТ 26.201-80. Издательство стандартов. 1980.

33. PCI local bus specification. Revision 2.1. 1995.

34. Alessandro Rubini. Linux Device Drivers. O'Reilly, 1998

35. Т.Кормен, Ч.Лейзерсон, Р.Ривест. Алгоритмы. Построение и анализ. Москва, МЦНМО, 2001

36. А.Робачевский. Операционная система UNIX. СПб: BHV -Санкт-Петербург, 199842.0лифер В.Г., Олифер Н.А. Новые технологии и оборудование IP сетей.

37. СПб: BHV -Санкт-Петербург, 2000 43.Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. СПб: Питер, 2001

38. MVME162PE2. VME controller with two IndustryPack slots. Datasheet. Motorola.

39. MC68360 Quad Integrated Communications Controller Users Manual. Motorola, MC68360UM/AD.46.68000 Family Programmers Reference Manual. Motorola, M68000PM/AD.

40. MC68302 Integrated Multiprotocol Processor User's Manual. Motorola, 1991

41. MCF5307 Coldfire Integrated Microprocessor User's Manual. Motorola, 1998

42. MCF5200 ColdFire Family Programmer's Reference Manual. Motorola, MCF5300PRMREV1/D

43. Glenn Dody, Terry Burnette. BGA assembly process and rework. Motorola Inc. Austin Texas.

44. Using Atmels's serial DataFlash. Application Note 4. Atmel corporation, 1998.

45. FLEX 10K embedded programmable logic family. Altera corporation, 1999.

46. MAX+PLUS II Getting started. Altera corporation.

47. EPICS documentation: www.aps.anl.gov/epicsf