Унифицированный комплекс средств распределенной обработки информации и его внедрение в физические исследования ИФВЭ тема автореферата и диссертации по физике, 01.04.23 ВАК РФ

1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ.-.

Введение.

Актуальность темы.

Цель работы.

Научная новизна.

Практическая ценность.

Тезисы к защите.

Апробация работы.

Объем и структура диссертации.

2. АНАЛИЗ УСЛОВИЙ И ОСОБЕННОСТЕЙ ПРОВЕДЕНИЯ ФИЗИЧЕСКИХ ИССЛЕДОВАНИЙ НА ПУЧКАХ ЧАСТИЦ 70-ГЭВ УСКОРИТЕЛЯ ИФВЭ {I—SJ

2.1. Некоторые особенности физических исследований и экспериментальных установок пни высоких энергиях взаимодействующих частиц.

2.2. Пучки члсшц, аппаратура экспериментальных установок и потоки информации в экстшриме1itax на ускорителе у-70. характеристики установок на других крупных ускорителях частиц.

2.3. Методы и возможности сжатия информационных потоков в экспериментах на ускорителе ИФВЭ.

2.4. Системы автоматизации установок ИФВЭ.

2.5. Новая элемеш ная база для разработки систем сбора и обработки информации.

2.6. Результаты анализа и выводы.

3. УНИФИЦИРОВАННЫЙ КОМПЛЕКС ПРОГРАММНО-АППАРАТНЫХ СРЕДСТВ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ |9 - 18,221

3.1. Встраиваемые микроэвм.

3.2. Модули для буферизации и блочной передачи данных с использованием специального канала.

3.3. Модульное построение контроллеров для управления в каркасе.

3.4. 32-разрядный процессор-эмулятор 780/е.

4. ИСПОЛЬЗОВАНИЕ УНИФИЦИРОВАННОГО КОМПЛЕКСА СРЕДСТВ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ ДАННЫХ НА УСТАНОВКАХ ИФВЭ [9-21,23-26)

4.1. Система сбора данных физической экспериментальной установки "Лептон-Ф".

4.2. Системы сбора данных установок «ПРОЗА-М» и «ФОДС-2».

4.3. Система сбора и i 1редварителы юй обработки информации для больикл о жидкоаргонового спектрометра (БАРС) экспериме! гтлльной установки «Комплекс меченых нейтри! ю» (КМН).

4.4. Автоматизированные системы измерений и управления.

Введение

Исследования в области физики высоких энергий - одно из ведущих направлений в современной науке. Потенциально чрезвычайно велика практическая важность изучаемых фундаментальных проблем (единство природы различных взаимодействий, происхождение массы частиц, существование экзотических частиц и связь элементарных частиц с космологией).

Физические исследования на каждом крупном ускорителе частиц уникальны по задачам и чрезвычайно дорогостоящи. Поэтому экспериментальные установки сооружаются в рамках программы международного научного сотрудничества, а экспериментальная база для физических исследований зависит от характеристик ускорителя, принятой физической программы и во многом создается заново.

При этом проведение физических исследований на любом крупном ускорителе частиц (в том числе и на 70-ГэВ протонном синхротроне ИФВЭ) невозможно без кардинальной автоматизации всех этапов работ (планирование и подготовка эксперимента, исследование экспериментальной аппаратуры, процесс получения, верификации и обработки экспериментальных данных, анализ полученных результатов и сопоставление их с теоретическими расчетами и моделями, обеспечение работы многочисленных технических и технологических систем, стендов, установок и самого ускорителя).

Актуальность темы

Актуальность работы определялась необходимостью создания в ИФВЭ многоцелевых физических экспериментальных установок и комплексной автоматизации различных технологических систем ускорительного комплекса ИФВЭ для обеспечения широкой программы научных исследований, без чего было бы невозможно получение новых научных результатов в области физики высоких энергий.

Цель работы

Основной целью диссертационной работы было создание и внедрение в физические экспериментальные установки, автоматизированные системы ускорителей и каналов пучков частиц ИФВЭ комплекса унифицированных аппаратно-программных средств для электронных систем сбора и распределенной обработки информации.

Научная новизна

Научная новизна заключается в том, что впервые предложен, разработан и внедрен на ряде физических экспериментальных установок и в составе ряда автоматизированных систем управления ускорительным комплексом, каналами пучков частиц ИФВЭ единый набор аппаратно-программных средств для распределенной обработки экспериментальной информации. В состав набора входят встраиваемые и автономные микроЭВМ, управляющие контроллеры с программным, микропрограммируемым и жестким аппаратным управлением, средства буферирования и передачи информации, а также ряд дополнительных устройств для тестирования и контроля. Он разработан частично с использованием функционально-модульного и функционально-узлового методов проектирования, часть разработанной аппаратуры доведена до выпуска в промышленности. Все разработки полностью совместимы с ранее используемой аппаратурой и существенно повышают технические характеристики систем, где они внедрены.

Впервые предложена, разработана и внедрена на ряде физических экспериментальных установок система сбора данных с оригинальной архитектурой, в которой процессы распределенной обработки информации с детекторов частиц полностью разделены с процессами записи обработанных данных в ЭВМ, сбор данных с локальных процессоров ведется через специальную магистраль с аппаратным управлением, а для управления установкой используется отдельный канал в режиме разделения времени с каналом вывода данных.

Практическая ценность

Практическая ценность исследований и разработок, входящих в диссертацию, определяется тем, что все они доведены до широкого применения в составе физических экспериментальных установок и многочисленных технологических систем ИФВЭ и ряда установок ИЯИ (г.Троицк) и ИТЭФ (г.Москва). С их применением выполнен с участием и без прямого участия автора ряд научных и методических исследований, получены новые физические результаты, опубликованные в научной печати.

Тезисы к защите

1. Проведен анализ постановки физических экспериментов на крупных ускорителях, а также структуры существующих экспериментальных установок ИФВЭ и потоков информации в них.

2. Предложена оригинальная архитектура системы сбора данных для физических экспериментальных установок с большими потоками данных, где:

- процессы параллельной обработки данных с детекторов частиц в реальном масштабе времени регистрации события и процессы последовательного ввода обработанных данных в ЭВМ полностью разделены буферной памятью;

- сбор обработанных данных через один из портов в буферную память ведется с помощью специальной высокопроизводительной однонаправленной магистрали с аппаратным управлением;

- вывод данных через второй порт буферной памяти в ЭВМ осуществляется в высокоэффективных групповых режимах прямого доступа к памяти ЭВМ;

- управление установкой, ее калибровки и тестирование ведутся по отдельному двунаправленному каналу в режиме разделения времени с каналом вывода данных из буферной памяти в ЭВМ.

3. Разработаны и внедрены в практику проведения физического эксперимента:

- набор аппаратно-программных средств обработки данных в локальных узлах систем сбора информации, начиная от встроенных универсальных микроЭВМ, до узкоспециализированных контроллеров с микропрограммным управлением;

- набор модульных средств хранения и буферирования данных;

- широкий спектр контроллеров, драйверов и интерфейсов для передачи информации между узлами ее локальной обработки.

4. Созданы и исследованы системы сбора и обработки информации для ряда различных экспериментальных установок. Встроенные возможности тестирования в существенной степени повысили информационную достоверность эксперимента и эксплуатационную надежность этих систем.

5. Созданы различные автоматизированные системы для ускорительных и технологических установок ИФВЭ.

Апробация работы

Основные результаты диссертации опубликованы в виде статей в научных журналах «Микропроцессорные средства и системы», «Приборы и техника эксперимента», препринтов ИФВЭ, CERN, а также обсуждены на международных конференциях, совещаниях и научных семинарах, таких как:

• Международная конференция по системам контроля для ускорителей и больших экспериментальных установок (ICALEPCS-93, Берлин, 1993 г.).

• Международная конференция «Компьютеры в физике высоких энергий» (СНЕР-89, Оксфорд, 1989 г.).

• XII Международный симпозиум по ядерной электронике. Дубна, 1985 г.

• III Всесоюзный семинар по обработке физической информации. Ереван, 1985 г.

• VIII Международный симпозиум по проблемам модульных информационно-вычислительных систем «ИВС-91». Дубна, 1991 г.

• XV совещание по ускорителям заряженных частиц. Протвино, 1996 г.

• VII Всесоюзный симпозиум «Модульные информационно-вычислительные системы». Новосибирск, 1994 г.

• Научные семинары в ИФВЭ и ИЯИ (г. Троицк).

Материалы, вошедшие в диссертацию, использовались автором в учебном процессе со студентами МФТИ кафедры «Физика высоких энергий».

Объем и структура диссертации

Диссертация в виде научного доклада изложена на 59 страницах, состоит из четырех глав и заключения. Содержит 23 рисунка, 10 таблиц и список литературы из 27 наименований.

Основные результаты опубликованы в работах:

1. Бинон Ф., Брикман К., Бушнин Ю.Б., Гуанэр Н., Давыдов В.А., Джайянти Д.Т., Донское C.B., Дюфурно Ж., Инякин A.B., Качанов В.А., Какауридзе Д.Б., Кулик A.B., Ланье Ж.П., Леднев A.A., Михайлов Ю.В., Пенье Ж.П., Прокош-кин Ю.Д., Роозен Р., Садовский С.А., Сенько В.А., Сийю Д., Спигель М., Старцев A.B., Строот Ж.П., Сытин А.Н., Хаустов Г.В. Исследование 1Гр-взаимодействий с нейтральными конечными состояниями. Препринт ИФВЭ 78-133, Серпухов, 1978.

2. Абрамов В.В., Алексеев A.B., Балдин Б.Ю., Битюков С.И., Бушнин Ю.Б., Враж-нов Ю.Н., Глебов В.Ю., Дунайцев А.Ф., Дышкант A.C., Евдокимов В.Н., Зелепу-кин С.А., Карпеков Ю.Д., Коноплянников А.К., Кренделев В.А., Криницын А.Н., Крышкин В.И., Кульман Н.Ю., Макаров Г.П., Мельник Ю.М., Орлов А.П., Петров B.C., Рыбаков В.Г., Рыченков В.Н., Сергеев В.А., Симонов Ю.Н., Слепцов М.А., Солдатов М.М., Суляев P.M., Сытин А.Н., Татаренко В.М., Турчано-вич Л.К., Углеков В.Я. Фокусирующий двухплечевой спектрометр. Препринт ИФВЭ 81-46, Серпухов, 1981.

3. Битюков С.И., Бушнин Ю.Б., Викторов В.А., Вишневский Н.К., Головкин C.B., Грицук М.В., Джелядин Р.И., Дорофеев В.А., Дунайцев А.Ф., Ермолин Ю.В., Зайцев A.M., Зелепукин С.А., Коноплянников А.К., Константинов A.C., Константинов В.Ф., Кубаровский В.П., Кулявцев А.И., Куршецов В.Ф., Ландсберг Л.Г., Лапин В.В., Леоненко Д.А., Леонтьев В.М., Мухин В.А., Новожилов Ю.Б., Образцов В.Ф., Петров B.C., Рыбаков В.Г., Сенько В.А., Склезнев A.B., Соляник В.И., Сытин А.Н. Комбинированный спектрометр заряженных адронов и у-квантов для исследования радиационных распадов и поисков новых мезонных состояний. (Установка «Лептон-Ф»). Препринт ИФВЭ 84-216, Серпухов, 1984.

4. Божко Н.И., Борисов A.A., Бамбуров Н.С., Васильев М.В., Вовенко A.C., Горячев В.Н., Зудин Ю.А., Кирсанов М.М., Кожин A.C., Кравцов В.И., Кузнецов A.A., Липаев В.В., Рыченков В.Н., Соломатин Ю.И., Сенько В.А., Сидоров A.B., Сытин А.Н., Сытник В.В., Тумаков В.Л., Фахрутдинов P.M., Черниченко С.К., Шестерманов К.Е., Щукин Г.Л., Барабаш Л.С., Баранов С.А., Батусов Ю.А., Бунятов С.А., Горбунов Н.В., Денисов О.Ю., Карев А.Г., Казаринов М.Ю., Климов О.Л., Кузнецов О.М., Ладыгин Е.А., Люков В.В., Обудовский В.П., Пра-хов С.Н., Снятков В.И., Яки 3. Калибровка нейтринного детектора ИФВЭ - ОИЯИ. Препринт ИФВЭ 91-138, Протвино, 1991.

5. Аникеев В.Б., Беликов C.B., Гилицкий Ю.В., Гуржиев С.Н., Гутников Ю.Е., Денисов А.Г., Денисов С.П., Душкин А.Ю., Корешев В.И., Кочетков В.И., Липаев В.В., Лось C.B., Мамаков П.В., Мельников Е.А., Михайлин В.Н., Михайлов B.C., Мухин С.А., Солдатов А.П., Спиридонов A.A., Сытин А.Н., Тишин Г.В., Шеин И.В., Дженфоро Дж., Серджиампиетри Ф., Спандре Г., Черри К., Конфор-то Дж., Маркионни А. Большой жидкоаргоновый спектрометр БАРС. Препринт ИФВЭ 97-32, Протвино, 1997.

6. Los S.V., Sytin A.N. and Tishin G.V. An Analysis of the Requirements and Choice of Data Acquisition Electronics in the BARS Particle Detector. // Instruments and Experimental Techniques. 1996, Vol. 39, №3, pp. 378-381.

7. Гоцев В.В., Гресь В.Н., Давыденко Ю.П., Дунайцев А.Ф., Лапицкий С.Н., Мако-нин C.B., Петренко C.B., Романов И.И., Романьков В.М., Селезнев B.C., Сенько В.А., Солодовник Ф.М., Сытин А.Н., Терехов В.И., Трушин К.И. Система диагностики выведенных протонных пучков ускорителя ИФВЭ. Препринт ИФВЭ 88-106, Серпухов, 1988.

8. Афонин А.Г., Горлов В.Н., Гоцев В.В., Гресь В.Н., Петровский В.М., Сытин А.Н., Терехов В.И. Подсистема измерения профиля пучка по трассе вывода из ускорителя У-70 ИФВЭ. В сб.: "XV Совещание по ускорителям заряженных частиц, ГНЦ РФ ИФВЭ, Протвино, 22-24 октября 1996 г. Сборник докладов", ГНЦ РФ ИФВЭ, Протвино,1996, т. 1, сгр.286-290.

9. Балдин Б.Ю., Говорун В.Н., Рыбаков В.Г., Сытин А.Н. МикроЭВМ системы СУММА на базе микропроцессорного комплекта INTEL-8080. Препринт ИФВЭ 82-100, Серпухов, 1982.

10. Говорун В.Н., Давыденко A.M., Данцевич Г.А., Дунайцев А.Ф., Екимов A.B., Ермолин Ю.В., Мамаков П.В., Рыбаков В.Г., Сенько В.А, Сытин А.Н. Модульные микропроцессорные системы для управления, сбора и обработки информации в ИФВЭ (структура, область применения, результаты внедрения). В сб.: "Обработка физической информации. Тезисы докладов III Всесоюзного семинара по обработке физической информации (Цахкадзор, 9-12 октября 1984 г)". ЦНИИатоминформ, Ереван, 1985, стр. 13-15.

11. Говорун В.Н., Ермолин Ю.В., Коноплянников А.К., Рыбаков В.Г., Сытин А.Н. Модули расширения памяти микроЭВМ и буферной памяти системы СУММА. Препринт ИФВЭ 82-174, Серпухов, 1982.

12. Говорун В.Н., Ермолин Ю.В., Мамаков П.В., Рыбаков В.Г., Сытин А.Н. МикроЭВМ на базе микропроцессорной серии К1810 для управления в системе КАМАК. XII Международный симпозиум по ядерной электронике. Сборник докладов. Стр. 50-51, Дубна, Î935.

13. Говорун В.Н., Ермолин Ю.В., Мамаков П.В., Рыбаков В.Г., Сытин А.Н. Микропроцессорные модули для автоматизированных установок физики высоких энергий. //Микропроцессорные средства и системы (МПСС), 1985, №1, стр. 57-62.

4. Говорун В.Н., Горбунов Н.В., Ермолин Ю.В., Мамаков П.В., Рыбаков В.Г., Сытин А.Н., Холоденко Г.М. МикроЭВМ и управляющие модули на базе микропроцессорной серии К1810. Препринт ИФВЭ 86-16, Серпухов, 1986.

15. Горбунов Н.В., Ермолин Ю.В., Мамаков П.В., Рыбаков В.Г., Сытин А.Н. Модульное построение контроллеров для управления в каркасе. Препринт ИФВЭ 85-51, Серпухов, 1985.

16. Воеводин В.П., Говорун В.Н., Давыденко A.M., Екимов Ан.В., Иванова Н.С., Ко-вальцов В.И., Козяев Ю.М., Лукьянцев А.Ф., Матвеев М.Ю., Сенько В.А., Сытин А.Н., Тишин Г.В. Специализированный 32-разрядный процессор-эмулятор 780/Е. Труды международной конференции «Компьютеры в физике высоких энергий» (СНЕР-89), Оксфорд, Англия, North-Holland, Computer Physics Communication 57, (1989), pp.532-535.

17. Sytin A. Programmable LAM Grader Type 258. CERN CAMAC Note 70-01, CERN, Geneva, 1982.

18. Белова Э.В., Братский A.A., Говорун В.Н., Денисенко A.A., Денисов С.Г., Дого-тарь Г.С., Дунайцев А.Ф., Марчихин Н.К., Матвеев М.Ю., Мисютина З.О., Никитский Д.Ю., Сенько В.А., Сытин А.Н., Сытина JI.M. Развитие системы ФАСТБАС в ИФВЭ. Препринт ИФВЭ 89-73, Серпухов, 1989.

19. Ермолин Ю.В., Коноплянников А.К., Кубаровский В.П., Кулявцев А.И., Мухин В.А., Рыбаков В.Г., Сенько В.А., Сытин А.Н. Система съема информации установки "Лептон-Ф" с использованием вспомогательных контролллеров и буферной памяти. Препринт ИФВЭ 84-25, Серпухов, 1984.

20. Беликов Н.И., Васильев А.Н., Гончаренко Ю.М., Ермолин Ю.В., Матвеев М.Ю., Сенько В.А., Соловьянов В.Л., Сытин А.Н. Развитие системы съема информации установки "ПРОЗА". Препринт ИФВЭ 87-58, Серпухов, 1987.

21. Ермолин Ю.В., Рыбаков В.Г., Сытин А.Н. Модули для буферизации и блочной передачи данных с использованием специального канала. Препринт ИФВЭ 84-8, Серпухов, 1984.

22. Мамаков П.В., Сытин А.Н., Трушин К.И. Драйвер последовательной магистрали СУММА. Препринт ИФВЭ 83-22, Серпухов, 1983.

23. Данцевич Г.А., Сытин А.Н. Интеллектуальный контроллер крейта на основе элементов микропроцессорной серии К1801. XII Международный симпозиум по ядерной электронике. Дубна, 2-6 июля 1985 г., ОИЯИ, Д13-85-793, стр.181-182, Дубна, 1985.

24. Данцевич Г.А., Екимов A.B., Сытин АН. Автономный контроллер каркаса на базе микропроцессорного набора серии К580. Препринт ИФВЭ 84-41, Серпухов, 1984.

25. Балдин Б.Ю., Вражнов Ю.Н., Говорун В.Н., Дышкант A.C., Кренделев В.А., Сытин А.Н., Углеков В.Я. Автономная система для измерения параметров медленно выведенного протонного пучка установки "ФОДС" на базе микроЭВМ МЭ-80. В сб.: "Обработка физической информации. Тезисы докладов III Всесоюзного семинара по обработке физической информации (Цахкадзор, 9-12 октября 1984 г.)". ЦНИИатоминформ, Ереван, 1985, стр.78-81.

26. Дунайцев А.Ф., Карпеков Ю.Д., Лукьянцев А.Ф., Сенько В.А., Симонов Ю.Н., Сытин А.Н. Типовая система контроля и управления для экспериментов на УНК. В сб.: "Труды 8-го Международного симпозиума по проблемам модульных информационно-вычислительных систем и сетей ICS-NET, САМАС-91, Дубна, 9-14 сентября 1991 г.». М., изд. Инновационного объединения АН СССР, 1992, стр.275-288.

27. Anikeev V.B., Belikov S.V., Gurzhiev S.N., Denisov A.G., Denisov S.P., Fedjakin N.N., Kochetkov V.l., Korablev V.M., Koreshev V.l., Lipaev V.V., Los S.V., Mikhailin V.N., Rybin A.M., Sytin A.N., Bogdanov A.G., Kirina T.M., Kokoulin R.P., Reznikov M.A., Petrukhin A.A., Yanson E.E., Alexeyev E.N., Chernyaev A.B., Petrov V.B., Smir-nov D.V., Tsyabuk A.L., Voevodsky A.V., Gennaro G., Sergiampietri F., Spandre G., Lanfranchi M., Marhionni A., Conforto G., Martelli F. Use of the big liquid argon spectrometer BARS for neutrino and cosmic-ray studies. //Nuclear Instruments and Methods in Physics Research, 1998, A419, pp. 596-601.

Рукопись поступила 15 ноября 1999 г.

Заключение

В заключении сформулированы основные результаты диссертации.

1. На основании проведенного анализа условий и особенностей физических исследований на пучках частиц 70-ГэВ ускорителя ИФВЭ сформулированы требования к электронной аппаратуре, используемой в системах сбора и обработки информации.

2. Разработан, создан и внедрен в эксплуатацию современный унифицированный программно-аппаратный комплекс, включающий в себя более 30 электронных модулей различного назначения, к числу которых относятся:

• встроенные микроЭВМ;

• каркасные контроллеры и драйверы различных типов;

• средства промежуточной обработки и буферирования данных.

3. Впервые предложена система сбора данных с оригинальной архитектурой, ориентированная на распределенную обработку информации с детекторов частиц, а также оптимизацию передачи данных с помощью специальной магистрали буферных памятей.

4. На основе разработанного программно-аппаратного комплекса и предложенной архитектуры: созданы системы сбора и обработки информации экспериментальных установок ЛЕПТОН, ПРОЗА, ФОДС;

• разработана и впервые внедрена в эксплуатацию система сбора и обработки информации для детектора БАРС экспериментальной установки КМН с разделением процессов сбора данных и управления установкой;

• создан ряд автоматизированных систем измерения и управления.

Вошедшие в диссертацию исследования и разработки позволили успешно решить поставленные в разделе 2.6 задачи и в 5-7 раз поднять пропускную способность систем сбора данных существовавших экспериментальных установок в ИФВЭ по потоку полезных событий (табл.3). Это позволило выполнить в ИФВЭ широкий круг физических исследований, проведение которых, в противном случае, было бы затруднительно или невозможно. Разработанный комплекс стал также основой ряда автоматизированных систем контроля и управления, обеспечивших успешную работу многих технологических систем ускорительного комплекса ИФВЭ и разнообразных стендов. Был накоплен значительный опыт работы с системами распределенной и конвейерной обработки информации.

Кардинальным путем повышения производительности экспериментальных установок в ИФВЭ по потоку полезной информации является изменение их структуры. В установках нового поколения целесообразно выделить системы сбора данных (ССД), многоуровневого триггерирования (СТ) и контроля и управления (СКУ). Процессы в них функционально независимы и асинхронны (кроме моментов взаимодействия систем). Потоки данных в ССД и СТ высоки, но однонаправленны, а в СКУ - невысоки и двунаправленны. Учет этих обстоятельств позволяет оптимально спроектировать каждую из систем и упростить управление ими. Прототип такой системы реализован нами на установке «Комплекс меченых нейтрино», где ССД и СКУ разделены. Прототип представляется весьма перспективным. Нами разработан также прототип типовой СКУ, реализованный в виде локальной сети автономных станций управления со встроенными микроЭВМ, объединяемых между собой и с центральными ЭВМ управления. Каждая станция обеспечивает операционную среду для своей подсистемы установки и обслуживает ее как неотъемлемую часть на всех стадиях работ с подсистемой (разработка аппаратуры установки, ее стендовые испытания, стендовые исследования на пучках частиц, реальная работа в составе всей экспериментальной установки). Прототипы системных и ряда исполнительных средств этой СКУ используются в составе автоматизированных рабочих мест разработчиков электронной апапратуры. Опыт также оказался здесь положительным.

Что касается новой технической базы, то принципиально новые возможности для разработки систем комплексной автоматизации физических исследований открываются при использовании новейших достижений в области вычислительной техники. Здесь нельзя не упомянуть широкое распространение персональных ЭВМ, развитие ЯВС-технологии как нового подхода к архитектуре ЭВМ, ориентированной на простоту и эффективность работы аппаратуры, появление и бурное развитие рабочих станций, образующих рабочую среду для эффективной работы, появление и развитие технологии открытых сетевых 'вычислений и ряд других достижений.