Программное обеспечение системы сбора данных детектора СНД тема автореферата и диссертации по физике, 01.04.01 ВАК РФ

На правах рукописи

БОГДАНЧИКОВ Александр Георгиевич

ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ СБОРА ДАННЫХ ДЕТЕКТОРА СНД

01.04.01 - приборы и методы экспериментальной физики

диссертации на соискание ученой степени кандидата технических наук

2 О ДЕК 2012

АВТОРЕФЕРАТ

НОВОСИБИРСК - 2012

005047533

Работа выполнена в Федеральном государственном бюджетном учреждении науки Институте ядерной физики им. Г.И. Будкера Сибирского отделения Российской академии наук.

НАУЧНЫЙ РУКОВОДИТЕЛЬ:

Дружинин - доктор физико-математических наук,

Владимир Прокопьевич Федеральное государственное бюджетное

учреждение науки Институт ядерной физики им. Г.И. Будкера Сибирского отделения Российской академии наук, г. Новосибирск. ОФИЦИАЛЬНЫЕ ОППОНЕНТЫ:

Головцов - кандидат физико-математических наук,

Виктор Леонтьевич Федеральное государственное бюджетное

учреждение Петербургский институт ядерной физики им. Б.П. Константинова Российской академии наук, г. Гатчина, заведующий лабораторией. Хильченко - доктор технических наук,

Александр Дмитриевич Федеральное государственное бюджетное

учреждение науки Институт ядерной физики им. Г.И. Будкера Сибирского отделения Российской академии наук, г. Новосибирск, заведующий сектором.

ВЕДУЩАЯ - Объединенный институт ядерных

ОРГАНИЗАЦИЯ: исследований, г. Дубна.

Защита диссертации состоится « $4 » суглС^Ь^Л_2012 г.

в « часов на заседании диссертационного совета Д 003.016.01

Федерального государственного бюджетного учреждения науки Института ядерной физики им. Г.И. Будкера Сибирского отделения Российской академии наук.

Адрес: 630090, г. Новосибирск, проспект Академика Лаврентьева, 11.

С диссертацией можно ознакомиться в библиотеке Федерального государственного бюджетного учреждения науки Института ядерной физики им. Г.И. Будкера Сибирского отделения Российской академии наук.

Автореферат разослан « ¿2.3? » 2012 г.

Ученый секретарь диссертационного совета доктор физ.-мат. наук

А.В. Бурдаков

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы

Сферический нейтральный детектор (СНД) является современным универсальным детектором частиц в физике высоких энергий. Он представляет собой сложную электрофизическую установку, состоящую из нескольких подсистем (электромагнитный калориметр, трековая система, черенковский счетчик, мюонная система), каждая из которых обслуживается специальной электроникой. Разработка системы сбора данных (ССД) детектора (СНД) является комплексной и уникальной задачей.

Первые эксперименты с детектором СНД проводились с 1995 по 2000 год на электрон-позитронном коллайдере ВЭПП-2М, находящемся в ИЯФ им. Г.И.Будкера СО РАН. Коллайдер работал в диапазоне энергии в системе центра масс от 0,36 до 1,40 ГэВ. В 1999 году было принято решение о строительстве нового коллайдера с большей светимостью и увеличенной до 2.0 ГэВ максимальной энергией. Для проведения экспериментов на новом коллайдере, получившем название ВЭПП-2000, потребовалась модернизация детектора СНД, включающая в себя и модернизацию ССД.

Для повышения надежности, увеличения загрузочной способности, повышения точности измерений и уменьшения энергопотребления была практически полностью заменена оцифровывающая электроника СНД. В частности, новые платы оцифровки сигналов трековой системы вместо аппаратного интегрирования сигнала теперь запоминают его форму и затем передают ее компьютерной подсистеме. Это привело к увеличению размера события в 4 раза. Поскольку ожидаемое повышение светимости коллайдера приводило к увеличению потока событий, то перед ССД СНД для ВЭПП-2000 была поставлена новая задача: вычитывать из электроники и обрабатывать события с частотой до 1 кГц при размере события 4 КБ, то есть, ожидаемый поток событий составлял до 4 МБ/с.

В новой ССД СНД должен быть организован эффективный программный отбор событий (третичный триггер). Для этого необходимо было обеспечить возможность проведения вычислительно-емких операций, таких, например, как полная предварительная реконструкция событий.

Старая ССД СНД, разработанная для экспериментов на ВЭПП-2М, не удовлетворяла новым требованиям по следующим причинам:

- чтение событий велось через электронные модули в стандарте КАМАК, что ограничивало максимальную скорость чтения событий 200 Гц;

- имеющихся вычислительных мощностей было недостаточно для выполнения полной реконструкции событий, а их увеличения не было предусмотрено;

- старая ССД была разработана для кластера компьютеров VAX station с

операционной системой VMS и тактовой частотой процессора менее 100 МГц, которые за время работы на ВЭПП-2М практически полностью исчерпали свой ресурс.

ССД СНД для экспериментов на ВЭПП-2М разрабатывалась в 90-х годах, и программное обеспечение (ПО) ССД основывалось на имевшихся в то время технологиях. Для разработки программ использовались языки программирования Fortran77, С, Assembler, для графических приложений -библиотека «motif». Все данные хранились в файлах в разнообразных форматах, а для их передачи использовались протоколы собственной разработки. За время, которое прошло с начала разработки ССД СНД на ВЭПП-2М, появились новые технологии программирования и хранения данных, позволяющие не только сделать ПО ССД более «современным», но повысить его надежность, сократить время разработки и упростить поддержку.

Таким образом, назрела необходимость разработки совершенно нового программного обеспечения ССД СНД, с использованием новых технологий, и с учетом опыта, накопленного в экспериментах СНД на ВЭПП-2М.

Цель работы

Целью данной работы является разработка ПО ССД СНД для экспериментов на ВЭПП-2000. В ходе достижения основной цели были поставлены и решены следующие подзадачи:

- определение требований к ПО ССД СНД, оценка возможных способов реализации, выбор архитектуры, проверка выбранных средств реализации;

- разработка и реализация прототипа ПО ССД, выполняющего основные функции, проверка работоспособности выбранной архитектуры ПО ССД;

- разработка прототипа ССД, эксплуатация прототипа на старой электронике СНД для проверки прототипа дрейфовой камеры СНД;

- расширение возможностей прототипа ПО ССД до полнофункциопальной версии, интеграция с новой электроникой детектора СНД;

- проверка расчетных характеристик ССД на запусках от генератора и на случайно распределенных по времени запусках;

- стресс-тест ССД на запусках с частотой, заведомо превышающей возможности ССД СНД, выявление оптимальных настроек ССД для устойчивой работы в условиях перегрузки;

- комплексная проверка ССД с калориметром и новой дрейфовой камерой, сбор космических событий, калибровка подсистем, проверка ССД на пучке;

- обеспечение поддержки и дальнейшего развития ССД в период эксплуатации СНД на ВЭПП-2000 в течение нескольких сезонов.

4

Личный вклад автора

Автор принимал активное участие в подготовке к проведению экспериментов с детектором СНД на ВЭПП-2000. На этапе подготовки к экспериментам СНД на ВЭПП-2000 автор занимался разработкой архитектуры и выбором средств реализации системы сбора данных. Непосредственно автором была проведена экспериментальная проверка выбранной архитектуры, были разработаны: подсистема чтения данных с электроники и построения событий, подсистема передачи данных, интерфейс управления, визуализация состояния пересчетных схем детектора, системы автоматического запуска и система регистрации процессов системы, структура третичного триггера и процесса калибровки по событиям. Под руководством автора велись работы по созданию пользовательского интерфейса к истории контролируемых параметров электроники СНД.

Научная новизна

1. Организовано чтение данных с уникальной электроники, разработанной специально для экспериментов с детекторами на ВЭПП-2000.

2. В системе сбора данных используется глубокая буферизация сырых событий, что позволяет разделить во времени чтение электроники и программную обработку событий.

3. В ССД предусмотрено увеличение производительности программного отбора событий путем простого_ добавления новых компьютеров, что позволяет обеспечить вычислительную мощность, достаточную для проведения полной предварительной реконструкции событий.

4. Для хранения информации, сопутствующей сбору данных (текущая информация о состоянии электроники и потоке данных, описания конфигураций электроники, калибровочные коэффициенты, история контролируемых параметров, log-журнал и пр.) используется реляционная база данных с поддержкой языка запросов SQL и технология объектно-реляционного отображения. Такой подход повышает надежность, упрощает разработку и поддержку подсистемы хранения данных.

5. Интерфейс управления и контроля сбором событий был разработан на основе web-технологий (AJAX).

6. В процессах третичного триггера, контроля по событиям и калибровки используется программная среда управления модулями обработки (СУМО СНД), разработанная для анализа событий СНД. Единообразие в разработке повышает надежность ССД и обеспечивает переносимость модулей из приложений по обработке событий.

7. В разработке кода ССД использован компонентно-ориентированный подход, который позволяет отслеживать изменения программного кода, облегчает совместную разработку, поддержку и развитие системы.

Научная и практическая ценность

Спроектировано и разработано ПО ССД для проведения экспериментов с детектором СНД на ВЭПП-2000. Первые версии ПО ССД работали со старой электроникой СНД, и использовалась для разработки дрейфовой камеры и калибровки калориметра СНД. Перед вводом в эксплуатацию ССД была проверена на космических и генераторных событиях. ССД СНД находится в эксплуатации более трех лет, в течение которых показала свою высокую надежность. В экспериментах 2010 - 2012 годов была накоплена интегральная светимость около 40 пб"1. В результате анализа этих данных были получены и опубликованы первые физические результаты СНД с коллайдера ВЭПП-2000.

Основные положения, выносимые на защиту

- разработана архитектура ССД СНД,

- создано ПО для чтения данных из уникальной электроники СНД,

- разработано ПО для передачи по запросу текущих событий процессам визуализации и контроля,

- разработано ПО для распределения контейнеров с событиями для параллельной обработки процессами третичного триггера (программного отбора событий),

- разработана структура третичного триггера, реализовано динамическое включение и параметризация модулей отбора, реализован механизм отбора и деления событий с использованием битовых масок,

- создан интерфейс управления ССД,

- реализована система автоматического запуска и контроля процессов ССД,

- разработана система регистрации процессов, которая выполняет динамическое распределение ресурсов и автоматическое восстановление контекста после сбоя процесса,

- реализовано чтение и визуализация состояния пересчетных схем детектора,

- разработана структура процесса калибровки по событиям,

- разработано ПО для доступа к сообщениям процессов ССД,

- организована эксплуатация прототипа ССД для изучения свойств прототипа дрейфовой камеры,

- проведена комплексная проверка и наладка ПО ССД,

- организована эксплуатация и поддержка ССД во время экспериментов на ВЭПП-2000.

Апробация работы и публикации

Основные результаты диссертационной работы докладывались на семинарах в Федеральном государственном бюджетном учреждении науки Институте ядерной физики им. Г.И. Будкера Сибирского отделения Российской академии наук, на конференции СНЕР-2001 (Пекин, Китай), на конференции АСАТ-2005 (Цойтен, Германия) и были опубликованы в оссийских и международных журналах: «Приборы и техника эксперимента», «Nuclear Instruments and Methods in Physics Research», «Письма в ЖЭТФ».

Структура работы

Диссертация состоит из введения, пяти глав, заключения и четырех приложений.

СОДЕРЖАНИЕ РАБОТЫ

Во введении кратко описана история экспериментов на детекторе СНД, аргументирована актуальность разработки новой ССД СНД для экспериментов на ВЭПП-2000.

В первой главе обсуждаются ССД детекторов в физике высоких энергий, их составляющие и характеристики. Перечислены этапы модернизации ССД СНД, разработанной для экспериментов на ВЭПП-2М, сформулированы новые требования к ССД для экспериментов на ВЭПП-2000, приведены причины отказа от модернизации старой ССД и перехода к созданию ССД с новой архитектурой. В конце главы представлен компонентно-ориентированный подход, который использовался при разработке ПО ССД.

Во второй главе детектор СНД рассмотрен как объект для автоматизации. Описаны подсистемы детектора СНД и оцифровывающая электроника детектора. Подробно изложена последовательность чтения события с электроники СНД, приведены расчетные характеристики: мертвое время электроники и средний размер события.

Общий вид детектора СНД для экспериментов на ВЭПП-2000 приведен на рис. 1.

Вакуумная камера коллайдера окружена трековой системой, состоящей из дрейфовой и пропорциональной камер в едином газовом объеме и предназначенной для измерения точки вылета и направления заряженных частиц. В дрейфовой камере имеется 9 слоев сигнальных проволочек, по 24 проволочки в слое. Для каждой проволочки измеряется время дрейфа и амплитуды с ее концов (всего 432 канала с АЦП и 216 с ВЦП). Вблизи внешней обечайки расположена пропорциональная камера, используемая для более точного измерения z-координаты треков заряженных частиц. Z-координата трека частицы измеряется по распределению зарядов, наведенных на катодных полосках (384 АЦП).

7

Рис.1. Детектор СНД. 1 - вакуумная камера, 2 - трековая система, 3 -черенковские счетчики, 4 - кристаллы Ш1(Т1), 5 - вакуумные фототриоды, 6 - железный поглотитель, 7 - внешние пропорциональные камеры, 8 -железные пластины, 9 - сцинтилляционные счетчики, 10 - магнитные линзы.

Черенковские счетчики используются для разделения к- и К-мезонов (9 АЦП и 9 ВЦП).

Трековая система и черепковский счетчики окружены сферическим трехслойным электромагнитным калориметром на основе кристаллов Ка1(Т1). Калориметр позволяет измерять энергии и углы вылета фотонов и обеспечивает высокую чувствительность детектора к событиям с нейтральными частицами в конечном состоянии. Электромагнитный калориметр состоит из трех слоев кристаллов Ыа1(Т1), в каждом слое от 520 до 560 кристаллов (1632 АЦП).

Внешняя система предназначена для подавления фона космических частиц и для разделения к- и ц- мезонов при энергии частиц выше 400 МэВ. Система состоит из 18 сцинтилляционных счетчиков (18 дискретных каналов, амплитудные и временные сигналы суммируются в 4 АЦП и 4 ВЦП) и 16 блоков пропорциональных трубок (288 дискретных каналов). Продольная координата измеряется по соотношению амплитуд на концах сцинтилляционного счетчика, а поперечная - по номерам сработавших трубок.

В сумме, информация с детектора СНД поступает более чем по 3000 каналам: 2461 АЦП, 229 ВЦП и 546 дискретным.

Непосредственно на детекторе СНД размещены электронные предусилители, сигналы с которых, в зависимости от подсистемы, либо сразу, либо после обработки в платах-формирователях сигнала, попадают на оцифровывающую электронику.

Оцифровывающая электроника СНД базируется на стандарте КЛЮКВА с циклом магистрали 100 не. Она занимает 16 крейтов, каждый из которых вмещает в себя 18 плат: интерфейс первичного триггера (ИПТ), плату процессора ввода-вывода (ПВВ) и 16 информационных плат (ИП).

Платы-формирователи калориметра Ф12 также размещены в конструктиве КЛЮКВА. Они формируют (с регулируемым коэффициентом усиления) сигналы с предусилителей калориметра для ИП. Суммарный аналоговый сигнал с 12 каналов калориметра передается в ИПТ калориметра.

Аналоговые и логические сигналы, вырабатываемые ИПТ различных подсистем, поступают в специализированный крейт с электроникой первичного триггера (ПТ), где вырабатывается сигналы запуска детектора. В крейтах стандарта КАМАК размещены:

• блок решений первичного триггера (БРПТ), который формирует сигналы начала оцифровки и чтения ИП;

• модуль центральной системы управления (ЦСУ), который размножает сигналы и координирует чтение событий;

• платы пересчетных схем для набора статистики срабатываний подсистем электроники (пересчетки);

• таймер для измерения живого времени ССД. Временная диаграмма чтения событий приведена на рис. 2.

БРПТ

ЦСУ

10

илипт

Самоблокировка

Сигнал

Блокировка и

оцифровка

Оцифровка

читать ЩП

Разблокировка

все ИП прочитаны

Чтение ИП

Сброс

Передача.

события

Время

Ц - КЛЮКВА Q- КАМАК

Рис. 2. Временная диаграмма чтения события в электронике СНД.

Сигналы от ИП и плат формирователей по магистрали КЛЮКВА передаются в ИПТ и затем в электронику ПТ, где формируется десять сигналов запуска. Сигналы запуска поступают на блок решения первичного

триггера (БРПТ), где собираются по «ИЛИ». После срабатывания «ИЛИ ПТ» БРПТ блокирует свои входы и выставляет сигнал, который блокирует пересчетные схемы и таймер. Сигнал «ИЛИ ПТ» передается на вход ЦСУ, который раздает его по крейтам КЛЮКВА: для плат оцифровки сигналов трековой, наружной систем и черенковского счетчика (Т2АМ, ПА24, ТП) -это сигнал фиксации результатов оцифровки, для плат оцифровки сигналов калориметра (А24М) - сигнал начала оцифровки. После фиксированной задержки, достаточной для завершения аналого-цифрового преобразования в А24М, БРПТ через ЦСУ передает сигнал чтения в ПВВ.

После получения сигнала чтения, ПВВ считывает значения сработавших каналов по магистрали КЛЮКВА. После передачи сигнала чтения, ЦСУ ожидает прихода сигналов от всех ПВВ о готовности к чтеншо ИП. Когда все сигналы выставлены («все ИП прочитаны»), ЦСУ посылает сигнал сброса на ИП и сигнал разблокировки на БРПТ.

В ПВВ выполняются два независимых потока команд, которые обеспечивают передачу оцифрованных данных компьютерную подсистему. Один поток вычитывает данные из ИП по магистрали КЛЮКВА и сохраняет их в кольцевом буфере, второй - читает данные из буфера и передает их в компьютер через сеть Ethernet. Для организации синхронной работы, потоки используют три указателя (чтения, записи, ограничения записи). С помощью команд управления указателями в кольцевом буфере ПВВ, компьютер может освободить место для записи новых данных или вызвать повторную передачу данных.

Далее приводится оценка мертвого времени электроники. Оно состоит из времени оцифровки в ИП, времени чтения ИП по магистрали КЛЮКВА, и времен блокировок от комплекса ВЭПП-2000 и на чтение пересчетных схем. Мертвое время составляет 11% при частоте событий 1кГц.

В конце главы приводится оценка среднего размера событий по среднему числу сработавших каналов для различных подсистем в экспериментах СНД на ВЭПП-2М. Ожидаемый средний размер события составляет 4200 байт.

Третья глава посвящена деталям эксплуатации ССД СНД.

В первом параграфе описывается разбиение процесса набора данных с детектора СНД на заходы - этапы, в течение которых конфигурация ССД СНД строго фиксирована, а изменениями характеристик электроники можно пренебречь.

Второй параграф содержит описание типичных сценариев взаимодействия человека с ССД СНД, где человек может выступать в одной и двух ролей: оператора или эксперта.

В третьем параграфе приведены типы данных, которые сохраняются ССД СНД, и дана оценка суммарного объема данных.

В четвертом параграфе описан основной поток данных и этапы их обработки в ССД, рассмотрены ключевые требования к обработке данных, предложены два механизма передачи данных, обоснован выбор механизма передачи через разделяемый буфер (см. рис. 3), и представлена окончательная архитектура ССД СНД (см. рис. 4).

Readout

--► L3 Г

контейнеры

Разделяемый буфер

Хранилище

Рис. 3. Механизм передачи событий через разделяемый буфер.

Детектор її

электроника детектора

— ,1,x1В

Обработка

Визуализация и контроль

I Чтение событий и 1 пересчетных схем

¡¡¡РЩРРЩ j Упаковка и :: ' " (L3)

Рис. 4. Архитектура ССД СНД.

В пятом параграфе рассматриваются два механизма синхронизации распределенных процессов: путем регулярного опроса и через сервер синхронизации. Обосновывается выбор механизма регулярного опроса.

В шестом параграфе рассмотрены средства реализации ССД. Перечислены технологии, недоступные ранее, которые были использованы в ССД СНД впервые. Рассмотрены готовые пакеты, которые могут быть применены для разработки ССД: EPICS и Midas. Ввиду отсутствия в этих системах важнейших компонент чтения уникальной аппаратуры СНД и средств глубокой буферизации событий, от их применения было решено

отказаться, а для экспериментов СНД на ВЭПП-2000 разработать собственное ПО ССД.

В четвертой главе раскрываются детали реализации ПО ССД СНД. В начале главы перечислены основные процессы системы, а затем детально описывается каждый из них.

Первый параграф посвящен процессу Readout. Процесс Readout читает данные через ПВВ и сохраняет их в разделяемом буфере. Управление ПВВ реализуется посредством загрузки команд в «ОЗУ команд» и манипуляциями с указателями в «ОЗУ данных» ПВВ. Для процессов быстрого контроля и визуализации событий предусмотрена оперативная раздача событий по запросу. Для выборки событий определенного типа, реализован быстрый отбор событий по срабатываниям дискретных сигналов. В конце параграфа рассмотрены подробности реализации Readout: с помощью концепции «конечного автомата», описаны возможные состояния и переходы процесса, приведены некоторые уровни программного используемых библиотек.

Во втором параграфе рассмотрен алгоритм работы процесса чтения пересчетных схем Scalers, который работает синхронно с процессом Readout. Описан алгоритм работы Scalers с помощью состояний «конечного автомата».

В третьем параграфе описана организация третичного триггера СНД. Процесс третичного триггера «L3 framework» выполнен в программной среде СУМО СНД, а все оперативные функции вынесены в отдельный процесс «L3 shell». Для отладки третичного триггера предусмотрен запуск процесса из командной строки с альтернативной пользовательской конфигурацией. Передача и захват контейнера (файла) с событиями осуществляется путем переименования файла.

Подробно рассмотрена работа модулей третичного триггера, который выполняет обработку файла с сырыми событиями в следующей последовательности:

• чтение сырых событий;

• перевод формата событий к внутреннему представлению;

• создание масок для хранения результатов модулей отбора событий,

• реконструкция событий;

• отбор событий;

• контроль подсистем детектора по событиям;

• анализ масок, деление событий, принятие решения о записи или отбраковке события;

• сохранение отобранных событий.

Активные модули и параметры модулей задаются в конфигурации третичного триггера, которая храниться в базе данных.

В четвертом параграфе рассмотрен процесс медленного контроля. Контроль периодически считывает измерения напряжений и токов источников питания, давлений и температур и сохраняет их в базе данных истории параметров, а в случае значительных отклонений от нормы, оповещает оператора.

В пятом параграфе рассмотрен контроль по событиям, который выполнен в виде модулей СУМО СНД. Они могут включаться в процессы: оперативного контроля, третичного триггера, контроля и калибровки по отобранным событиям.

В шестом параграфе представлен процесс калибровки по событиям. Приложение выполнено в программной среде СУМО СНД. Состав модулей и их параметры определяются в конфигурации, хранящейся в базе данных. В процессе организована последовательная доставка калибровочных событий, предусмотрен механизм информирования модулей начале и конце захода, реализован механизм оповещения об обязательном завершении набора статистики.

В седьмом параграфе представлен пользовательский интерфейс ССД. Интерфейс реализован в виде динамически-генерируемых и обновляемых без перезагрузки web-страниц. Контроль над ССД осуществляется посредством web-браузера. Взаимодействие оператора с процессами производится через базу данных посредством программных интерфейсов на языках программирования С++ и PHP. В интерфейсе реализованы следующие функции: контроль и управление заходом, управления процессами, доступ к базам данных эксперимента, коммуникация пользователей, работа с log-журналом и управление персональными настройками.

В восьмом параграфе описана служба регистрации процессов ССД, которая выполняет две функции: распределение области в оперативной базе данных, где процессы хранят информацию о своем текущем состоянии и запуск процессов восстановления в случае непредвиденной остановки процесса. Предусмотрена схема устойчивой работы ССД в случае временного сбоя в самой службе регистрации.

В девятом параграфе представлена система запуска процессов ССД СНД. На каждом из компьютерных узлов ССД СНД выполняется специальный процесс, отвечающий за запуск остальных процессов ССД. Периодически процесс получает с сервера базы данных список процессов, которые должны работать на данном компьютере, и сверяет его с тем, что реально запущено. Если число запущенных процессов меньше заданного производится запуск недостающих процессов, если меньше, то завершаются лишние процессы.

В десятом параграфе рассмотрен механизм оповещения в ССД СНД. Для того, чтобы немедленно обратить внимание оператора на важнейшие

сообщения и оповестить ответственных за подсистемы лиц, в системе постоянно работает процесс-информатор, который анализирует сообщения, приходящие в log-журнал, и в случае необходимости проигрывает аудиофайл и/или отсылает копию сообщения по электронной почте.

В одиннадцатом параграфе кратко описаны интерфейсы доступа к данным ССД СНД. События хранятся в файлах в формате «посылка СНД», все остальное - в реляционной СУБД (MySQL). Поскольку в программах данные представлены в виде структур и объектов, то для их хранения в реляционной базе данных или файле выполняются преобразования, которые скрываются за программными интерфейсами. В соответствии с различными типами данных в интерфейсах используются различные оптимизации доступа.

В пятой главе приводится опыт наладки и эксплуатации. В первом параграфе описаны этапы развития ССД СНД от формирования требований до поддержки в эксперименте на пучках.

Второй параграф посвящен проверке расчета мертвого времени электроники ССД.

Третий параграф содержит краткое описание проблем с электроникой, которые решались в процессе наладки ССД.

В четвертом параграфе описаны типичные характеристики экспериментального захода.

В пятом параграфе перечислены компьютерные узлы ССД и приведены характерные загрузки ЦПУ и оперативной памяти.

В шестом параграфе приводится распределение данных экспериментальных событий по крейтам, оценка мертвого времени, и рассматриваются два способа модернизации электроники с целью уменьшения мертвого времени.

В заключении приводятся основные результаты работы. Приложение А содержит список команд ПВВ. Приложение Б содержит статистику набранных событий, Приложение В содержит статистику светимости за сезоны 2010,2011.

Основные положения диссертации опубликованы в следующих работах:

1. В.М. Аульченко, А.Г. Богданчиков, А.А.Ботов и др. Система сбора данных детектора СНД для экспериментов на ВЭПП-2000. // Приборы и техника эксперимента, (2007), номер 6, стр. 65-82

2. М. Achasov, A. Bogdanchikov, A. Kim and A. Korol. / DAQ software for SND detector. // Nucl. Inst, and Meth. A 559 (2006) pp. 71-75.

3. M.H. Ачасов, А.Г. Богданчиков, В.П. Дружинин и др. Программное обеспечение системы сбора данных детектора СНД. // Препринт ИЯФ 2003-59, Новосибирск, ИЯФ, 2003.

і. M.N. Achasov, A.G. Bogdanchikov, D.A. Bukin et al. Data Aquisition System for the SND2000 Experiment. // In proc. of CHEP2001, Sept. 3-7, 2001, Beijing, (2001) 556-559. і. П.М. Астигеевич, B.M. Аульчепко, M.H. Ачасов, ..., А.Г. Богданчиков и др. Начало экспериментов с детектором СНД на коллайдере ВЭПП-2000. // Препринт ИЯФ 2011 -21, Новосибирск, ИЯФ, 2011. ). Г.Н. Абрамов, Е.Г. Авдеева, П.М. Астигеевич, ..., А.Г. Богданчиков и др. Детектор СНД: состояние дел и первый опыт работы с пучками ВЭПП-2000. // Препринт ИЯФ 2009-19 , Новосибирск, ИЯФ, 2009. /. Г.Н. Абрамов, П.М. Астигеевич, В.М. Аульченко, ..., А.Г. Богданчиков и др. Детектор СНД: модернизация систем для экспериментов на ВЭПП-2000 и некоторые предварительные результаты экспериментов на ВЭ1111-2М. // Препринт ИЯФ 2007-20, Новосибирск, ИЯФ, 2007. !. Г.Н.Абрамов, В.М. Аульченко, М.Н. Ачасов, ..., А.Г. Богданчиков и др. СНД - статус модернизации и анализа данных. // Препринт ИЯФ 2005-35, Новосибирск, 2005. К Г.Н. Абрамов, В.М. Аульченко, М.Н. Ачасов, ..., А.Г. Богданчиков и др. Модернизация детектора СНД для экспериментов на ВЭПП-2000. // Препринт ИЯФ 2003-45, Новосибирск, 2003.

10. Г.Н. Абрамов, В.М. Аульченко, М.Н. Ачасов, ..., А.Г. Богданчиков и др. Проект модернизации детектора СНД для эксперимента на ВЭПП-2000. // Препринт ИЯФ 2001-29, Новосибирск, 2001.

11. M.N. Achasov, A.Yu. Barnyakov, K.I Beloborodov, ..., A.G. Bogdanchikov et al. First results of spherical neutral detector (SND) experiments at VEPP-2000. // Progress in Particle and Nuclear Physics (2012) 67 (2012), pp. 594598.

12. М.Н. Ачасов, А.Ю. Барняков, К.И. Белобородов, ..., А.Г. Богданчиков и др. Измерение сечения процесса е+е—»оЖц^щщу в области энергии 1.1-1.9 ГэВ. // Письма в ЖЭТФ, 94:10 (2011), 796-799.

БОГДАНЧИКОВ Александр Георгиевич

Программное обеспечение системы сбора данных детектора СНД

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук

Сдано в набор 19.11.2012 г. Подписано в печать 20.11.2012 г. Формат 60x90 1/16. Объем 1.0 печ.л., 0.8 уч.-изд.л.

_Тираж 100 экз. Бесплатно. Заказ № 29_

Обработано на РС и отпечатано на ротапринте «ИЯФ им. Г.И. Будкера» СО РАН, Новосибирск, 630090, пр. Академика Лаврентьева, И

Введение.

Глава 1. Обзор систем сбора данных.

§ 1.1. ССД детекторов в ФВЭ.

§ 1.2. История развития ССД СНД.

§ 1.3. Компонентно-ориентированный подход к разработке ПО ССД.

Глава 2. Детектор СНД.

§ 2.1. Подсистемы и каналы детектора СНД.

§ 2.2. Электроника детектора СНД.

§ 2.3. Расчет среднего размера события.

Глава 3. Детали эксплуатации ССД СНД.

§ 3.1. Разделение на заходы.

§ 3.2. Типичные сценарии эксплуатации ССД.

§ 3.3. Типы и объемы данных в эксперименте.

§ 3.4. Механизм передачи событий.

§ 3.4.1. Основной поток данных в ССД СНД.

§ 3.4.2. Механизм синхронной передачи.

§ 3.4.3. Механизм передачи через разделяемый буфер.

§ 3.4.4. Сравнение вариантов и выбор.

§ 3.4.5. Общая схема ССД СНД.

§ 3.5. Синхронизация процессов.

§ 3.6. Выбор средств реализации ССД.

§3.6.1. Доступные технологии.

§ 3.6.2. Пакеты программ для разработки ССД.

§ 3.6.3. Обоснование реализации собственной системы.

Глава 4. Реализация ПО ССД СНД.

§ 4.1. Процесс чтения событий с электроники Readout.

§4.1.1. Подготовка к заходу.

§4.1.2. Заход.

§ 4.1.3. Остановка захода.

§ 4.1.4. Раздача событий в оперативном режиме.

§ 4.1.5. Конечный автомат Readout.

§ 4.1.6. Уровни программного кода.

§ 4.2. Процесс чтения пересчетных схем Scalers.

§ 4.2.1. Состояния Scalers.

§ 4.3. Процессы третичного триггера.

§ 4.3.1. Передача контейнера с событиями.

§ 4.3.2. Модули третичного триггера.

§ 4.4. Медленный контроль.

§ 4.5. Контроль по событиям.

§ 4.6. Процесс калибровки по событиям.

§ 4.7. Интерфейс управления.

§ 4.7.1. Взаимодействие оператора с процессами.

§ 4.7.2. Функции интерфейса.

§ 4.8. Служба регистрации.

§ 4.9. Служба запуска и остановки процессов.

§ 4.10. Информатор.

§4.11. Интерфейсы доступа к данным.

Глава 5. Опыт наладки и эксплуатации.

§ 5.1. Стадии работ по созданию ССД СНД.

§ 5.2. Проверка расчета «живого» времени электроники СНД.

§ 5.3. Наладка чтения электроники.

§ 5.3.1. Сбой оцифровывающих плат.

§ 5.3.2. Фильтрация данных предыдущего захода.

§ 5.3.3. Оптимальный размер динамического буфера ПВВ.

§ 5.4. Характеристики экспериментального захода.

§ 5.5. Компьютерная подсистема.

§ 5.6. Размер события.

История экспериментов на встречных пучках началась в шестидесятых годах двадцатого века. Тогда в Институте ядерной физики им. Г.И. Будкера СО РАН были созданы одни из первых в мире ускорителей на встречных электронных пучках (ВЭП-1) и электрон-позитронных пучках (ВЭПП-2). С того времени и по сей день эксперименты на встречных пучках являются важнейшим методом исследований в физике элементарных частиц и вносят значимый вклад в фундаментальную науку.

Сферический нейтральный детектор (СНД) [1] [2] является представителем четвертого поколения детекторов на е+е"-коллайдерах в Институте. Первые эксперименты с детектором СНД проводились с 1995 по 2000 год на ускорительном комплексе ВЭПП-2М [3] в диапазоне энергии в системе центра масс от 0,36 до 1,40 ГэВ. В этих экспериментах были получены следующие основные результаты [4]:

- первые наблюдения редких радиационных распадов Ф(1020)-мезона в скалярные мезоны f0 (980) и ао (980): Ф —> f0y, аоу;

- наблюдение электрических дипольных переходов: р,со —> ТСоЛоу;

- самые точные измерения вероятностей магнитодипольных переходов легких векторных мезонов: р, со и Ф в конечные СОСТОЯНИЯ 71°у и Т|у;

- измерение редких распадов Ф-мезона: Ф —> соп0, Ф —> л+л~, Ф —> г{ у, Ф тс°е+е";

- точные измерения процессов е+е" —*■ адроны: е+е" —» 2л, 3%, 4ж, KSKL;

- определение параметров векторного мезона со (1400).

Для проведения экспериментов новых экспериментов с детектором СНД [5] на комплексе ВЭПП-2000, который начал работать в 2009 году, потребовалась модернизация практически всех подсистем детектора СНД, включая и систему сбора данных (ССД) [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16].

Для повышения надежности, увеличения загрузочной способности, повышения точности измерений и уменьшения энергопотребления была практически полностью заменена оцифровывающая электроника СНД. В частности, новые платы оцифровки сигналов трековой системы вместо аппаратного интегрирования сигнала теперь запоминают его форму и затем передают ее компьютерной подсистеме. Это привело к увеличению размера события в 4 раза. Поскольку ожидаемое повышение светимости ускорителя приводило также к увеличению потока событий, то перед ССД СНД для ВЭПП-2000 была поставлена задача: вычитывать из электроники и обрабатывать события с частотой до 1 кГц при размере события 4 КБ, то есть ожидаемый поток данных составляет до 4 МБ/с.

В новой ССД СНД должен быть организован качественный программный отбор событий (третичный триггер). Для этого необходимо было обеспечить возможность проведения вычислительно емких операций, таких, например, как полная предварительная реконструкция событий.

Старая ССД СНД [17], разработанная для экспериментов на ВЭПП-2М, не удовлетворяла новым требованиям по следующим причинам:

- чтение событий велось через электронные модули в стандарте КАМАК, что ограничивало максимальную частоту чтения событий 200 Гц;

- имеющихся вычислительных мощностей было недостаточно для выполнения полной реконструкции событий, а их увеличения не было предусмотрено;

- старая ССД была разработана для кластера компьютеров VAX station с операционной системой VMS и тактовой частотой процессора менее 100 МГц, которые за время работы на ВЭПП-2М практически полностью исчерпали свой ресурс.

ССД СНД для экспериментов на ВЭПП-2М разрабатывалась в 90-х годах, и программное обеспечение (ПО) ССД основывалось на имевшихся в то время технологиях. Для разработки программ использовались языки программирования Fortran77, С, Assembler, для графических приложений - библиотека «motif». Все данные хранились в файлах в разнообразных форматах, а для их передачи использовались протоколы собственной разработки. За время, которое прошло с начала разработки ССД СНД на ВЭПП-2М, появились новые технологии программирования и хранения данных, позволяющие не только сделать ПО ССД более «современным», но повысить надежность, сократить время разработки и упростить поддержку.

Таким образом, назрела необходимость разработки совершенно нового программного обеспечения ССД СНД, с использованием новых технологий и с учетом опыта, накопленного в экспериментах СНД на ВЭПП-2М.

Целью работы, положенной в основу диссертации, является создание ПО ССД СНД для экспериментов на ВЭПП-2000.

На защиту диссертации выносятся следующие положения:

1) разработка подсистемы чтения и передачи событий с детектора СНД,

2) создание подсистемы программной обработки событий СНД,

3) разработка ПО для контроля и управления сбором данных с детектора СНД,

4) разработка ПО, обеспечивающего согласованную работу процессов ССД СНД,

5) наладка и ввод в эксплуатацию ССД СНД. 7

Заключение

В результате данной работы было разработано ПО ССД СНД для экспериментов на ВЭПП-2000.

Архитектура ССД СНД обладает повышенной надежностью благодаря разделению во времени чтения и отбора событий.

Процесс чтения Readout обеспечивает требуемую для эксперимента производительность: 1 кГц событий со средней длиной 6 кБ при просчетах 12%.

Программный третичний триггер, реализованный на компьютерной ферме, проводит полную реконструкцию всех записанных событий и позволяет таким образом обеспечить качественный и эффективный отбор событий. Третичный триггер разработан на основе программной среды СУМО СНД, которая используется также при обработке событий offline. Это повышает надежность и упрощает поддержку ССД.

Организован контроль качества записанной информации: мониторируются загрузки подсистем детектора, напряжения питания электроники и детектора. В процессе чтения часть событий по запросу передается процессам визуализации и контроля. Детальный контроль срабатывания каналов детектора и измерение его физических параметров производится либо во время работы третичного триггера, либо после него специальным процессом контроля по событиям.

Организована оперативная калибровка каналов детектора. Для этого отбираются и записываются в отдельные файлы события так называемых «колли-неарных» процессов: е+е~-> е+е", уу, |1+рГ, которые затем обрабатываются процессом калибровки.

Создан интерфейс управления ССД, позволяющий осуществлять выбор условий запуска захода из предустановленных наборов, управление заходами и мониторинг заходов, управление процессами ССД. Он включает в себя также отображение важных сообщений от процессов ССД в log-журнале и звуковое оповещение оператора. Разработана подписка на сообщения log-журнала для доставки сообщений по электронной почте. Для мониторинга текущего состояния электроники реализована графическая визуализация пересчетных схем детектора и текущих значений параметров из оперативной базы данных детектора.

Надежная и согласованная работы процессов ССД обеспечивается системой автоматического запуска и системой регистрации процессов.

ССД СНД находится в эксплуатации более трех лет, в течение которых показала свою высокую надежность. Она полностью удовлетворяет предъявляемым требованиям. Числа заходов и событий по годам до 2011 года включительно приведены в приложении Б, набранная светимость для двух сезонов — в приложении В. Всего в экспериментах 2010 - 2012 годов была накоплена интегральная светимость около 40 пб 1. В результате анализа этих данных были получены и опубликованы первые физические результаты СНД в экспериментах на ВЭПП-2000 [45] [46].

В заключение я хочу выразить признательность всем своим коллегам, принимавшим участие в создании и модернизации детектора СНД, за сотрудничество и конструктивные предложения, Ю.М. Шатунову и всем сотрудникам комплекса ВЭПП-2000 за обеспечение работы накопителя. Хочется выразить отдельную благодарность С.И. Середнякову за поставленную задачу и поддержку данной работы, а В.П. Дружинину и A.A. Королю за научное руководство и помощь, оказанную при работе над диссертацией.

113

1. В.М. Аульченко, М.Н. Ачасов, С.Е. Бару ., А.Г. Богданчиков и др. Сферический нейтральный детектор (СНД) для электрон-позитронного накопителя ВЭПП-2М. // Препринт ИЯФ 99-16, Новосибирск, 1999.

2. M.N. Achasov, V.M. Aulchenko, S.E. Baru ., A.G. Bogdanchikov et al. Spherical Neutral Detector for VEPP-2M collider. // Nucl. Instr. Meth. A449 125 (2000)

3. S.I. Serednyakov. Physical program for the new VEPP-2000 e+e- collider. // Nuclear Physics В Proceedings Supplements, Volume 126, January 2004, Pages 369-374.

4. В.М. Аульченко, А.Г. Богданчиков, А.А.Ботов и др. Система сбора данных детектора СНД для экспериментов на ВЭШ1-2000. // Приборы и техника эксперимента (2007) номер 6, стр. 65-82.

5. М. Achasov, A. Bogdanchikov, A. Kim and A. Korol. DAQ software for SND detector // Nucl. Inst, and Meth. A 559 (2006) pp 71-75.

6. М.Н. Ачасов, А.Г. Богданчиков, В.П. Дружинин и др. Программное обеспечение системы сбора данных детектора СНД. // Препринт ИЯФ 2003-59, Новосибирск, 2003.

7. G.N. Abramov, M.N. Achasov, V.M. Aulchenko ., A.G. Bogdanchikov et al. SND Upgade. // eConf C010430 (2001) T10, also "Stanford 2001, e+e- physics at intermediate energies" 122-130, e-print: hep-ex/0105093.

8. Г.Н. Абрамов, B.M. Аульченко, M.H. Ачасов, ., А.Г. Богданчиков и др. Проект модернизации детектора СНД для эксперимента на ВЭПП-2000. // Препринт ИЯФ 2001-29, Новосибирск, 2001.

9. Г.Н. Абрамов, В.М. Аульченко, М.Н. Ачасов, ., А.Г. Богданчиков и др. Модернизация детектора СНД для экспериментов на ВЭПП-2000. // Препринт ИЯФ 2003-45, Новосибирск, 2003.

10. Г.Н. Абрамов, В.М. Аульченко, М.Н. Ачасов, ., А.Г. Богданчиков и др. Статус работ по модернизации детектора СНД ИЯФ. // Препринт ИЯФ 2004-46, Новосибирск, 2004.

11. Г.Н.Абрамов, В.М. Аульченко, М.Н. Ачасов, ., А.Г. Богданчиков и др. СНД статус модернизации и анализа данных. // Препринт ИЯФ 2005-35, Новосибирск, 2005.

12. Г.Н. Абрамов, П.М. Астигеевич, В.М. Аульченко, ., А.Г. Богданчиков и др. Детектор СНД: модернизация систем для экспериментов на ВЭПП-2000 и некоторые предварительные результаты экспериментов на ВЭПП-2М. //ПрепринтИЯФ 2007-20, Новосибирск, 2007.

13. Г.Н. Абрамов, Е.Г. Авдеева, П.М. Астигеевич, ., А.Г. Богданчиков и др. Детектор СНД: состояние дел и первый опыт работы с пучками ВЭПП-2000. // Препринт ИЯФ 2009-19 , Новосибирск, 2009.

14. П.М. Астигеевич, В.М. Аульченко, М.Н. Ачасов, ., А.Г. Богданчиков и др. Начало экспериментов с детектором СНД на коллайдере ВЭПП-2000. // Препринт ИЯФ 2011-21, Новосибирск, 2011.

15. D.A. Bukin, T.V. Dimova, V.P. Druzhinin et al. Data Acquisition System of SND Experiment. //In proc. of CHEP97, Berlin, 1997.

16. ATLAS Collaboration. ATLAS computing: Technical Design Report. // CERN document server http://cdsweb.cern.ch/record/837738/files/lhcc-2005-022.pdf ATLAS TDR-017, CERN-LHCC-2005-022, July 4, 2005.

17. L. Valsan A.G. Bogdanchikov at al. Role based access control system in the ATLAS experiment. // J.Phys.Conf.Ser.331:022042, 2011.

18. BESIII Collaboration. Design and Construction of the BESIII Detector. // Nucl. Instrum. Meth. A614:345-399, 2010.

19. И.Б. Логашенко. Статус КМД-3. // Доклад на научной сессии ИЯФ 2012, http://www.inp.nsk.su/news/rss/201278Logashenko.pdf, 2012.

20. С.Е. Бару, B.C. Кириченко, Г.А. Савинов и др. Служебные блоки системы сбора данных КЛЮКВА. // Препринт ИЯФ 88-26, Новосибирск, 1988.

21. Анашин В.В., Аульченко В.М., Балдин Е.М. Детектор КЕДР. // Препринт ИЯФ. 2010-40, Новосибирск, 2010.

22. В. Aubert et al. The BABAR detector. // Nucl.Instrum.Meth. 2002. Vol. A 479. Pp 1-116.

23. A. Aloisio et al. Data acquisition and monitoring for the KLOE detector. // Nucl.Instrum.Meth. Vol A 516 Pp. 288-314,2004.

24. Аульченко B.M., Байбусинов Б.О., Титов B.M. Информационные платы ТП, дельтаТ и Т2А системы сбора данных КЛЮКВА. // Препринт ИЯФ 88-22, Новосибирск, 1988.

25. Аульченко В.М., Леонтьев Л.А., Усов Ю.В. Информационная плата А32 системы сбора данных КЛЮКВА. // Препринт ИЯФ 88-30, Новосибирск, 1988.

26. Д.А. Букин, Ю.С. Великжанин, В.Б. Голубев и др. Первичный триггер детектора СНД на ВЭПП-2М. // Препринт ИЯФ 98-29, Новосибирск, 1998.

27. ALTERA Corporation. FLEX 10К Embedded Programmable Logic Family Datasheet. // http://www.altera.com/literature/ds/dsflOk.pdf, 2003.

28. International Organization for Standardization, and International Electrotechni-cal Commission. КОЛЕС 9075:2003 Information technology - Database languages - SQL // Geneva, Switzerland, 2003.

29. Argonne National Laboratory. Experimental Physics and Industrial Control System // http://www.aps.anl.gov/epics/.

30. S. Ritt. Maximum Integration Data Acquisition System // http://MIDAS.psi.ch/.

31. M.N. Achasov, A.G. Bogdanchikov, D.A. Bukin et al. Data Acquisition System for the SND2000 Experiment. // In proc. of CHEP2001, Sept. 3-7, 2001, Beijing, (2001) 556-559.

32. A.D.Bukin, I.A.Gaponenko, V.N.Ivanchenko et al. Experimental data management system for SND Experiment. // In proc. of CHEP97, Berlin, 1997.

33. V. M. Aulchenko et al. Data acquisition systems and triggers for the detectors in INP. // Nucl. Instrum. Meth. 1998. Vol. A 409. Pp. 639-642.

34. В.М.Аульченко и др. Обзор экспериментальных результатов с детектора СНД на е+е- коллайдере ВЭПП-2М. // Ядерная физика, 1999, том 62, N12, с.2142-2153.

35. D.A. Bukin, V.N. Ivanchenko, A.A. Korol et al. SND Off-line Framework. // Proc. of CHEP2001, Sept. 3-7, 2001, Beijing, (2001) 145-148.

36. R. Fielding et al Hypertext Transfer Protocol HTTP/1.1. // RFC 2616, ftp://flp.rfc-editor.org/in-notes/rfc2616.pdf, 1999.

37. D. Lopez. Sams Teach Yourself Apache 2 in 24 Hours. // Sams, 1st edition, ISBN: 0672323559, 2002.

38. L. Ullman. PHP and MySQL for Dynamic Web Sites. // Peachpit Press, 1st edition, 2003.

39. D. Raggett, A. Le Hors, I.Jacobs. HTML 4.0 Specification. // http://www.w3.org/TR/1998/REC-html40-19980424, April 24,1998.

40. Gregor N. Purdy. CVS Pocket Reference, Second Edition // O'Reilly and Associates, 2003.

41. H. W. Lie and B. Bos, W3C recommendation. Cascading Style Sheets, level. // http://www.w3.org/TR/1999/REC-CSSl-19990111, Dec. 17, 1996, revised Jan 11, 1999.

42. Yu.V. Usov et al. SND-»SND-2000 electronics upgrade. // Nucl. Instr. Meth. A 494 (2002) 558 555-559.

43. M. H. Ачасов, А. Ю. Барняков, ., А.Г. Богданчиков и др. Измерение сечения процесса е+е—-»соло—^>щщу в области энергии 1.1-1.9 ГэВ. // Письма в ЖЭТФ, 94:10 (2011), 796-799.

44. M.N. Achasov, A.Yu. Barnyakov, K.I Beloborodov, ., A.G. Bogdanchikov et al. First results of spherical neutral detector (SND) experiments at VEPP-2000. // Progress in Particle and Nuclear Physics (2012) 67 (2012), pp. 594598.