Архивизация наблюдательных данных телескопов Ратан-600 и БТА тема автореферата и диссертации по астрономии, 01.03.02 ВАК РФ

РОССИЙСКАЯ АКАДЕМИЯ НАУК ГОСУДАРСТВЕННЫЙ НАУЧНЫЙ ЦЕНТР СПЕЦИАЛЬНАЯ АСТРОФИЗИЧЕСКАЯ ОБСЕРВАТОРИЯ

На правах рукописи

КОНОНОВ Владимир Константинович

УДК 520.22:520.88 520.27:520.88

АРХИВИЗАЦИЯ НАБЛЮДАТЕЛЬНЫХ ДАННЫХ ТЕЛЕСКОПОВ РАТАН-600 И БТА

(01.03.02 — астрофизика, радиоастрономия)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

РГб од

1 7 OKI 1396

Нижний Архыз 1996

Работа выполнена в Специальной астрофизической обсерватории Российской Академии Наук

Научные руководители - академик РАН Парийский Ю.Н.

(CAO РАН)

- доктор физико-математических паук Панчук В.Е. (CAO РАН)

Официальные оппоненты - доктор физико-математических наук

Гельфрепх Г.Б. (ГАО РАН)

- кандидат физико-математических наук Андриевский С.М. (АО ОГУ)

Ведущая организация - СПбГЭУ

Зашита состоится "■¿У" 1996 г. в Ю- часов на открытом

заседании специализированного совета (шифр Д 003.35.01) по присуждению ученой степени доктора физико-математических наук при Специальной астрофизической обсерватории РАН

(357147, Карачаево-Черкесская респ., Зелепчукский район, пос. Нижний Архыз).

Отзыв на автореферат в двух экземплярах, заверенный печатью учреждения, просим направлять по вышеуказанному адресу на имя ученого секретаря специализированного совета.

С диссертацией можно ознакомиться в библиотеке CAO РАН.

Автореферат разослан 1996 г.

Ученый секретарь специализированного совета

канд. физ.-мат. наук ¡/¿Си* Майорова Е.К.

Общая характеристика работы Актуально сть

Исторически сложилась такая ситуация, что вопросы архивизации наблюдательных данных стали интенсивно обсуждаться в отечественной и зарубежной литературе только в последние годы [1*]. До этого основное внимание астрономов и специалистов в различных областях автоматизации астрофизического эксперимента было сосредоточено на методах совершенствования самих астрономических инструментов (телескопов), приемно-измерительных комплексов и приборов, а также непосредственно па системах обработки экспериментальных данных. Вместе с тем внедрение прогрессивных технологий, особенно все более совершенных компьютерных средств, в различные сферы наблюдательного процесса неуклонно приводило к росту потоков наблюдательной информации. К настоящему времени за предшествующие годы накоплены огромные объемы экспериментального материала, и только лишь малая часть всех этих данных в той или иной степени обработана.

Фактически речь идет о потенциальных знаниях, которые могут быть извлечены из результатов в большинстве случаев уникальных астрофизических экспериментов. Причем это относится как к классическим областям астрономии — оптической и радио, так и к XIV-, 111-, рентгеновской и гамма-астрономии, развитие которых в первую очередь связано с запуском космических лабораторий.

В качестве примеров актуальности архивизациии данных можно привести по крайней мере три аспекта исследований:

• Изучение физической переменности и эволюции различных объектов.

• Сопоставление результатов наблюдений, выполненных в разное время с помощью инструментов, отличающихся по своим характеристикам (длине волны, разрешению, чувствительности и т.п.).

• Реализация совместных наблюдательных программ различными астрономическими центрами с использованием как наземных телескопов, так и орбитальных лабораторий.

Таким образом, обращение астрономов к архивной информации е большинстве случаев не только целесообразно, но и просто необходимо

Учитывая это, в настоящее время многие ведущие обсерватории и исследовательские центры разрабатывают и реализуют собственные проекты архивизации наблюдательных данпых. Например, ESO Archive Project, N RAO's VLA/VLBA archives, NSSDC archives, HST Archive System, IUE Archive, ROSAT Public Data Archive, GRO Archive и т.д. [1*2*].

Для Специальной астрофизической обсерватории — крупнейшего наблюдательного центра — выработка политики формирования и поддержки своего информационного фонда имеет чрезвычайно важное значение еще и по следующим причинам:

1. В С АО функционируют два уникальных инструмента — радиотелескоп РАТАН-600 и оптический б-м телескоп БТА, с помощью которых можно проводить комплексные многоаспектные астрофизические исследования.

2. В процессе наблюдений астрономы используют большое количество как собственно астрономических приборов, так и регистрирующих программно-аппаратных комплексов, которые в совокупности определяют десятки разнообразных наблюдательных методов (фотометрические, спектральные оптические, радионаблюдения в континууме, многочастотные солнечные исследования и т.д.).

3. Проектирование и внедрение новых астрономических приборов, в частности, на основе CCD-матриц для наблюдений в оптическом диапазоне, а также реализация режимов сбора данных в радиодиапазоне с повышенным временным разрешением, приводят не только к расширению возможностей телескопов, но и к резкому возрастанию объемов экспериментальных данных.

4. Проведение большого числа совместных исследовательских программ, и как следствие — интенсивный обмен информацией с другими астрономическими центрами, вызывают еще болыцую потребность в систематизированном хранении наблюдательного материала и обеснечешш к нему эффективного доступа для последующей обработки и/или транспортировки.

Кроме перечисленных выше факторов необходимо указать еще один существенный аспект использования архива наблюдательных данных как информационной системы обсерватории [20*].

Результаты многоуровнего статистического анализа архивной информации предоставляют различным категориям астрономов объективные сведения о:

• состоянии и эффективности использования инструментов в целом;

• функционировании систем управления телескопами;

• работе отдельных приборов, аппаратурно-измерительных комплексов и систем сбора данных;

• распределении и эффективности использования телескопного времени;

• содержании фактически выполняемых наблюдательных программ;

• условиях проведения наблюдений;

• объемах поступающей информации;

• требуемых компьютерных ресурсах и т.д.

Причем, чем в большей степени параметризованы исходные данные, тем более гибкий анализ может быть проведен.

Все это дает возможность не только оценивать текущее состояние инструментов и их отдельных узлов, но и обоснованно прогнозировать работу телескопов на конкретных временных интервалах.

Таким образом, создание и поддержание архива наблюдательных данных в CAO является чрезвычайно актуальной и многогранной задачей. Комплексный подход к ее решению и накопленный опыт конкретных разработок в этой области позволили акцептировать внимание на наиболее важных моментах, которые принципиальным образом влияют на эффективность функционирования обсерватории как научного центра.

Цель работы

Основной целью работы являлась разработка концепции единого архива наблюдательных данных CAO РАН и ее поэтапная реализация. В связи с этим были поставлены следующие задачи:

1. Анализ существующих в обсерватории типов наблюдательных данных, их структур и способов получения.

2. Разработка принципов организации локальных архивов, связанных с конкретными астрономическими приборами, и их интеграции в единую Базу наблюдательных данных.

3. Разработка первой версип интегрированной системы архивизации п ее внедрение в качестве штатной системы в наблюдательные процессы телескопов РАТАН-600 и БТА.

4. Поддержание постоянно расширяющейся Базы наблюдательных данных и обеспечение к ней автоматизированного доступа для последующей обработки информации и получения разнообразных астрофизических результатов.

5. Проведение многоаспектного статистического анализа архивных оптических и радиоданпых для оцепки функционирования отдельных подсистем телескопов.

Научная новизна и практическая ценность

Впервые в отечественной астрономии разработана методологияпнфор-мационной интеграции разнородных типов наблюдательных данных.

Впервые создана концепция унифицированного интерфейса между различными типами систем, составляющих основу технологии наблюдательных процессов, — системами сбора, архивизации, обработки и транспортировки наблюдательных данных.

Впервые создана информационная модель обобщенной системы сбора экспериментальных данных, предусматривающая многоуровневые процессы сбора информации, включая процессы журналпзации астрофизических экспериментов.

Разработаны принципы стандартизации представления любых типов наблюдательных данных в обсерватории, обеспечивающие совместимость с международным стандартом — FITS-форматом [3*-13*].

Впервые разработана п внедрена первая версия интегрированной системы архивизации ODA, которая стала штатным звеном в общей технологической цепочке "сбор - обработка наблюдательных данных" для телескопов БТА и РАТАН-600. С ее помощью сформированы архивы сканера, двухкапального фотометра, светосильного эшелле-спектрометра "ЗЕБРА", эшелле-спектрометра высокого разрешения "РЫСЬ" телескопа БТА и радиометров сплошного спектра облучателей N1, N5 и N6 радиотелескопа РАТАН-600.

Многолетняя эксплуатация системы ODA, а также архивных систем, являющихся ее прообразом, позволила:

• сохранить десятки тысяч наблюдений, выполненных как в оптическом, так и радиодиапазоне, включая данные глубоких обзоров "Холод", и получить уникальные астрофизические результаты;

• систематизировать архивную информацию и представить ее в исключительно компактной и надежной форме с использованием современного уровня компьютерной технологии;

• обеспечить высокоэффективный автоматизированный доступ к Базе наблюдательных данных на основе аппарата регулярных выражений;

• провести общий статистический анализ архивного материала и получить информацию об использовании наблюдательного времени РАТАН-600 и БТА, влиянии работы АСУ РАТАН-600, функционировании радиометров сплошного спектра РАТАН-600 и т.д.

Основные положения, выносимые на защиту

1. Результаты архивизации и первичной обработки первых глубоких многочастотных обзоров "Холод" радиотелескопа РАТАН-600.

2. Концепция единого архива наблюдательных данных CAO РАН.

3. Разработка и результаты внедрения первой версии интегрированной системы архивизации наблюдательных данных ODA.

4. Результаты статистического анализа многолетней архивной информации телескопов РАТАН-600 и БТА.

Личный вклад автора

Вклад автора был определяющим в разработке идеологии, архитектур и программного обеспечения архивных систем, их внедрении в технологические процессы телескопов РАТАН-600 и БТА, в формировании и поддержании баз наблюдательных данных, в разработке и реализации принципов информационной интеграции различных типов наблюдательных данных.

Апробация работы

Осповные результаты диссертации изложены в 27 печатных работах [1-27], докладывались на XIV конференции молодых европейских радиоастрономов (Германия, 1981), симпозиуме MAC N104 "Ранняя эволюция Вселенной и ее настоящая структура" (Крит, 1982), XV Всесоюзной конференции по галактической и внегалактической радиоастрономии (Харьков, 1983), XXV (Пущипо, 1993) и XXVI (С.-Петербург, 1995) радиоастрономических конференциях [28-39], па международной научной конференции "Современные проблемы астрономии" (Одесса. 1996), па общих, радиоастрономических и лабораторных семинарах CAO, семинарах по Информатике и Автоматизации научных исследований и описаны в 25 научных отчетах.

Структура и объем диссертации

Диссертация состоит из Введепия, пяти глав, Заключения, сппска цитируемой литературы из lêS. наименований, списка рисунков, списка таблиц и двух Приложений. Общий объем диссертации ¿kl страниц, в том числе рисунка и JfJL- таблнц.

Содержание работы

Представленная диссертация является результатом работ, выполненных в различное время в период 1979-95 гг.

Во Введении приводится обоснование актуальности работы. Сформулированы цепь, задачи и положения, выносимые на защиту, кратко представлено содержание диссертации.

Первая глава носит обзорный характер. В ней описывается поэтапное развитие технологии архивизации наблюдательных данных в CAO с конца 70-х годов.

Проблема сохранения экспериментального материала возникла одновременно с проведением первых наблюдений па телескопах РАТАН-600 и БТА. Главным фактором, определяющим особенности первичных архивов, являлась аналоговая форма исходной информации. Поэтому неавтоматизированные архивы первого поколения представляли собой простую совокупность бумажных записей самописцев в раднодиапазо-

не и стеклянных фотопластинок — в оптическом. При этом оцифровка исходной и одновременно архивной информации для ее дальнейшей обработки па ЭВМ проводилась вручную и с помощью комплексов АМД соответственно.

Внедрение в конце 70-х годов на РАТАН-600 и БТА вариантов цифровой регистрирующей аппаратуры обеспечило потенциальную возможность формирования автоматизированных архивов второго поколения — баз данных на машинных носителях.

Первые попытки создания законченной в логическом отношении системы архивизации были предприняты в 1976-77 гг. для данных радиометров сплошного спектра облучателя N1 РАТАН-600. Результаты наблюдений, оцифрованные на облучателе с помощью 6-канального устройства автоматической регистрации УАР-6 (затем 9-канального УАР-9) буферизовались на перфоленте, а в дальнейшем — на 9-дорожечной магнитной ленте, и физически переносились на ЭВМ М-222, расположенную в башне БТА в 40 км от радиотелескопа. Архивная система, реализованная в виде комплекса программ на ЭВМ М-222 в операционной системе ОСЛО, осуществляла декодирование данных и их запись на архивные носители — дюймовые магнитные ленты.

Несмотря па многоэтапность преобразования информации и территориальную удаленность пунктов регистрации и обработки, созданная в то время и функционирующая в течение 1977-78 гг. архивная система вместе с системами обработки СОН, СОН-2 и СОН-4 стала штатным технологическим звепом в наблюдательном цикле радиотелескопа РАТАН-600. С ее помощью были архивизированы и обработаны сотни наблюдений радиоисточников в континууме радиодиапазона.

Начало эксплуатации в 1978 г. на РАТАН-600 компьютера третьего поколения М4030, а позже на нижней научной площадке — ЕС-1035, дало толчок новым подходам к проблеме архивизации экспериментального материала. В первую очередь это проявилось в более широком охвате архивными системами различных типов наблюдательных данных как оптического, так и радиодиапазона. С другой стороны, значительные для того времени вычислительные ресурсы новых компьютеров позволили создавать многоуровневые архивы: архивы исходных и обработанных данных, архивы наблюдательных программ и персонифицированные рабочие архивы и т.п. В частности, как продолжение работ в этой области, для радиометров сплошного спектра облучателя

N1 РАТАН-600 в 1979 г. была создана система архивизации FERAN, интегрированная с системой первичной обработки. Функционирующая в среде ОС ЕС (OS/360) на ЭВМ М4030, FERAN стала штатной системой и обеспечивала поддержку наблюдений в континууме в течение 4 лет: с 1980 г. по 1983 г.

Период эксплуатации системы совпал с резким ростом объема поступающих данных, связанным с проведением первых глубоких многочастотных круглосуточных обзоров по программе "Холод". При этом экстремальные значения потоков информации составляли 5 Mb в сутки. С помощью системы FERAN был создан многоуровневый архив наблюдательных данных континуума, включающий около 5000 наблюдений. Только его часть, относящаяся к экспериментам "Холод-1", "Холод-2" и "Холод-3", содержала 14400 исходных одночастотных часовых записей (7700, 3900 и 2800 соответственно) п имела объем 500 Mb. В качестве архивных носителей использовались бобинные магнитные ленты емкостью 20 Mb при плотности записи 800 bpi, а доступ к архиву обеспечивался быстрыми накопителями ЕС-5012. Практически 90% поступающей с облучателя N1 информации после ее первичной обработки сохранялось в систематизированной Базе данных.

В результате создания системой FERAN архива наблюдательных данных и его последующей многоэтапной обработки получены уникальные астрофизические результаты как по программам обзоров, так п по программам наблюдений дискретных и протяженных радиоисточников. Первичная обработка (в том числе осреднение) больших объемов данных экспериментов "Холод" позволили сделать оценки верхнего предела флуктуации 3-градусного микроволнового фона А Т/Т ~ 1.2 х Ю-5 [28], исследовать статистику радиоисточников в полосе обзора "Холод-1" с плотностью потока на уровне ~ 1 mJy (А7.6 см) [1], изучить распределение фонового радиоизлучения Галактики [6]; с учетом данных других программ — получить координаты, плотности потоков и информацию о структуре сотен новых радиоисточников [2-5,7], провести исследования пекулярных объектов [29,30] и т.д.

В дальнейшем архив системы FERAN стал первоисточником для формирования вторичных (специализированных) архивов, а обработка накопленного материала продолжается и по сегодняшний день.

Параллельно с созданием Базы наблюдательных данных радиометров сплошного спектра облучателя N1 осуществлялась архивизация дру-

гих тылов радиоданных — спектральных и солнечных — с помощью систем, разработанных соответственно в лаборатории радиоспектроскопии (МОСН-2, облучатель N2) и группе солнечных исследовании (MONITOR-I-GSO, облучатель N3). В идеологическом плане системы МОСН-2 и MONITOR-I-GSO отличались от FERAN, поскольку учитывали специфику своих типов наблюдательных данных: их структуры, характер обработки, методы доступа, идентификацию и т.д.

Автоматизированные архивы оптических данных в том смысле, как это было сделано в отношении радиоданных, не создавались. Появившиеся гораздо позднее (с вводом в эксплуатацию ЭВМ ЕС-1035 и особенно малых компьютеров типа СМ) системы буферизации оцифрованных оптических данных обеспечивали простое копирование информации после наблюдений па машинные носители — магнитные ленты и использовались в основном персонифицированно.

Получившие распространение в CAO в середине 80-х годов компьютеры серии СМ (СМ-3, СМ-4, СМ-1420, MERA-125, MERA-685) предоставили астрономам более надежные и доступные вычислительные средства, что в первую очередь способствовало развитию приемно-пзмерительных комплексов телескопов. Вместе с тем смена в обсерватории трех поколений компьютерной базы и доминирующая децентрализация работ по сохранению ранее накопленного экспериментального материала привели к потерям значительной части уникальной информации.

Во Второй главе диссертации описывается концепция единого архива Специальной астрофизической обсерватории.

Всесторонний анализ существующих в CAO типов наблюдательных данных, способов их регистрации, хранения и обработки, типов систем, составляющих основу технологии получения и использования экспериментального материала, и потребностей астрономов в различных процедурах доступа к информации показал, что выработка нового подхода к архивизации наблюдательных данных не только целесообразна, но и необходима. Такой новый подход был сформулирован (в первоначальном варианте в 1987 г.) в виде концепции единого архива, которая включает [8-12,22]:

1. Принципы фрагментированпя архива по типам наблюдательных данных и организации первичных локальных архивов.

Макроструктура архива создается иаращиваиием информационных слоев методом "снизу - вверх": от основной Базы архивных данных к иерархически связанным справочным базам (надстройкам), содержащим метаданные и ориентированным на различные области приложений (каталоги архивных томов, списки наблюдательных программ и объектов исследований, статистические таблицы и т.п.).

Многоуровневое моделирование предметной области астрофизического эксперимента связано с ипфологпчссжим и цитологическим этапами проектирования архива [16*-18*] п позволяет, с одпой стороны, выделить и обобщить ключевые понятия, которыми оперируют астрономы в процессе наблюдений и последующей обработки информации, а с другой стороны, обеспечить гибкое компьютерное представление этих понятий в виде тех или иных структур данных.

Таким образом, концепция единого архива CAO отражает комплексный подход к проблеме хранения и автоматизации доступа к разнообразному экспериментальному материалу. Решение этой задачи осуществляется поэтапно.

Третья глава посвящена разработке и внедрению первой версии интегрированной архивной системы ODA и технологии архивизации наблюдательных данных оптического и радиодпапазона.

Система ODA Version 1.0 (Observational Data Archive) была введена в рабочую эксплуатацию в 1989 г. и использовалась в течение 6 лет — по май 1995 г. [12-14]. Основной целью разработки являлась проверка главных концепций по информационной интеграции ряда систем сбора и обработки путем создания единого архива наблюдательных данных нескольких типов. При проектировании системы формулировались довольно жесткие ограничения, учитывающие те реальные условия, в которых ODA должна была функционировать: компьютеры типа СМ, операционная среда NTS, фиксированные информационные выходы существующих систем сбора, архивные носители — магнитные ленты.

Для проведения работ были выбраны 4 штатные системы сбора — радиометров континуума РАТАН-600, сканера, двухканального фотометра и светосильного эшелле-спектрометра "ЗЕБРА" телескопа БТА. Этот выбор был обусловлен как желанием использовать два различных диапазона волн — оптический и радио, так и характерной разнородностью структур выходных данных перечисленных систем. Кроме того, была рассмотрена некоторая условная система сбора, выход кото-

рой жестко не детерминировался. Это давало возможность порождать стандартные архивные конструкции на основе произвольных входных данных. Тем самым астрономы могли создавать свои личные (рабочие) архивы для проведения некоторых этапов обработки.

Система ODA Version 1.0 была реализована в виде пяти функционально ориентированных подсистем, каждая из которых поддерживала локальных архив определенного типа:

ODA/R — локальный архив радиометров континуума РАТАН-600;

ODA/S — локальный архив сканера БТА;

ODA/P — локальный архив фотометра БТА;

ODA/E — локальный архив эшелле-спектрометра "ЗЕБРА" БТА;

ODA/U — личные (рабочие) архивы пользователей.

В архитектурном плане все подсистемы подобны, но настраивались на свой тип входных данных (выход системы сбора) с помощью специализированных программных компонент.

С 1989 г. началось постепенное и параллельное наполнение локальных архивов с учетом хронологии поступления наблюдательных данных. В дополнение к этому старые данные сканера БТА (начиная с 1983 г.), ранее буферизованные и хранящиеся на машинных носителях в нестандартной форме, были реставрированы, упорядочены и приведены к архивному стандарту ODA.

Рабочие конфигурации архивной системы на том или ином компьютере определялись как расположением собственно систем сбора, таж и пунктов основной обработки соответствующих типов данных:

РАТАН-600:

Конфигурация ODA/R + ODA/U на компьютерах MERA-125 и MERA-685 — архивизация и о бработка.

БТА:

Конфигурация ODA/S + ODA/P + ODA/E + ODA/U на двух компьютерах СМ-4 —■ архивизация и обработка.

Нижняя научная площадка:

Конфигурация ODA/S + ODA/P + ODA/E + ODA/U на компьютере СМ-4 — оперативные архивы и обработка.

Таким образом, локальные архивы изначальпо были распределены по научным площадкам обсерватории, но поддерживались одним и тем же программным обеспечением. При этом основной процесс архивизации оптических данных осуществлялся на БТА, по для оперативного доступа астрономов к новой информации дапные наблюдений после завершения очередного сета передавались на пижнюю научную площадку и включались в соответствующий оперативный архив.

При разработке системы ODA Version 1.0 были учтены и реализованы следующие принципиальные моменты:

• Разнородность структур выходных данных используемых систем сбора не отражается на общей логической структуре архива. То есть все локальные архивы по своей организации подобны.

• Каждый локальный архив обслуживается определенным набором процедур, которые по форме вызова и по своим функциональным возможностям унифицированы.

• Доступ к архивным данным реализуется с максимально простой, но достаточно гибкой форме, и не зависит от типа локального архива.

• Для облегчения самостоятельной работы астрономов с архивными данными диалоговый интерфейс пользователя унифицирован и обеспечивает оперативный доступ к справочной информации.

• Все программные разработки проводились на языке Си по единой технологии с учетом дальнейшего перехода в Unix-подобную операционную среду.

В качестве архивных носителей использовались бобишше магнитные ленты емкостью 10 Mb при плотности записи 800 bpi. В результате шестилетней эксплуатации системы ODA был сформирован архив для четырех систем сбора, который размещался на 100 томах магнитных лент в пропорции: радио — 80, оптика — 20 и содержал 18432 наблюдения в радиодиапазоне и 10969 — в оптическом [16,22,26,27,31,33].

Единая организация архивных томов для всех локальных архивов обеспечивалась погружением внутренних специфических форматов систем сбора в оболочку tar-формата ОС Unix. При этом tar-формат специально моделировался программными компонентами ODA в операционной среде NTS.

Идеология первой версии системы архивизации пе предусматривала параллел1.ное сопровождение оперативной справочной базы данных. В частности, это было обусловлено сравнительно малой емкостью используемых устройств прямого доступа. Однако основные (ключевые) параметры — dama наблюдения, имя объекта, длина волны и параметр Стокса (последние два для радиоданных) — были вынесены на уровень иерархических имен tar-файлов. Это обеспечило возможность организовать достаточно простой и в то же время гибкий поиск и выборку архивной информации с помощью аппарата регулярных выражений путем анализа только tar-заголовков архивных файлов [14,17,31,34].

Опыт интенсивной работы с архивом показал, что со временем существенный процент информации разрушается. Наиболее влияющим фактором здесь оказалось неудовлетворительное качество используемых носителей. По этой причине около 50% архивных данных потенциально могло быть потеряно. Таким образом, достаточно остро возникла проблема переноса архива системы ODA на новый, более надежный тип машинного носителя. Кроме того, сам факт большого количества архивных томов не только физически затруднял организацию более эффективного доступа к хранимой информации, но и не обеспечивал возможность проведения какой-либо глобальной систематизации имеющегося наблюдательного материала.

Учитывая это, в 1995 г. был реализован проект ODA/DAT, который предусматривал реорганизацию всех локальных архивов на основе более совершенного уровня компьютерной технологии: IBM-совместимые компьютеры PC 386/48С, Unix-подобная ОС, сетевые средства. В результате все архивные данные системы ODA были перенесены с сохранением формата на новый тип носителя ■— DAT-кассеты DG90M емкостью 2 Gb [16,24,33].

Реализация проекта ODA/DAT позволила:

• сохранить существующие архивные данные;

• представить их в исключительно компактной и надежной форме;

• создать копии архивных томов;

• обеспечить более эффективный физический доступ к информации;

• сформировать справочные бызы данных и каталоги архивных носителей;

• на их основе провести общий статистический анализ архивного материала.

Таким образом, с помощью системы ODA Version 1.0, встроенной в технологические процессы телескопов РАТАН-600 и БТА, в обсерватории созданы первые систематизированные Базы наблюдательных данных оптического и радиодиапазопа, содержащие результаты десятков тысяч наблюдений.

В 1996 г. введена в пробную эксплуатацию следующая версия интегрированной системы архивизации — ODA Version 1.1, которая разрабатывалась уже с учетом повой компьютерной технологии в Unix-подобной операционной среде Linux. Система развернута на центральном архивном сервере CAO (платформа PC Pentium) и апробируется на данных эшелле-спектрометра высокого разрешения "РЫСЬ" телескопа БТА. Единые принципы проведения разработок в области архивизации экспериментального материала позволили включить ранее созданные системой ODA Version 1.0 базы наблюдательных данных в основную базу данных новой версии системы.

В Четвертой главе диссертации приводятся результаты общего статистического анализа многолетней архивной информации телескопов РАТАН-600 и БТА.

Архивная статистика системы ODA представляет собой множество параметров, которые объединяются в условные группы. Общие принципы сбора статистической информации и дальнейшего ее анализа одинаковы для вссх локальных архивов системы: каждая группа связана с определенным объектом (в широком смысле этого слова), а между объектами установлены иерархические отношения вложенности. Вводятся объекты: группа дат, дата, наблюдение, файл, единица памяти. В качестве группы дат могут использоваться временные интервалы и/или специальные группы — множества дат, выделенные по специальным критериям (например, даты некоторого месяца за все годы).

Любой объект характеризуется той или иной комбинацией параметров подчиненных уровней. Параметр может иметь абсолютное, относительное, среднее или экстремальное (минимальное или максимальное) значение.

Статистика дана для 5 локальных архивов, включая данные эшелле-спектрометра высокого разрешения "РЫСЬ". При этом учитывалась

Таблица 1: ODA. Общая статистика.

Local archive AT Nd N0 Nf NMb

Continuum 5.5 1205 18432 75094 630

IPCS 2 *1024 9.4 710 9183 55179 127

NPh-1 3.4 84 1088 2455 17

ZEBRA 4.0 99 698 1495 13

LYNX 5.0 151 1386 2037 1605

Optic 12.6 1044 12355 61166 1762

Total 12.6 2249 30787 136260 2392

специфика проведения наблюдений в различных диапазонах волн. Поскольку в радиодиапазоне наблюдения выполняются круглосуточно (и, практически, всепогодно), в качестве объекта "группа дат" используются только временные интервалы: месяц, год и весь период, охватываемый архивными данными. Для наблюдений в оптическом диапазоне учтены два дополнительных фактора: "длинные - короткие" и "темные - светлые" ночи. Поэтому для оптических данных введены "специальные группы": даты фиксированного календарного месяца по всем годам и даты, симметричные относительно полнолуния.

Для каждого локального архива в табличной форме приводится многоуровневая статистика, включающая:

• количество наблюдательных дат (ночей);

• абсолютное число наблюдений и архивных файлов;

• абсолютные объемы данных;

• характеристики информационной насыщенности суток (ночей);

• средние и экстремальные характеристики наблюдений и т.д.

Дополнительно для радиоданных даны значения числа наблюдений, выполненных с помощью различных типов радиометров, для оптических данных — значения основных параметров в зависимости от факторов "длинные - короткие" и "темные - светлые" ночи.

Табл. 1 содержит общие сведения о локальных архивах, где АТ — временной интервал (годы), ^ — число дат (ночей), — число наблюдений, Nf — число архивных файлов, Агл/ь — объем данных (МЪ).

Приведены распределения ключевых параметров на разных времен-

М

Continuum

зооо

2500

2000

1500

1000

П

X

500

I " " "

89

90

91

92

93

94

95 Years, months

Рис. 1: Динамика средних суточных потоков данных радиометров континуума.

пых масштабах. В качестве примера иа рис. 1 показана динамика средних суточных потоков данных радиометров сплошного спектра радиотелескопа РАТАН-600 (в кЬ, по месяцам).

Анализ архивной информации РАТАН-600 показал, что основными причинами, вызывающими потери наблюдательного времени, являются работы по реконструкции инструмента (в частности, замена изношенных рельсовых путей, по которым движутся облучатели со вторичными зеркалами) и функционирование автоматизированной системы управления (АСУ) главным отражателем. Нестабильная работа АСУ и параллельная его модернизация снижали загрузку радиотелескопа в отдельные месяцы до 50% (и даже до 6%). Суммарное влияние перечисленных выше факторов определило эффективность использования РАТАН-600 в континууме в период 1989-95 гг. — 60%. Среднее значение параметра многочастотности наблюдений за этот же период составило 4 канала на одно наблюдение, что явилось следствием "старения" приемно-измерительных комплексов облучателей радиотелескопа. Постепенная модернизация радиометров отразилась на росте многоча-стотности до среднего значения — 6 (начало 1995 г.).

Динамику использования каждого из 10 радиометров континуума по годам иллюстрируют соответствующие диаграммы. Приведена также итоговая диаграмма для всего периода.

Для оценки условий наблюдений и влияния в оптическом дпапазоне

факторов "длинные - короткие" (плюс вероятность ясной погоды) и "темные - светлые" ночи для каждого оптического архива приведены диаграммы распределений по месяцам и по фазам Луны числа ночей, числа наблюдений и параметров уровня даты (на соответствующих полных временных интервалах).

Максимальные зарегистрированные значения параметров различных уровней характеризуют реальные пиковые нагрузки на системы управления телескопами, сбора и архивизации данных. Кроме того, такая информация может быть использована для оценки перспектив развития этих систем, требуемых компьютерных ресурсов, а также для прогнозирования работы инструментов в целом.

Приводятся сравнительные диаграммы для различных методов наблюдений, сделаны оценки эффективности использования БТА.

В Пятой главе диссертации описываются принципы построения гибкой архивной FLEX-системы, которые являются естественным продолжением концепции единого архива наблюдательных данных обсерватории.

Идеология гибкой архивной FLEX-системы (FLexible EXchange) формировалась на протяжении 1992-95 гг. и базируется на обобщении опыта разработки и эксплуатации системы архивизации ODA Version 1.0 (1.1) [15,18-21,32,35-38]. В основе построения FLEX-системы лежит идея унификации взаимодействия систем различных типов, участвующих в технологической цепочке получения астрофизических результатов [23]. Данный подход включает:

1. Принципы информационной интеграции систем сбора, архивизации, обработки и транспортировки наблюдательных данных.

2. Концепцию унифицированного интерфейса между различными типами систем.

Особенности любой системы, поддерживающий астрофизический эксперимент, в первую очередь проявляются в том, что она оперирует объектами своей предметной области, содержание которой и определяется собственно статусом и целями системы. Вместе с тем такие системы являются отдельными взаимодействующими частями общей цепочки преобразования информации, начиная с первичной регистрации и кончая получение результатов обработки. Поэтому их предметные

зультаты необязательных процессов журнализации астрофизических экспериментов.

Вводятся единые правила идентификации наблюдательных данных в виде системы соглашений об именовании файлов-описателей в операционной среде Unix.

Вводится единый формат представления на машинных носителях наблюдательных данных любых типов — FLEX-формат. В основе такого унифицированного формата лежит международный FITS-формат для обмена данными между астрономическими центрами [3*—14*]. Разработка FLEX-формата проводилась с учетом потенциальных возможностей основного варианта FITS — Basic FITS, его отдельных стандартных расширений, а также с учетом специфических особенностей различных структур наблюдательных данных, используемых в CAO. В результате в качестве окончательного варианта FLEX-формата принят модифицированный вариант стандартного FITS-расншрения — Binary Table:

Basic FITS —> FITS Binary Table —» FLEX .

Промежуточный (черновой) вариант FLEX-формата был реализован в 1993 г. для данных спектрофотометрического комплекса БТА [19*], а в 1995 г. — для радиометров континуума РАТАН-600 [39].

Таким образом, разработаны и введены общие стапдарты для наблюдательных данных в трех областях. Применение общих стандартов для конкретных систем сбора реализуется в форме локальных стандартов [25]. В настоящее время FLEX-проект охватывает следующие астрономические приборы и соответствующие пм системы сбора:

ZEBRA — светосильный эшелле-спектрометр в фокусе Нэс-

мит-2 6-м телескопа;

LYNX — эшелле-спектрометр высокого разрешения в фокусе

Нэсмит-2 6-м телескопа;

MSSP — осповной звездный спектрограф в фокусе Нэсмиг-

2 6-м телескопа;

PFCCD — ССБ-фотометр в первичном фокусе 6-м телескопа;

Quantochron — квантохрон 6-м телескопа;

H-Mag — водородный магнитометр в первичном фокусе 6-м

телескопа;

IPCS 2 *1024 — 1024-канальный счетчик фотонов в фокусе Нэс-

мит-1 6-м телескопа;

NPh-1 — двухканальный фотометр в фокусе Нэсмит-1 6-м

телескопа;

PV1 CCD — CCD-матрица на спектрографе СП-124 в фокусе Нэсмит-1 6-м телескопа;

MFS — мультиобъектный волоконный спектрограф в пер-

вичном фокусе 6-м телескопа;

TJAGS — светосильный спектрограф в первичном фокусе 6-м

телескопа;

MPFS — мультизрачковый спектрограф в первичном фокусе

6-м телескопа;

IFP —- интерферометр Фабри-Перо в первичном фокусе 6-

м телескопа;

PAS -— панорамный анализатор спектра облучателя N3

радиотелескопа РАТАН-600;

Continuum — радиометры сплошного спектра облучателей N1, N5 и N6 радиотелескопа РАТАН-600.

В Заключении сформулированы основные результаты работы.

Публикации по теме диссертации

Основные результаты диссертации изложены в следующих работах:

1. Берлин А.Б., Булаенко Е.В., Гольнев В.Я., Докучаев В.И., Кононов

B.К., Корольков Д-В., Линовка Н.М., Мингалиев М.Г., Наугольная М.Н., Нижельский Н.А., Парийский Ю.Н., Петров З.Е., Пятунина Т.Б., Спангенберг Е.Е., Трушкин С.А., Шарииова JI.H., Юсупова

C.Н.: Глубокий обзор неба на волне 7.6 см с помощью радиотелескопа РАТАН-600. — Письма в Астрон. журн., 1981, 7, N 5, с.290-294.

2. Кононов В.К., Пятунина Т.Б.: Радиоисточпики в ассоциации отражательных туманностей Единорог-112. — Письма в Астрон. жури., 1982, 8, N 10, с.593-595.

3. Берлин А.Б., Булаенко Е.В., Витковский В.В, Кононов В.К., Львов В.К., Парийский Ю.Н., Петров З.Е.: Прямые восхождения и склонения радиоисточников с плотностью потока более 8 мЯн в области 13л < а < 14\ 6 — 5°10'. — Письма в Астрон. жури., 1983, 9, N 4, с.211-213.

4. Кононов В.К., Пятунина Т.Б.: Обзор плоскости Галактики в районе ассоциации отражательных туманностей Едипорог-112. — Лстпрон. журн., 1983, GO, вып.4, с.685-693.

5. Барышев Ю.В., Витковский В.В., Гольнев В.Я., Кононов В.К., Линовка Н.М., Петров З.Е.: Результаты наблюдений гигантской HII области па долготах 4°-10°, выполненных с высоким разрешением.

— Астрой, журн., 1983, 60, вып.6, с.1084-1090.

6. Berlin A.B., Bulaenko E.V., Vitkovsky V.V., Kononov V.K., Korolkov D.V., Parijskij Yu.N., Trushkin S.A.: Very deep cross-out of Galaxy at 7.6 cm. — Сообщ. CAO, 1984, 43, c.43-55.

7. Алиакберов К.Д., Кононов В.К., Мингалнев М.Г., Наугольная М.Н., Плотников В.М., Пятупина Т.Б., Труткип С.А.: Плотность потоков 72 радиоисточников в районе склонения S — —6° на волне 7.6 см. — Астрофиз. исслед. (Изв. CAO), 1987, 24, с.178-182.

8. Копонов В.К., Моносов М.Л., Витковский В.В., Липовецкий В.А.: Архив наблюдательных данных CAO АН СССР. Принципы организации. — Сообщ. CAO, 1990, 65, с.32-44.

9. Кононов В.К.: Архив наблюдательных данных CAO АН СССР. Общая методология проектирования. — Сообщ. CAO, 1991, 67, с.15-28.

10. Кононов В.К.: Архив наблюдательных данных CAO АН СССР. Структурный анализ проектных решений. — Сообщ. CAO, 1991, 67, с.29-47.

11. Кононов В.К.: Архив наблюдательных данных CAO АН СССР. Архитектурные концепции. — Сообщ. CAO, 1991, 67, с.48-69.

12. Кононов В.К.: Проект ODA. Этапы разработки и реализации. — Сообщ. CAO, 1991, 67, с.70-86.

13. Кононов В.К., Евангелп А.Н.: ODA Version 1.0. Система управления архивом наблюдательных данных CAO АН СССР. — Сообщ. CAO, 1991, 67, с.87-105.

14. Кононов В.К.: Архивизация наблюдательных данных в CAO РАН.

— Препринт CAO РАН, 1994, 105, с.2-15.

15. Кононов В.К., Липовецкип В.А.: Унификация взаимодействия систем сбора, архивизации, обработки и транспортировки наблюдательных данных. — Препринт CAO РАН, 1994, 105, с. 16-30.

16. Кононов В.К.: Состояние архива наблюдательных данных ODA Version 1.0. — Препринт CAO РАИ, 1995, 108, с.2-10.

17. Кононов В.К.: Анализ текстов с помощью регулярных выражений в системе архивизации ODA. — Препринт CAO РАН, 1995, 108, с. 11-22.

18. Кононов В.К.: Информационный выход обобщенной системы сбора. — Препринт CAO РАН, 1995, НОТ, с.2-12.

19. Кононов В.К.: Концепция унифицированного интерфейса между системами различных типов. — Препринт CAO РАН, 1995, НОТ, с.13-23.

20. Кононов В.К.: Система соглашений об идентификации наблюдательных данных (FLEX-стандарт). — Препринт CAO РАН, 1995,110Т, с.24-35.

21. Кононов В.К.: Унифицированный формат представления наблюдательных данных (FLEX-стапдарт). — Препринт CAO РАН, 1995, 111Т, с.3-21.

22. Кононов В.К.: Проекты архивизации наблюдательных данных в CAO РАН. Обзор. — Препринт CAO РАН, 1995, 111Т, с.22-35.

23. Verkhodanov O.V., Kononov V.K., Chernenkov V.N.: The methods and facilities of astrophysical experiments support in the SAO RAS. Short review of the problems. -— Bull. Spec. Astrophys. Obs., 1996, 39, p.146-149.

24. Кононов B.K.: Проект FLEX/LOC и архивизация наблюдательных данных в CAO РАН. —- Препринт CAO РАН, 1996, 112Т, с.3-14.

25. Кононов В.К.: Локальные FLEX-стандарты интерпретации и идентификации наблюдательных данных в CAO РАН. — Препринт CAO РАН, 1996, 114Т, с.15-30.

26. Кононов В.К., Мингалиев М.Г.: Архив данных радиометров сплошного спектра радиотелескопа РАТАН-600: 1989-1995 гг. — Препринт CAO РАЛ, 1996, 114Т, с.1-13.

27. Кононов В.К., Клочкова В.Г., Пан чу к В.Е.: Архив наблюдений на эшелле-спектрометрах 6-метрового телескопа БТА. — Препринт, CAO РАН, 1996, 115Т.

28. Berlin А.В., Bulaenko E.V., Vitkovsky V.V., Ivononov V.K., Parijskij Yu.N., Petrov Z.E.: Search for small scale anisotropy of the 3K émission of the Universe. — Early Evolution of the Universe and Its Present Structure. Symp. IAU, 1983, N 104, p.121-124.

29. Нижельский H.A., Кононов В.К., Трушкин С.А.: Поиск радиогало вокруг пульсаров. Наблюдения на волне 7.6 см на радиотелескопе РАТАН-600. — В кн.: XV Всесоюзная конференция по галактической и внегалактической радиоастрономии. Тезисы докл., 11-13 окт. 1983, Харьков, с. 166.

30. Берлин А.Б., Кононов В.К., Петров З.Е., Трушкин С.А.: Радиона-блюдепия SS433 на радиотелескопе РАТАН-600 в 1979-1982 годах.

— В кн.: XV Всесоюзная конференция по галактической и внегалактической радиоастрономии. Тезисы докл., 11-13 окт. 1983, Харьков, с.132.

31. Кононов В.К.: Архивизация наблюдательных данных в CAO РАН.

— В кн.: XXV радиоастрономическая конференция. Тезисы докл., 20-24 сент. 1993, Пущнно, с.217.

32. Кононов В.К., Липовецкий В.А.: Унификация взаимодействия систем сбора, архивизации, обработки и транспортировки наблюдательных данных. — В кн.: XXV радиоастрономическая конференция. Тезисы докл., 20-24 сент. 1993, Пущино, с.217.

33. Кононов В.К.: Текущее состояние архива наблюдательных данных ODA Version 1.0. ■— В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.258.

34. Кононов В.К.: Аппарат регулярных выражений системы архивизации ODA. — В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.317.

35. Кононов В.К.: Иерархическая модель информационного выхода обобщенной системы сбора. — В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.318.

36. Кононов В.К.: Унифицированный интерфейс между системами сбора, архивизации и обработки. — В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.319.

37. Кононов В.К.: Обобщенные правила идентификации наблюдательных данных (FLEX-стандарт). — В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.320.

38. Кононов В.К.: Гибкий формат представления наблюдательных данных (FLEX-стандарт). — В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.321.

39. Верходанов О.В., Кононов В.К., Цыбулев П.Г., Черненков В.Н.: Формат записи многочастотных контипуальных данных на выходе системы регистрации РАТАН-600. — В кн.: XXVI радиоастрономическая конференция. Тезисы докл., 18-22 сент. 1995, С.-Петербург, ИПА, с.316.

Список литературы

1*. Databases and On-Line data in Astronomy. — Edited by Albrecht M.A. and Egret D., 1991, 171, Kluwer Academic Publishers.

2*. Legacy, 1992, 2, HEASARC.

3*. Wells D.C., Greisen E.W. and Harten R.H.: FITS: A Flexible Image Transport System. — Astron. Astrophys. Suppl. Ser., 1981, 44, pp.363370.

4*. Greisen E.W. and Harten R.H.: An Extension of FITS for Groups of Small Arrays of Data. — Astron. Astrophys. Suppl. Ser., 1981, 44, pp.371-374.

5*. IAU Information Bulletin, 1983, 49, p.14.

6*. Harten R.H., Grosb0l P., Tritton K.P., Greisen E.W., Wells D.C.: Generalized FITS extensions, with application to Tables. — Mem. S. A. It., 1985, 56, N 2-3, pp.437-451.

7*. Grosb0l P., Harten R.H., Greisen E.W. and Wells D.C.: Generalized extensions and blocking factors for FITS. — Astron. Astrophys. Suppl. Ser., 1988, 73, pp.359-364.

8*. Harten R.H., Grosb0l P., Greisen E.W. and Wells D.C.: The FITS tables extension. — Astron. Astrophys. Suppl. Ser., 1988, 73, pp.365-372.

9*. IAU Information Bulletin, 1989, 61, p. 10.

10*. Cotton W.D. and Tody D.B.: Binary Table Extension to FITS: A Proposal. — Preprint, September 20, 1991 (access instructions available from the NOST FITS Support Office).

11*. Implementation of the Flexible Image Transport System (FITS). — Draft Standard, November 6,1991, NOST 100-0.3b. NASA/OSSA Office of Standards and Technology.

12*. Ponz J.D., Thompson R.W. and Muñoz J.R.: The FITS image extention.

— Astron. Astrophys. Suppl. Ser., 1994, 105, pp.53-55.

13*. Cotton W.D., Tody D. and Pence W.D.: Binary table extension to FITS.

— Astron. Astrophys. Suppl. Ser., 1995, 113, pp.159-166.

14*. Kniazev A., Lipovetsky V., Kononov V., Neizvestny S., Shergin V.: FITS. Extension VECTOR GROUPS (preliminary draft). — Proposal for European FITS Working Group, 1992, SAO of Russian AS, lip.

15*. Krol E.: The Whole Internet. User's Guide к Catalog. — 1994, O'Reilly & Associates, Inc.

16*. Диго C.M.: Проектирование баз данных. — 1988, М.: Финансы и статистика.

17*. Четвериков В.Н., Ревунков Г.И., Самохвалов Э.Н.: Базы и банки данных. — 1987, М.: Высшая школа.

18*. Цикритзис Д. и Лоховски Ф.: Модели данных. — 1985, М.: Финансы и статистика, 343с.

19*. Зпнысовский В.В., Князев А.Ю., Левитан Б.И., Линовецкпй В.А., Назаренко А.Ф., Неизвестный С.И., Угрюмов А.В., Шергин B.C.: Система управления и сбора данных спектрофотометра в Нэсмит-1 БТА. I. Общее описание. — Отчет ОАО РАЕ, 1994, 221.

20*. Albrecht М.А. and Raimond Е.: Analysing telescope performance: an archive result. — ESO Sci Preprint, 1992, 869.