Система управления статистической обработкой информации специального вида тема автореферата и диссертации по математике, 01.01.09 ВАК РФ

ВВЕДЕНИЕ.

1. Актуальность проблемы автоматизации обработки информации в статистико-астрономических исследованиях. Постановка задачи

2. Краткое содержание диссертации

ГЛАВА I. АСТРОНОМИЧЕСКИЕ КАТАЛОГИ НА МАШИНОЧИТАЕМЫХ НОСИТЕЛЯХ ИНФОРМАЦИИ КАК НАБЛВДАТЕЛЬНЫЕ ДАННЫЕ

ИЕРАРХИЧЕСКОЙ СТРУКТУРЫ. II

§ I.I. Определение и структура астрономического каталога . II

§ 1.2. Принципы централизации наблюдательных данных в астрономии.

§ 1.3. Машиночитаемые носители информации, используемые для каталогов.

§ 1.4. Современное состояние вопроса автоматизации обработки астрономических наблюдательных данных.

§ 1.5. Некоторые особенности наблюдательных данных в виде астрономических каталогов на магнитной ленте

§ 1.6. Об одном подходе к исправлению некорректных записей отдельных каталогов на магнитной ленте

ВЫВОДЫ ПО ГЛАВЕ I.

ГЛАВА .2. НЕКОТОРЫЕ СТАТИСТИКО-АСТРОНОМИЧЕСКИЕ АЛГОРИТМЫ

§ 2.1. Типичные статистико-астрономические задачи и основные методы их решения

§ 2.2. Исследование скорости Солнца относительно ближайших звезд.

§ 2.3. Алгоритмы вычисления корреляционной матрицы при оценивании параметров по методу наименьших квадратов

§ 2.4. Определение пространственно-кинематических характеристик звездного населения в окрестности

Солнца.

§ 2.5. Оптимальное разбиение на интервалы в некоторых задачах статистики

ВЫВОДЫ ПО ГЛАВЕ 2.

ГЛАВА 3. СИСТЕМА УПРАВЛЕНИЯ СТАТИСТИЧЕСКОЙ ОБРАБОТКОЙ

ДАННЫХ АСТРОНОМИЧЕСКИХ КАТАЛОГОВ В МАШИНОЧИТАЕМОЙ ФОРМЕ.

§ 3.1. Обоснование выбора языка программирования для статистической обработки информации из каталогов на магнитной ленте

§ 3.2. Структура и программно-алгоритмическая реализация системы.

§ 3.3. Использование препроцессорных средств для управления пакетом программ системы.

§ 3.4. Оценка сложности алгоритмов решения статистико-астрономических задач, сводящихся к оцениванию моментов первого и второго порядков

§ 3.5. Анализ результатов решения некоторых статистикоастрономических задач в разработанной системе . . 91 ВЫВОДЫ ПО ШВЕ 3.

I. Актуальность проблемы автоматизации обработки информации в статистико-астрономических исследованиях. Постановка задачи

Существенной чертой современности является быстрый рост объемов получаемой и обрабатываемой информации практически во всех областях науки и техники. При этом возникает множество задач, которые в силу их огромной информационной емкости и сложности и, как правило, больших затрат времени человек не в состоянии решить без помощи ЭВМ [б, 34, 53 ] . Все это обуславливает то значение, которое приобретает в последнее время область прикладной математики, связанная с обработкой больших массивов экспериментальных или наблюдательных данных. Здесь выделяется ряд основных направлений [44] , в числе которых такие, как разработка автоматизированных систем обработки данных (АСОД) и пакетов специализированных программ и анализ данных.

Под автоматизированными системами обработки данных понимают системы обработки информации, использующие ЭВМ для хранения, организации и переработки информации, независимо от их назначения [27, 56] . Подробная классификация АСОД дается в [27] . Пакеты специализированных программ, несмотря на короткую историю их создания и применения, прошли несколько этапов развития [55 , 57] . Это можно сказать как о методах создания пакетов программ, так и их структуре. Из простого набора программ, давшего жизнь термину "пакет", они превратились в сложный программный комплекс со специальным входным языком для описания решаемых задач. Анализ данных представляет собой некоторую совокупность математи

- б ческих методов и приемов, примыкающих к математической статистике. Его целью является выявление в массивах данных различных закономерностей на основе построения математических моделей изучаемых явлений, что в одних случаях есть конечный результат исследования, а в других служит рабочим инструментом для решения каких-либо задач.

В рамках этих отмеченных направлений находится и разрабатываемый в настоящей диссертационной работе подход к автоматизации обработки данных астрономических каталогов в статистико-астроно-мических исследованиях.

Астрономия - одна из областей человеческого знания, где использование ЭВМ для обработки информации стало насущной потребностью. К настоящему времени здесь накоплено значительное количество данных о различных астрономических объектах в виде каталогов [65, 71] . Кроме того, успешное развитие средств и методов наблюдений обуславливает постоянное исправление, уточнение и дополнение полученных данных. Это определило целесообразность начавшейся с 1972 года замены публикации данных о звездах, звездных системах и других астрономических объектах в виде каталогов на традиционном носителе информации - бумаге - каталогами на машиночитаемых носителях. Основную работу по записи астрономических данных на машиночитаемые носители информации и распространение их в такой форме среди заинтересованных исследователей выполняют существующие центры данных, имеющие необходимое программное обеспечение для осуществления своих функций [28, 74] . Однако, у так называемого периферийного пользователя-исследователя, получившего машиночитаемые версии каталогов из центра, существует потребность в средствах автоматизации для последующей содержательной обработки информации из каталогов. В связи с этим понятна актуальность задачи разработки и создания таких средств, в качестве которых выступают системы управления обработкой информации, ориентированные на решение задач выбранного класса. Важность данной тематики подтверждается проведением ряда научных коллоквиумов и симпозиумов, которые проводятся под эгидой Международного Астрономического Союза и посвящаются вопросам использования ЭВМ для хранения и обработки астрономических наблюдательных данных (Страсбург 1976 г., Страсбург 198I г.).

В настоящей диссертационной работе рассматриваются вопросы, связанные с разработкой структуры и программно-алгоритмической реализацией системы управления статистической обработкой информации, позволяющей на основе данных из каталогов, записанных на магнитную ленту из фонда Советского центра астрономических данных (ЦАД) при Астросовете АН СССР, проведение определенного множества статистико-астрономических исследований. Последние представляют собой синтез специальных астрономических преобразований и известных статистических алгоритмов, часть которых при необходимости или возможности их оптимизации модифицируется. Значение подобных исследований определяется их существенной ролью в уточнении нашего представления о строении и эволюции Галактики, тем, что с использованием результатов этих исследований решаются такие важные научные и народнохозяйственные проблемы, как создание инерциальной системы координат, организация службы времени {62\ Выбор именно задач статистико-астрономических исследований мотивировался и той особой ролью, которая принадлежит статистическому моделированию среди других методов исследования вообще и в звездной астрономии в частности [3, 33, 40, 80l . Статистическое моделирование позволяет описать не только существувдие, но и будущие закономерности и связи между результативными и факторными показателями изучаемого явления. В рамках оформулированной проблемы оказалось возможным рассмотрение также некоторых вопросов математической статистики, представляющих интерес и для астрономии.

Основные результаты, полученные в диссертационной работе, состоят в следующем.

1. Разработаны структура системы управления статистической обработкой информации из машиночитаемых астрономических каталогов и комплекс оригинальных алгоритмов и программ, составляющих названную систему. Показана возможность расширения системы. Разработанная система представляет собой эффективное средство автоматизации статистической обработки наблюдательных данных в астрономии.

2. Предложен входной язык пакета программ системы, являющийся языком командного типа и позволяющий кратко и эффективно описывать задания на обработку. Разработаны принципы управления пакетом программ на основе использования препроцессорных средств. Описан синтаксис предложенного языка, решена задача реализации языка подобного типа.

3. Доказаны теоремы, определяющие временную сложность алгоритмов решения статистико-астрономических задач, сводящихся к определению моментов первого и второго порядков, оценены емкостные сложности указанных алгоритмов. Получены оценки емкостной сложности рассмотренных алгоритмов вычисления корреляционной матрицы при оценивании параметров по методу наименьших квадратов.

4. Предложены способы определения оптимального разбиения на интервалы при построении выборочных распределений.

5. Предложен новый подход к формализации статистической обработки астрономических наблюдательных данных. Разработаны ори

- 96 гинальные алгоритмы и программы учета специфики символьного представления, контроля синтаксической и семантической правильности и исправления информации в процессе обработки.

6. Предложены способы повышения информативной емкости существующего описания структуры астрономических наблюдательных данных на машиночитаемых носителях информации.

Практическая ценность полученных результатов подтверждается тем, что разработанный и отлаженный комплекс программ используется на Астрономической обсерватории ЛГУ им .А .А .Жданова для статистической обработки данных астрономических каталогов на магнитной ленте.

ЗАКЛЮЧЕНИЕ

1. Агекян Т.А. Звездная статистика. Строение Галактики. - В кн.: Курс астрофизики и звездной астрономии, т.2. М.: Физматгиз, 1962, с. 427-480.

2. Агекян Т.А., Дейч А.Н. Движения звезд. В кн.: Курс астрофизики и звездной астрономии, т.2. М.: Физматгиз, 1962, с. 481527.

3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика, основы моделирования и первичной обработки данных. М.: Финансы и статистика, 1983. - 471 с.

4. Алгоритмы и программы восстановления зависимостей /Под ред. В.Н.Вапника. М.: Наука, 1984. - 816 с.

5. Александров В.В., Горский Н.Д. Алгоритмы и программы структурного метода обработки данных. Л.: Наука, 1983. - 264 с.

6. Афифи А., Эйзен С. Статистический анализ: Подход с использованием ЭВМ /Пер. с англ. М.: Мир, 1982. - 488 с.

7. Ахо А., Хопкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов /Пер. с англ. М.: Мир, 1979. - 536 с.

8. Бабаев И.О., Новиков Ф.А., Петрушина Т.И. Язык Декарт входной язык системы СПОРА. - Прикладная информатика, 1981, & I, с. 27-76.

9. Балашов Е.Г., Атанасов Д.Х. Накопители информации с подвижным магнитным носителем. Л.: Энергоиздат, 1982. - 206 с.

10. Балодис Р.П. Средства языка PL j\ , используемые в задачах обработки данных. УС и М., 1981, JS I, с. 77-81.

11. Безбородов Ю.М. От фортрана к PL/4 . Основы языка Pl/4 . - М.: Наука, 1984. - 208 с.

12. Берзтисс А. Структуры данных / Пер. с англ. М.: Статистика, 1974. - 408 с.

13. Васюнина О.Б. Автоматизированная система статистической обработки данных астрономических каталогов. В кн.: У Всесо-юзн. симпозиум "Проблемы системотехники" (Ленинград, май 1983). Тез. докл. (в печати).

14. Васюнина О.Б. К вопросу об автоматизации обработки данных астрономических каталогов. Я 5339-83 Деп. от 27 сентября1983 г., ВИНИТИ, 8 с.

15. Васюнина О.Б. Некоторые проблемы формализации обработки астрономических наблюдательных данных. В кн.: Математические модели сложных систем. Надежность и обработка информации. Л., Ленингр. ун-т (в печати).

16. Васюнина О.Б. Об одном подходе к автоматизации обработки астрономической информации. № 2405-84 Деп. от 14 апреля1984 г., ВИНИТИ, 13 с.

17. Васюнина О.Б. О программно-алгоритмическом обеспечении ста-тистико-астрономических исследований. В кн.: Математические методы теории управления. Л., Ленингр. ун-т (в печати) .

18. Васюнина О.Б. Пакет программ для статистико-астрономических исследований. Вестник ЛГУ, 1984, Я 19, с. 79-80.

19. Верещагин С.В. и др. Проект организации банка наблюдательных данных по изучению меридионального сечения Галактики,- Научные информации Астросовета АН СССР, 1982, вып. 51, с. 84-91.

20. Верещагин С.В., Шустов Б.М. Программная система "СПАРТАК" обслуживания Советского центра астрономических данных. -Научные информации Астросовета АН СССР, 1982, вып. 51,с. 58-70.

21. Гребенников Л.К., Лебедев В.Н. Решение задач на ПАв ОС ЕС. М.: Финансы и статистика, 1981. - 302 с.

22. Гренандер У., Фрайбергер В. Краткий курс вычислительной вероятности и статистики / Пер. с англ. М.: Наука, 1978. -198 с.

23. Дайитбегов Д.М., Дуброво И.Г. Организация наборов данных в ОС ЕС ЭВМ. М.: Финансы и статистика, 1982. - 277 с.

24. Джадд Д.Р. Работа с файлами / Пер. с англ. М.: Мир, 1975.- 144 с.

25. Дженкинс Г., Ватте Д. Спектральный анализ и его приложения: Вып. I / Пер. с англ. М.: Мир, 1971. - 316 с.

26. Дел Рио Салседо Бернардо. АСУ реального времени на базе ЕС ЭВМ: Динамика функционирования, элементы проектирования.- М.: Машиностроение, 1983. 229 с.

27. Длужневская О.Б., Памятных А.А., Пискунов А.Э. Советский центр астрономических данных филиал Страсбургского центра звездных данных. - Научные информации Астросовета АН СССР, 1982, вып. 51, с. 3-57.

28. Енальский В.А., Павлик С.А., Погорелая Н.С. Каталог звезд на магнитной ленте ЭВМ. Астрон.журн., 1974, т. 51 ,с. 1343-1345.- 100

29. Енальский В.А., Шустов Б.М. Обслуживающие программы каталога SAG . Научные информации Астросовета АН СССР, 1978, вып. 39, с. 22-24.

30. Каримова Д.К., Павловская Е.Д. Определение кинематических параметров звезд в ближайших окрестностях Солнца. Астрон. журн., 1974, т. 51, с. 597-606.

31. Кендал М., Стьюарт А. Теория распределений / Пер. с англ. -М.: Наука, 1966. 587 с.

32. Кендал М., Стьюарт А. Статистические выводы и связи / Пер. с англ. М.: Наука, 1973. - 893 с.

33. Кнут Д. Искусство программирования для ЭВМ: Сортировка и поиск / Пер. с англ. М.: Мир, 1978. - 844 с.

34. Кокс Д., Снелл Э. Прикладная статистика: Принципы и примеры / Пер. с англ. под ред. Ю.К.Беляева. М.: Мир, 1984 .- 200 с.

35. Крамер Г. Математические методы статистики / Пер. с англ.- М.: Мир, 1975. 643 с.

36. Куллдорф Г. Введение в теорию оценивания / Пер. с англ.- М.: Наука, 1966. 176 с.

37. Курт Р. Введение в звездную статистику / Пер. с англ. М.: Мир, 1969. - 220 с.

38. Кутузов С.А., Эйнасто Я, 0 построении моделей звездных систем: Ч. I. К классификации моделей. Публикации Тартуской астрофизической обсерватории им.В.Струве, 1968, т. 36 ,$ 5-6, с. 341-356.

39. Ландау Л.Д., Лифшиц Е.М. Теоретическая физика: Т.5. Статистическая физика. М.: Наука, 1964. - 567 с.

40. Лебедев В.Н., Соколов А.П. Введение в систему программирования ОС ЕС. М.: Статистика, 1978. - 144 с.- 101

41. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. М.: Физматгиз, 1962. - 350 с.

42. Локтин А.В. Пространственное движение Солнца и эксцентриситеты галактических орбит 0 и В звезд. Астрон. цирк., 1978, Я 1021, с. 1-2.

43. Математические вопросы анализа данных: Сб. ст. / Под ред. Ю.П.Дробышева. Новосибирск: Изд-во ВЦ СОАН СССР, 1980. - 158 с.

44. Несведов С.А., Павлик С.А. Каталог звезд на дисковом накопителе ЕС ЭВМ. Научные информации Астросовета АН СССР, 1978, вып. 39, с. 25-32.

45. Огородников К.Ф. Динамика звездных систем. М.: Физматгиз, 1958. - 627 с.

46. Огородников К.Ф., Осипков Л.П. Определение движения Солнца по лучевым скоростям ближайших звезд. Астрон. цирк., 1978, Я 995, с. 1-2.

47. Осипков Л.П. Движение быстролетящих звезд. Астрон. цирк., 1980, & 1105, с. 5-7.

48. Парасюк И.Н., Сергиенко И.В. О задачах и методах планирования вычислений в пакетах прикладных программ. УС и М, 1983, If 4, с. 57-65.

49. Паренаго П.П. Исследование пространственных скоростей звезд. Труды Государственного астрон. ин-та им.П.К.Штернберга , 1951, т. 20, с. 26-80.

50. Щ>анцагль И. Теория измерений / Пер. с англ. М.: Мир , 1976. - 248 с.

51. Рейнгольд Э., Нивергельт Ю., Део Н» Комбинаторные алгоритмы: Теория и практика/Пер. с англ. М.: Мир, 1980, - 476 с.- 102

52. Самарский А. Современная прикладная математика и вычислительный эксперимент. Коммунист, 1983, Я 18, с. 31-42.

53. Статистические методы обработки данных: Рекомендации. М.: Изд-во стандартов, 1978. - 146 с.

54. Столяров Л.Н. Краткий обзор принципов организации пакетов прикладных программ. В кн.: Труды 1У Всесоюзного семинара по комплексам программ математической физики. - Новосибирск: Изд-во ВЦ СОАН СССР, 1976, с. II2-I24.

55. Сергиенко И.В., Парасюк И.Н., Тукалевская Н.И. Автоматизированные системы обработки данных. Киев: Наук, думка , 1976. - 256 с.

56. Тамм Б.Г., Тыугу Э.Х. Пакеты программ. Известия АН СССР. Техническая кибернетика, 1977, If. 5, с. III-I24.

57. Уилкс С. Математическая статистика / Пер. с англ. М.: Наука, 1967. - 632 с.

58. Форсайт Дж., Малькольм М., Молер К. Машинные методы математических вычислений / Пер. с англ. М.: Мир, 1980.279 с.

59. Фролов Г.Д., Олюнин В.Ю. Практический курс программирования на языке PL I. - М.: Наука, 1983. - 384 с.

60. Шеннон Р. Имитационное моделирование систем искусство и наука / Пер. с англ. - М.: Мир, 1978. - 418 с.

61. Ээлсалу X. Информационный аспект звездной статистики. -Сообщения Тартуской астрономической обсерватории АН Эстонской ССР, 1963, с. 17-25.

62. Agekjan Т.А., Ogorodnikow K.F. Solar neighbourhood as the local Macroscopic Volume Element within the galaxy. -Highlights of Astronomy, 1974-j 3, p. 4-51 456.

63. Dluzhnevskaya O.B. The Soviet Center of Astronomical Data. -Autom. Data Retriev. Astron. Proc. 64- th Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 15 26.

64. Gliese W. Catalogue of nearby stars. Edition 1969» Karlsruhe, Braun, 1969, 117 p.

65. Gliese W. Data for the compilation of the "Third catalogue of nearby stars". Autom. Data Retriev. Astron. Proc. 64- thi Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 281 - 285.

66. Grosbol P. New developments in data storage. Autom. Data Retriev. Astron. Proc. 64 th Colloq. bit. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 79 - 83.

67. Guseva N.G., Kolesnik L.N., Metreveli M.D. Stellarstatisti-sche Untersuchungen in der Sonnenumgebung. Astron. Nach., 1983, 1, p. 41

68. Hauck B. Data in astronomy. Autom. Data Retriev. Astron. Proc. 64 th Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 217 - 223.

69. Heinz W.D. Astronomical data coordination: a perpetual task.-Compilat. Crit. Eval. and Distrib. Stellar Data. Proc. Int. Astron. Union Colloq. N 35, Strasbourg, 1976. Dordrecht

70. Mistrik I. Qbwards effective data processing: portable software models. Autom. Data Retriev. Astron. Proc. 64 th Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht,1982, p. 119 121.

71. Ochsenbein f,, Bischoff M. Ohe catalogue of stellar identifications. Autom. Data Retriev. Astron. Proc. 64 th Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 211 - 213.

72. Ochsenbein f,, Egret D., Bischoff M. Ohe catalogue of stellar identifications. Compilat. Crit. Eval. and Distrib. Stellar Data. Proc. Int. Astron. Union Colloq. N 35, Strasbourg, 1976. Dordrecht - Boston, 1977, p. 31 - 36.

73. Pucillo M., Santin P., Sedmak G. International standards for software structures in astronomy. Autom. Data Retriev. Astron. Proc. 64 th Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 111 - 113.

74. Terashita Y. Management of astronomical data at Kanazawa Data Center. Autom. Data Retriev. Astron. Proc. 64 th

75. Colloq. Int. Astron. Union, Strasbourg, 1981. Dordrecht, 1982, p. 21 25.81. (Grumpier R.J., Weaver H.F. Statistical astronomy. University of California Press.Berkely and Los Angeles, 1953» 644 p.

76. Woolley R., Epps E., Penston M., Pocock S. Catalogue of stars within twenty five parsecs of the Sun. - Herst-monceux, Royal Greenwich Observatory, 1970, 227 P«