ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ СТАНЦИЙ ВЕРТИКАЛЬНОГО ЗОНДИРОВАНИЯ ИОНОСФЕРЫ
А.Ю. Гришенцев, А.Г. Коробейников
УДК 004.045; 004.428; 004.942
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ СТАНЦИЙ ВЕРТИКАЛЬНОГО ЗОНДИРОВАНИЯ ИОНОСФЕРЫ
А.Ю. Гришенцев, А.Г. Коробейников
Проведен анализ структуры сети станций вертикального зондирования ионосферы. Рассмотрены особенности разработки и принцип построения комплексов программ автоматизированной обработки, анализа и хранения данных зондирования ионосферы. Построена концептуальная модель комплексной системы управления базами данных. В практику исследования ионосферы внедрено соответствующее программное обеспечение. Показаны результаты применения предложенных авторами алгоритмов и программ автоматизированной обработки и анализа данных вертикального зондирования ионосферы. Ключевые слова: проектирование, разработка, программное обеспечение, исследования, вертикальное зондирование ионосферы.
Введение
Ионосфера – это часть верхней атмосферы, где плотность свободных электронов достаточна, чтобы оказывать значительное влияние на распространение радиоволн. Отсюда следует, что исследование структуры ионосферы важно как для понимания физики протекающих в ней процессов, так и для решения разнообразных радиофизических задач, связанных с распространением радиоволн. Для практических нужд человечества изучение ионосферы связано, например, с эффективностью функционирования спутниковых систем радиосвязи и координатно-временного обеспечения, с разработкой радаров с синтезированной апертурой, использующих все более низкие частоты радиоволн и способных осуществлять глубинное зондирование земных грунтов.
Анализ состояния ионосферы производят различными методами, одним из которых является вертикальное зондирование ионосферы. Этот метод реализуется на станциях вертикального зондирования ионосферы (СВЗИ).
Научно-технический вестник информационных технологий, механики и оптики, 2013, № 3 (85)
61
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ …
В настоящее время происходит модернизация сети станций СВЗИ, находящихся на балансе Института земного магнетизма, ионосферы и распространения радиоволн им. Н.В. Пушкова РАН (ИЗМИРАН, Россия), Государственного научного центра «Арктический и антарктический научноисследовательский институт» (ААНИИ, Россия). На этих сетях СВЗИ производятся достаточно длительные приборные наблюдения ионосферы, позволяющие делать выводы об идущих в ионосфере динамических процессах. В настоящее время на территории Российской Федерации функционируют не менее 20 СВЗИ (в СССР было 40), образующие сеть и постоянно передающие данные в один из мировых центров данных (МЦД). Для более глубокого понимания происходящих в ионосфере процессов необходимо использование архивных данных, собранных СВЗИ. Это позволит, например, проводить синтез и анализ математических (в том числе статистических) моделей явлений в ионосфере и показывать их связи с другими процессами природного и антропогенного происхождения [1–7]. Актуальность таких исследований, включающих непрерывный мониторинг, моделирование, сбор, обработку, анализ и хранение данных, была показана в ряде работ [1–3].
Современные методы радиозондирования ионосферы можно разделить на три класса: вертикальное зондирование, наклонное зондирование, спутниковое радиопросвечивание. При этом вертикальное зондирование ионосферы (ВЗИ) является исторически наиболее применяемым приборным методом исследования, а данные ВЗИ на сегодняшний день накоплены за наиболее длительный период.
С появлением современных вычислительных и коммуникационных средств и технологий возникла необходимость концептуальной модернизации сети СВЗИ, включающей: разработку программного обеспечения (ПО) и баз данных; разработку аппаратного обеспечения; разработку средств коммуникаций и инфраструктуры; разработку и исследование математических моделей; внедрение принципов интероперабельности; разработку методов и средств защиты информации; развертывание, тестирование и настройку оборудования и ПО; системный анализ проектных решений в целом.
В настоящей работе проведен анализ структуры сети СВЗИ и рассмотрены вопросы разработки ПО и баз данных применительно к проектированию и технологической подготовке сети СВЗИ.
Постановка задачи
Для полноценного использования современных аппаратных средств, реализации методов передачи, обработки, анализа и хранения данных требуется разработка специального ПО. В большинстве случаев потребность разработки ПО связана с поступлением нового импортного технологического оборудования и с включением России в международную сеть ионосферных наблюдений. Последнее обусловлено постоянно изменяющимся требованиями международного координационного центра. Таким образом, разработка специального ПО, позволяющего проводить автоматизированную обработку, анализ и хранение данных отечественной сети СВЗИ, является актуальной.
Сеть станций вертикального зондирования
Рассматриваемые в данной работе СВЗИ расположены в высокоширотной области, что определяет особенности регистрируемых данных, а следовательно, и методов их обработки и анализа. Кроме того, практически все СВЗИ оборудованы дополнительными средствами мониторинга, позволяющими проводить покомпонентные наблюдения за магнитным полем Земли в географической точке расположения СВЗИ. В связи с этим такие станции наблюдения часто называют комплексными магнито-ионосферными обсерваториями (КМИО).
Ценность приборных наблюдений заключается в их непрерывности, что позволяет отслеживать динамику процессов в ионосфере, наблюдать скорость развития, длительность и периодичность возмущений. Практика показала, что периодичность зондирования должна составлять не более нескольких минут. Результатом получения серии зондирующих импульсов является получение так называемой ионограммы. Обычный объем файла одной ионограммы измеряется десятками килобайт. Таким образом, в сети КМИО за месяц накапливаются существенные объемы информации, которые требуют обработки, анализа, систематизации, передачи и хранения. Хранение и обработка полученных результатов решаются как непосредственно на КМИО, так и в центре сбора данных (центр данных).
Операции, производимые на КМИО: развертывание, настройка и эксплуатационное обслуживание зондов и сопутствующего оборудования; регистрация ионограмм; предварительная обработка; сопровождение архива; организация взаимодействия с центром данных.
62 Научно-технический вестник информационных технологий, механики и оптики,
2013, № 3 (85)
А.Ю. Гришенцев, А.Г. Коробейников
Операции, производимые в центре данных:
централизованная разработка методологии исследований, включающая концептуальные технические решения, разработку новых и модернизацию имеющихся аппаратно-программных средств, методов обработки, анализа и хранения данных;
развертывание, настройка и эксплуатационное обслуживание вычислительных ресурсов и сопутствующего оборудования;
организация информационного взаимодействия с отдельными КМИО;
организация и выполнение централизованной систематической обработки и анализа данных;
организация взаимодействия с другими исследовательскими центрами, в том числе МЦД. На рис. 1 приведена организационная структура сети КМИО.
КМИО
КМИО
КМИО
… КМИО
Центр данных
Партнерские центры данных
Раскрытие информации (открытые сети)
Рис. 1. Организационная структура сети КМИО
Спецификой построения сети КМИО, удовлетворяющей современным требованиям к центрам данным, является выполнение операций доставки данных в режиме реального времени и интероперабельность, в основе которых лежит унификация форматов данных и протоколов обмена. Доступность сети Интернет на КМИО позволяет применить сетевые протоколы обмена в качестве основного средства коммуникации. Ионограммы предоставляются в двух форматах – графическом (PNG) и бинарном. Бинарный формат имеет меньший объем и предпочтительнее для передачи, хранения и обработки. Кроме того, бинарные файлы содержат некоторую служебную информацию, которая утрачивается при преобразовании в графический формат.
СВЗИ оборудованы приемо-передающими анализаторами спектра отраженных от ионосферы сигналов (зондами) отечественного производства АИС-М, СП-3-М, БАЗИС-М и CADI канадского производства. Индекс «М» в обозначении отечественного анализатора означает, что он имеет цифровой интерфейс, позволяющий производить настройку режимов зонда, а также автоматически получать и сохранять данные в электронном виде в ЭВМ [8].
Протоколы и форматы данных
В последнее время на отечественных СВЗИ значительное распространение получили ионозонды Canadian Advenced Digital Ionosonde (CADI) производства Scientific Instrumentation Limited (SIL, Канада) (рис. 2). Такие зонды используют достаточно хорошо документированный класс форматов ионограмм:
md1: диапазон высот до 510 км, одна или более фиксированная частота; md2: диапазон высот до 510 км, базовый набор частот; md3: то же, что md1, но диапазон высот до 1020 км; md4: то же, что md2, но диапазон высот до 1020 км. В таблице приведены некоторые сравнительные характеристики зонда АИС-М (анализатор ионосферного спектра модифицированный) и CADI [9].
Характеристика
АИС-М
CADI (2009)
Год производства Диапазон частот (от), МГц Мощность передатчика, кВт Диапазон высот, км Максимальная частота повторения импульсов, Гц Максимальная длительность импульсов, мкс
1957 (модификация 2002 г.) 1–20 2,5
90–1500 40 70
2009 1–30 0,6 90–1020 256
40
Таблица. Некоторые характеристики ионосферных зондов АИС-М и CADI
Научно-технический вестник информационных технологий, механики и оптики, 2013, № 3 (85)
63
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ …
аб
в
Рис. 2. Системный модульный блок ионозонда CADI(а), внешняя антенна(б), дневная ионограмма, город Троицк (55,5° с.ш., 37,5° в.д.) в спокойных геофизических условиях (в). По горизонтали – частота в МГц
На сегодняшний день часть СВЗИ оборудована зондами отечественного производства АИС-М (или подобными). Учитывая длительный, многолетний период наблюдения с использованием теперь уже частично устаревших отечественных анализаторов, даже при их повсеместной замене на более новые, сохранение полученных данных в существенно варьирующихся современных форматах является актуальной задачей.
Дорогостоящее ПО, дополнительно предоставляемое с оборудованием CADI, содержит модули управления зондами и обработки ионограмм. Однако поставщики импортного оборудования предоставляют его с «закрытым кодом», что является существенной проблемой для его интеграции в разрабатываемую сеть КМИО. По этой причине для полноценного использования данных ионозондов необходимо повторно разрабатывать специальные методы, алгоритмы и реализовывать их в виде специального ПО. Следует отметить, что подобная проблема (закрытости, отсутствия некоторой документации, сокрытия инженерных и научных решений) достаточно характерна для случаев использования импортных комплектующих в отечественных сложных информационных системах, особенно если они разработаны зарубежными оборонными предприятиями и содержат недокументированные возможности, недоступные отечественным пользователям.
Обеспечение центров данных
Центр данных является логическим центром сети КМИО и выполняет функции управления работой отдельных КМИО, сбора данных и предварительной обработки результатов (на местах), последующей обработки, анализа и архивирования данных. Кроме того, сотрудники центра данных решают задачи методологического уровня, относящиеся к разработке новых методов интерпретации данных, выявлению взаимосвязей процессов в ионосфере с другими природными и антропогенными факторами. Центр данных также осуществляет взаимодействие с внешним окружением (рис. 1).
Разработанный авторами комплекс систем управления базами данных (КСУБД) с применением реляционной модели построен с учетом следующих принципов: – соответствие таблиц базы данных реальным физическим объектам; – достаточное количество полей и индексов в таблицах базы данных для оперативного извлечения
информации; – устойчивость к программным и аппаратным сбоям и ошибкам; – быстродействие, достигаемое за счет оптимизации запросов, структуры таблиц и форматов хранимой
информации. В структуре базы данных выделены следующие кластеры (рис. 3):
– исходные данные; – обработка и анализ; – заключения, публикации, комментарии; – прогнозы.
Рассмотрим назначение каждого кластера в отдельности. Исходные данные. Кластер содержит в себе исходные данные, получаемые со СВЗИ, а также результаты первичной обработки, производимой «на местах». Обработка и анализ. Кластер содержит результаты обработки исходных данных при помощи ЭВМ, а также человеком.
64 Научно-технический вестник информационных технологий, механики и оптики,
2013, № 3 (85)
А.Ю. Гришенцев, А.Г. Коробейников
Заключения, публикации, комментарии. Кластер содержит систематизированные, возможно, обобщенные, результаты анализа, собственную базу знаний, отчетов, технической документации и других материалов, связанных с предметной областью.
Прогнозы. Кластер является результатом работы математических моделей (интегрированных с базами данных) и позволяет производить упорядоченное хранение данных прогнозов, оценку адекватности прогнозирования и протоколирование рекомендуемых корректировок для математических моделей.
Интерфейсы внешнего доступа к данным, методы обработки и анализа
Исходные данные
Обработка и анализ
Заключения, публикации, комментарии
Прогнозы
Рис. 3. Организационно-логическая модель базы данных
Рассмотренная организационно-логическая модель позволяет производить независимое хранение данных, являющихся результатами различных этапов исследовательской деятельности [1, 2, 10, 11], интегрировать математические методы обработки, анализа и прогнозирования непосредственно в систему. В свою очередь, такая интеграция и непрерывный мониторинг конкурирующих математических моделей с оценкой адекватности их расчетов позволяют вести непрерывную доработку и модернизацию. Еще одним положительным фактором интеграции документации в виде заключений, публикаций и комментариев является возможность использования базы знаний в качестве учебной для молодых специалистов или желающих пройти дополнительную подготовку. Применение кластерной структуры, основанной на объектной модели разработанного программного обеспечения, делает модель КСУБД легко модернизируемой.
Практическая реализации КСУБД осуществлена на основе реляционной СУБД MySQL. СУБД MySQL является кроссплатформенной и в рассматриваемой работе использовалась на базе операционной системы семейства Linux. MySQL имеет интерфейсы для транслируемых языков, таких как PHP, Perl, и для компилируемых в исполняемые модули С, С++. СУБД MySQL является хорошо зарекомендовавшим себя на индустриальном рынке информационных технологий продуктом, позволяет работать (в версиях
MySQL выше 3.22) с таблицами до 263 байт, поддерживает механизм транзакций и псевдотранзакций на основе блокировок, обеспечивает многопользовательскую работу.
Для дополнительной разгрузки СУБД, способствующей улучшению скоростных характеристик выполнения запросов и повышению надежности, предусмотрено уменьшение объемов таблиц MySQL путем разделения данных на табличные и файловые. К табличным данным отнесем настройки оборудования, время и особенности регистрации ионограммы, «компактные» результаты обработки и др. К файловым данным отнесем ионограммы, файлы изображений, некоторые виды документации, например, формата Portable Document Format (PDF) и др. Такой подход позволяет в несколько раз сократить размеры таблиц, следовательно, значительно снизить нагрузку на СУБД и ускорить ее работу.
В виде отдельного программного модуля и программных библиотек на языке C++ авторами разработан комплекс «SkySpectrum» [1, 11] позволяющий производить автоматизированную обработку, преобразование форматов данных и визуализацию ионограмм [12]. В ходе исследований и экспертного анализа программного комплекса на базе обработки данных ионосферной станции Воейково (СанктПетербург) за 2002–2003 г.г. выявлено, что разработанные методы автоматизированной фильтрации и анализа ионограмм позволяют определить значение критической частоты f0 с погрешностью до 16% в 68% случаев, 23% ионограмм были отсеяны на уровне фильтрации как не поддающиеся машинному анализу из-за высокого уровня шумов, в 9% СВЗИ критические частоты были определены с погрешностью более 16%. С учетом географического расположения СВЗИ и особенностей высокоширотной ионосферы данные результаты можно оценивать как положительные, что позволяет внедрять разработанные методы и программы в практические исследования. Следует отметить, что не существует отечественных программ, аналогичных разработанным авторами и предназначенных для автоматизированного анализа ионограмм, зарубежные разработчики подобных программ не раскрывают исходный код, что практически исключает встраивание зарубежного ПО в отечественные системы. В этом смысле разработанные авторами методы и алгоритмы представляют особую ценность для развития отечественных средств автоматизированного анализа данных СВЗИ.
Научно-технический вестник информационных технологий, механики и оптики, 2013, № 3 (85)
65
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ …
Заключение
Предложенная организационно-логическая модель комплекса систем управления базами данных позволяет производить построение центров данных (рис. 1) мониторинга окружающей среды с применением реализованных авторами программных средств автоматизированной обработки и анализа.
Авторами разработаны системы:
автоматизированной обработки данных вертикального зондирования ионосферы (применяется в СПбФ ИЗМИРАН);
автоматизированного сбора и хранения данных вертикального зондирования ионосферы (используется в ААНИИ). Разработаны предметно-ориентированные программные приложения и программные библиотеки,
две из которых зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам Российской Федерации [10, 11]. Авторами получен акт о внедрении компьютерной программы «SkySpectrum» от 03.07.2012 г. [11] в научно-исследовательскую практику СПбФ ИЗМИРАН.
Литература
1. Гришенцев А.Ю., Коробейников А.Г. Обратная задача радиочастотного зондирования ионосферы // Журнал радиоэлектроники. – 2010. – № 10 [Электронный ресурс]. – Режим доступа: http://jre.cplire.ru/jre/oct10/6/text.html, свободный. Яз. рус. (дата обращения 10.02.2013).
2. Гришенцев А.Ю., Коробейников А.Г. Разработка модели распределения плотности токов при возбуждении ионосферы высокочастотным облучением // Изв. вузов. Приборостроение. – 2010. – Т. 53. – № 12. – С. 41–47.
3. Гришенцев А.Ю., Коробейников А.Г. Разработка модели решения обратной задачи вертикального зондирования ионосферы // Научно-технический вестник СПбГУ ИТМО. – 2011. – № 2 (27). – С. 21–26.
4. Cмирнов В.М. Интерпретация ионосферных возмущений в период слабых землетрясений // Электронный журнал «Исследовано в России» [Электронный ресурс]. – Режим доступа: http://zhurnal.ape.relarn.ru/articles/2003/012.pdf, свободный. Яз. рус. (дата обращения 10.02.2013).
5. Липеровский В.А., Похотелов О.А., Шалимов С.Л. Ионосферные предвестники землетрясений. – М.: Наука, 1992. – 304 с.
6. Яковлев О.И., Якубов В.П., Урядов В.П., Павельев А.Г. Распространение радиоволн. – М.: ЛЕНАНД, 2009. – 496 с.
7. Яковлев О.И., Павельев А.Г., Матюгов С.С. Спутниковый мониторинг Земли: Радиозатменный мониторинг атмосферы и ионосферы. – М.: Либроком, 2010. – 208 с.
8. Ким Ю.В. Модернизация ионосферной станции «АИС». Отчет по теме № 690. ИЗМИРАН / Руководитель темы Ю.В. Ким. – Троицк, 2002. – 24 с.
9. Canadian advanced digital ionosonde. System manuals / Scientific instrumentation limited. 2233 Hanselman Avenue Saskatoon, SK S7L 67A, Canada, 2009. – 22 p.
10. Гришенцев А.Ю., Муромцев Д.И. Система управления данными наблюдений солнечно-земной физики «MI» // Регистрация программы для ЭВМ от 21.07.2011 г. – № 2011615714.
11. Гришенцев А.Ю., Коробейников А.Г. Программа обработки и анализа данных ионосферного спектрографа АИС-М «SkySpectrum» // Регистрация программы для ЭВМ от 28.09.2011 г. – № 2011617569.
12. Piggott W.R., Rawer K. URSI handbook of Ionogram Interpritation and Reduction. INAG (Ionospheric Network Advisory Group) WORLD DATA CENTER A. National Academy of Sciences, 2101 Constitution Avenue, N.W. Washington, D.C., U.S.A., 20418. – Second edition, november, 1972. – 145 p.
Гришенцев Алексей Юрьевич Коробейников Анатолий Григорьевич
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кандидат технических наук, доцент, tigerpost@ya.ru
– Санкт-Петербургский филиал Института земного магнетизма, ионосферы и распространения радиоволн им. Н.В.Пушкова РАН, доктор технических наук, профессор, зам. генерального директора; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, профессор; Korobeynikov_A_G@mail.ru
66 Научно-технический вестник информационных технологий, механики и оптики,
2013, № 3 (85)
УДК 004.045; 004.428; 004.942
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ СТАНЦИЙ ВЕРТИКАЛЬНОГО ЗОНДИРОВАНИЯ ИОНОСФЕРЫ
А.Ю. Гришенцев, А.Г. Коробейников
Проведен анализ структуры сети станций вертикального зондирования ионосферы. Рассмотрены особенности разработки и принцип построения комплексов программ автоматизированной обработки, анализа и хранения данных зондирования ионосферы. Построена концептуальная модель комплексной системы управления базами данных. В практику исследования ионосферы внедрено соответствующее программное обеспечение. Показаны результаты применения предложенных авторами алгоритмов и программ автоматизированной обработки и анализа данных вертикального зондирования ионосферы. Ключевые слова: проектирование, разработка, программное обеспечение, исследования, вертикальное зондирование ионосферы.
Введение
Ионосфера – это часть верхней атмосферы, где плотность свободных электронов достаточна, чтобы оказывать значительное влияние на распространение радиоволн. Отсюда следует, что исследование структуры ионосферы важно как для понимания физики протекающих в ней процессов, так и для решения разнообразных радиофизических задач, связанных с распространением радиоволн. Для практических нужд человечества изучение ионосферы связано, например, с эффективностью функционирования спутниковых систем радиосвязи и координатно-временного обеспечения, с разработкой радаров с синтезированной апертурой, использующих все более низкие частоты радиоволн и способных осуществлять глубинное зондирование земных грунтов.
Анализ состояния ионосферы производят различными методами, одним из которых является вертикальное зондирование ионосферы. Этот метод реализуется на станциях вертикального зондирования ионосферы (СВЗИ).
Научно-технический вестник информационных технологий, механики и оптики, 2013, № 3 (85)
61
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ …
В настоящее время происходит модернизация сети станций СВЗИ, находящихся на балансе Института земного магнетизма, ионосферы и распространения радиоволн им. Н.В. Пушкова РАН (ИЗМИРАН, Россия), Государственного научного центра «Арктический и антарктический научноисследовательский институт» (ААНИИ, Россия). На этих сетях СВЗИ производятся достаточно длительные приборные наблюдения ионосферы, позволяющие делать выводы об идущих в ионосфере динамических процессах. В настоящее время на территории Российской Федерации функционируют не менее 20 СВЗИ (в СССР было 40), образующие сеть и постоянно передающие данные в один из мировых центров данных (МЦД). Для более глубокого понимания происходящих в ионосфере процессов необходимо использование архивных данных, собранных СВЗИ. Это позволит, например, проводить синтез и анализ математических (в том числе статистических) моделей явлений в ионосфере и показывать их связи с другими процессами природного и антропогенного происхождения [1–7]. Актуальность таких исследований, включающих непрерывный мониторинг, моделирование, сбор, обработку, анализ и хранение данных, была показана в ряде работ [1–3].
Современные методы радиозондирования ионосферы можно разделить на три класса: вертикальное зондирование, наклонное зондирование, спутниковое радиопросвечивание. При этом вертикальное зондирование ионосферы (ВЗИ) является исторически наиболее применяемым приборным методом исследования, а данные ВЗИ на сегодняшний день накоплены за наиболее длительный период.
С появлением современных вычислительных и коммуникационных средств и технологий возникла необходимость концептуальной модернизации сети СВЗИ, включающей: разработку программного обеспечения (ПО) и баз данных; разработку аппаратного обеспечения; разработку средств коммуникаций и инфраструктуры; разработку и исследование математических моделей; внедрение принципов интероперабельности; разработку методов и средств защиты информации; развертывание, тестирование и настройку оборудования и ПО; системный анализ проектных решений в целом.
В настоящей работе проведен анализ структуры сети СВЗИ и рассмотрены вопросы разработки ПО и баз данных применительно к проектированию и технологической подготовке сети СВЗИ.
Постановка задачи
Для полноценного использования современных аппаратных средств, реализации методов передачи, обработки, анализа и хранения данных требуется разработка специального ПО. В большинстве случаев потребность разработки ПО связана с поступлением нового импортного технологического оборудования и с включением России в международную сеть ионосферных наблюдений. Последнее обусловлено постоянно изменяющимся требованиями международного координационного центра. Таким образом, разработка специального ПО, позволяющего проводить автоматизированную обработку, анализ и хранение данных отечественной сети СВЗИ, является актуальной.
Сеть станций вертикального зондирования
Рассматриваемые в данной работе СВЗИ расположены в высокоширотной области, что определяет особенности регистрируемых данных, а следовательно, и методов их обработки и анализа. Кроме того, практически все СВЗИ оборудованы дополнительными средствами мониторинга, позволяющими проводить покомпонентные наблюдения за магнитным полем Земли в географической точке расположения СВЗИ. В связи с этим такие станции наблюдения часто называют комплексными магнито-ионосферными обсерваториями (КМИО).
Ценность приборных наблюдений заключается в их непрерывности, что позволяет отслеживать динамику процессов в ионосфере, наблюдать скорость развития, длительность и периодичность возмущений. Практика показала, что периодичность зондирования должна составлять не более нескольких минут. Результатом получения серии зондирующих импульсов является получение так называемой ионограммы. Обычный объем файла одной ионограммы измеряется десятками килобайт. Таким образом, в сети КМИО за месяц накапливаются существенные объемы информации, которые требуют обработки, анализа, систематизации, передачи и хранения. Хранение и обработка полученных результатов решаются как непосредственно на КМИО, так и в центре сбора данных (центр данных).
Операции, производимые на КМИО: развертывание, настройка и эксплуатационное обслуживание зондов и сопутствующего оборудования; регистрация ионограмм; предварительная обработка; сопровождение архива; организация взаимодействия с центром данных.
62 Научно-технический вестник информационных технологий, механики и оптики,
2013, № 3 (85)
А.Ю. Гришенцев, А.Г. Коробейников
Операции, производимые в центре данных:
централизованная разработка методологии исследований, включающая концептуальные технические решения, разработку новых и модернизацию имеющихся аппаратно-программных средств, методов обработки, анализа и хранения данных;
развертывание, настройка и эксплуатационное обслуживание вычислительных ресурсов и сопутствующего оборудования;
организация информационного взаимодействия с отдельными КМИО;
организация и выполнение централизованной систематической обработки и анализа данных;
организация взаимодействия с другими исследовательскими центрами, в том числе МЦД. На рис. 1 приведена организационная структура сети КМИО.
КМИО
КМИО
КМИО
… КМИО
Центр данных
Партнерские центры данных
Раскрытие информации (открытые сети)
Рис. 1. Организационная структура сети КМИО
Спецификой построения сети КМИО, удовлетворяющей современным требованиям к центрам данным, является выполнение операций доставки данных в режиме реального времени и интероперабельность, в основе которых лежит унификация форматов данных и протоколов обмена. Доступность сети Интернет на КМИО позволяет применить сетевые протоколы обмена в качестве основного средства коммуникации. Ионограммы предоставляются в двух форматах – графическом (PNG) и бинарном. Бинарный формат имеет меньший объем и предпочтительнее для передачи, хранения и обработки. Кроме того, бинарные файлы содержат некоторую служебную информацию, которая утрачивается при преобразовании в графический формат.
СВЗИ оборудованы приемо-передающими анализаторами спектра отраженных от ионосферы сигналов (зондами) отечественного производства АИС-М, СП-3-М, БАЗИС-М и CADI канадского производства. Индекс «М» в обозначении отечественного анализатора означает, что он имеет цифровой интерфейс, позволяющий производить настройку режимов зонда, а также автоматически получать и сохранять данные в электронном виде в ЭВМ [8].
Протоколы и форматы данных
В последнее время на отечественных СВЗИ значительное распространение получили ионозонды Canadian Advenced Digital Ionosonde (CADI) производства Scientific Instrumentation Limited (SIL, Канада) (рис. 2). Такие зонды используют достаточно хорошо документированный класс форматов ионограмм:
md1: диапазон высот до 510 км, одна или более фиксированная частота; md2: диапазон высот до 510 км, базовый набор частот; md3: то же, что md1, но диапазон высот до 1020 км; md4: то же, что md2, но диапазон высот до 1020 км. В таблице приведены некоторые сравнительные характеристики зонда АИС-М (анализатор ионосферного спектра модифицированный) и CADI [9].
Характеристика
АИС-М
CADI (2009)
Год производства Диапазон частот (от), МГц Мощность передатчика, кВт Диапазон высот, км Максимальная частота повторения импульсов, Гц Максимальная длительность импульсов, мкс
1957 (модификация 2002 г.) 1–20 2,5
90–1500 40 70
2009 1–30 0,6 90–1020 256
40
Таблица. Некоторые характеристики ионосферных зондов АИС-М и CADI
Научно-технический вестник информационных технологий, механики и оптики, 2013, № 3 (85)
63
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ …
аб
в
Рис. 2. Системный модульный блок ионозонда CADI(а), внешняя антенна(б), дневная ионограмма, город Троицк (55,5° с.ш., 37,5° в.д.) в спокойных геофизических условиях (в). По горизонтали – частота в МГц
На сегодняшний день часть СВЗИ оборудована зондами отечественного производства АИС-М (или подобными). Учитывая длительный, многолетний период наблюдения с использованием теперь уже частично устаревших отечественных анализаторов, даже при их повсеместной замене на более новые, сохранение полученных данных в существенно варьирующихся современных форматах является актуальной задачей.
Дорогостоящее ПО, дополнительно предоставляемое с оборудованием CADI, содержит модули управления зондами и обработки ионограмм. Однако поставщики импортного оборудования предоставляют его с «закрытым кодом», что является существенной проблемой для его интеграции в разрабатываемую сеть КМИО. По этой причине для полноценного использования данных ионозондов необходимо повторно разрабатывать специальные методы, алгоритмы и реализовывать их в виде специального ПО. Следует отметить, что подобная проблема (закрытости, отсутствия некоторой документации, сокрытия инженерных и научных решений) достаточно характерна для случаев использования импортных комплектующих в отечественных сложных информационных системах, особенно если они разработаны зарубежными оборонными предприятиями и содержат недокументированные возможности, недоступные отечественным пользователям.
Обеспечение центров данных
Центр данных является логическим центром сети КМИО и выполняет функции управления работой отдельных КМИО, сбора данных и предварительной обработки результатов (на местах), последующей обработки, анализа и архивирования данных. Кроме того, сотрудники центра данных решают задачи методологического уровня, относящиеся к разработке новых методов интерпретации данных, выявлению взаимосвязей процессов в ионосфере с другими природными и антропогенными факторами. Центр данных также осуществляет взаимодействие с внешним окружением (рис. 1).
Разработанный авторами комплекс систем управления базами данных (КСУБД) с применением реляционной модели построен с учетом следующих принципов: – соответствие таблиц базы данных реальным физическим объектам; – достаточное количество полей и индексов в таблицах базы данных для оперативного извлечения
информации; – устойчивость к программным и аппаратным сбоям и ошибкам; – быстродействие, достигаемое за счет оптимизации запросов, структуры таблиц и форматов хранимой
информации. В структуре базы данных выделены следующие кластеры (рис. 3):
– исходные данные; – обработка и анализ; – заключения, публикации, комментарии; – прогнозы.
Рассмотрим назначение каждого кластера в отдельности. Исходные данные. Кластер содержит в себе исходные данные, получаемые со СВЗИ, а также результаты первичной обработки, производимой «на местах». Обработка и анализ. Кластер содержит результаты обработки исходных данных при помощи ЭВМ, а также человеком.
64 Научно-технический вестник информационных технологий, механики и оптики,
2013, № 3 (85)
А.Ю. Гришенцев, А.Г. Коробейников
Заключения, публикации, комментарии. Кластер содержит систематизированные, возможно, обобщенные, результаты анализа, собственную базу знаний, отчетов, технической документации и других материалов, связанных с предметной областью.
Прогнозы. Кластер является результатом работы математических моделей (интегрированных с базами данных) и позволяет производить упорядоченное хранение данных прогнозов, оценку адекватности прогнозирования и протоколирование рекомендуемых корректировок для математических моделей.
Интерфейсы внешнего доступа к данным, методы обработки и анализа
Исходные данные
Обработка и анализ
Заключения, публикации, комментарии
Прогнозы
Рис. 3. Организационно-логическая модель базы данных
Рассмотренная организационно-логическая модель позволяет производить независимое хранение данных, являющихся результатами различных этапов исследовательской деятельности [1, 2, 10, 11], интегрировать математические методы обработки, анализа и прогнозирования непосредственно в систему. В свою очередь, такая интеграция и непрерывный мониторинг конкурирующих математических моделей с оценкой адекватности их расчетов позволяют вести непрерывную доработку и модернизацию. Еще одним положительным фактором интеграции документации в виде заключений, публикаций и комментариев является возможность использования базы знаний в качестве учебной для молодых специалистов или желающих пройти дополнительную подготовку. Применение кластерной структуры, основанной на объектной модели разработанного программного обеспечения, делает модель КСУБД легко модернизируемой.
Практическая реализации КСУБД осуществлена на основе реляционной СУБД MySQL. СУБД MySQL является кроссплатформенной и в рассматриваемой работе использовалась на базе операционной системы семейства Linux. MySQL имеет интерфейсы для транслируемых языков, таких как PHP, Perl, и для компилируемых в исполняемые модули С, С++. СУБД MySQL является хорошо зарекомендовавшим себя на индустриальном рынке информационных технологий продуктом, позволяет работать (в версиях
MySQL выше 3.22) с таблицами до 263 байт, поддерживает механизм транзакций и псевдотранзакций на основе блокировок, обеспечивает многопользовательскую работу.
Для дополнительной разгрузки СУБД, способствующей улучшению скоростных характеристик выполнения запросов и повышению надежности, предусмотрено уменьшение объемов таблиц MySQL путем разделения данных на табличные и файловые. К табличным данным отнесем настройки оборудования, время и особенности регистрации ионограммы, «компактные» результаты обработки и др. К файловым данным отнесем ионограммы, файлы изображений, некоторые виды документации, например, формата Portable Document Format (PDF) и др. Такой подход позволяет в несколько раз сократить размеры таблиц, следовательно, значительно снизить нагрузку на СУБД и ускорить ее работу.
В виде отдельного программного модуля и программных библиотек на языке C++ авторами разработан комплекс «SkySpectrum» [1, 11] позволяющий производить автоматизированную обработку, преобразование форматов данных и визуализацию ионограмм [12]. В ходе исследований и экспертного анализа программного комплекса на базе обработки данных ионосферной станции Воейково (СанктПетербург) за 2002–2003 г.г. выявлено, что разработанные методы автоматизированной фильтрации и анализа ионограмм позволяют определить значение критической частоты f0 с погрешностью до 16% в 68% случаев, 23% ионограмм были отсеяны на уровне фильтрации как не поддающиеся машинному анализу из-за высокого уровня шумов, в 9% СВЗИ критические частоты были определены с погрешностью более 16%. С учетом географического расположения СВЗИ и особенностей высокоширотной ионосферы данные результаты можно оценивать как положительные, что позволяет внедрять разработанные методы и программы в практические исследования. Следует отметить, что не существует отечественных программ, аналогичных разработанным авторами и предназначенных для автоматизированного анализа ионограмм, зарубежные разработчики подобных программ не раскрывают исходный код, что практически исключает встраивание зарубежного ПО в отечественные системы. В этом смысле разработанные авторами методы и алгоритмы представляют особую ценность для развития отечественных средств автоматизированного анализа данных СВЗИ.
Научно-технический вестник информационных технологий, механики и оптики, 2013, № 3 (85)
65
ПРОЕКТИРОВАНИЕ И ТЕХНОЛОГИЧЕСКАЯ ПОДГОТОВКА СЕТЕЙ …
Заключение
Предложенная организационно-логическая модель комплекса систем управления базами данных позволяет производить построение центров данных (рис. 1) мониторинга окружающей среды с применением реализованных авторами программных средств автоматизированной обработки и анализа.
Авторами разработаны системы:
автоматизированной обработки данных вертикального зондирования ионосферы (применяется в СПбФ ИЗМИРАН);
автоматизированного сбора и хранения данных вертикального зондирования ионосферы (используется в ААНИИ). Разработаны предметно-ориентированные программные приложения и программные библиотеки,
две из которых зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам Российской Федерации [10, 11]. Авторами получен акт о внедрении компьютерной программы «SkySpectrum» от 03.07.2012 г. [11] в научно-исследовательскую практику СПбФ ИЗМИРАН.
Литература
1. Гришенцев А.Ю., Коробейников А.Г. Обратная задача радиочастотного зондирования ионосферы // Журнал радиоэлектроники. – 2010. – № 10 [Электронный ресурс]. – Режим доступа: http://jre.cplire.ru/jre/oct10/6/text.html, свободный. Яз. рус. (дата обращения 10.02.2013).
2. Гришенцев А.Ю., Коробейников А.Г. Разработка модели распределения плотности токов при возбуждении ионосферы высокочастотным облучением // Изв. вузов. Приборостроение. – 2010. – Т. 53. – № 12. – С. 41–47.
3. Гришенцев А.Ю., Коробейников А.Г. Разработка модели решения обратной задачи вертикального зондирования ионосферы // Научно-технический вестник СПбГУ ИТМО. – 2011. – № 2 (27). – С. 21–26.
4. Cмирнов В.М. Интерпретация ионосферных возмущений в период слабых землетрясений // Электронный журнал «Исследовано в России» [Электронный ресурс]. – Режим доступа: http://zhurnal.ape.relarn.ru/articles/2003/012.pdf, свободный. Яз. рус. (дата обращения 10.02.2013).
5. Липеровский В.А., Похотелов О.А., Шалимов С.Л. Ионосферные предвестники землетрясений. – М.: Наука, 1992. – 304 с.
6. Яковлев О.И., Якубов В.П., Урядов В.П., Павельев А.Г. Распространение радиоволн. – М.: ЛЕНАНД, 2009. – 496 с.
7. Яковлев О.И., Павельев А.Г., Матюгов С.С. Спутниковый мониторинг Земли: Радиозатменный мониторинг атмосферы и ионосферы. – М.: Либроком, 2010. – 208 с.
8. Ким Ю.В. Модернизация ионосферной станции «АИС». Отчет по теме № 690. ИЗМИРАН / Руководитель темы Ю.В. Ким. – Троицк, 2002. – 24 с.
9. Canadian advanced digital ionosonde. System manuals / Scientific instrumentation limited. 2233 Hanselman Avenue Saskatoon, SK S7L 67A, Canada, 2009. – 22 p.
10. Гришенцев А.Ю., Муромцев Д.И. Система управления данными наблюдений солнечно-земной физики «MI» // Регистрация программы для ЭВМ от 21.07.2011 г. – № 2011615714.
11. Гришенцев А.Ю., Коробейников А.Г. Программа обработки и анализа данных ионосферного спектрографа АИС-М «SkySpectrum» // Регистрация программы для ЭВМ от 28.09.2011 г. – № 2011617569.
12. Piggott W.R., Rawer K. URSI handbook of Ionogram Interpritation and Reduction. INAG (Ionospheric Network Advisory Group) WORLD DATA CENTER A. National Academy of Sciences, 2101 Constitution Avenue, N.W. Washington, D.C., U.S.A., 20418. – Second edition, november, 1972. – 145 p.
Гришенцев Алексей Юрьевич Коробейников Анатолий Григорьевич
– Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, кандидат технических наук, доцент, tigerpost@ya.ru
– Санкт-Петербургский филиал Института земного магнетизма, ионосферы и распространения радиоволн им. Н.В.Пушкова РАН, доктор технических наук, профессор, зам. генерального директора; Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, профессор; Korobeynikov_A_G@mail.ru
66 Научно-технический вестник информационных технологий, механики и оптики,
2013, № 3 (85)