Введение
Постановка задачи
Обзор литературы
Глава 1. Технология консолидации данных
1.1. Понятие консолидации
1.2. Основные задачи консолидации и источники данных 16
1.3. Обобщенная схема процесса консолидации 17
1.4. Понятие ETL-процесса 18
1.5. Основные цели и задачи процесса ETL 18
1.6. Извлечение данных в ETL 20
1.7. Преобразование данных в ETL 21
1.8. Загрузка данных в базу данных 22
Глава 2. Нестационарная модель конвективного облака 24
2.1. Классификация моделей конвективных облаков 25
2.2. Описание полуторамерной нестационарной модели конвективного
облака 27
Глава 3. Проектирование реляционных баз данных 29
3.1. Основы реляционной базы данных 29
3.2. Этапы проектирования реляционной базы данных 31
3.3. Организация реляционной базы данных 32
для специализированной метеорологической информации 32
Глава 4. Проектирование многомерных баз данных 36
4.1. Понятие многомерной базы данных 38
4.2. Основы многомерного представления данных 39
4.3. Структура многомерного куба 40
4.4. Основные операции над измерениями гиперкуба 41
4.5. Архитектура OLAP-систем 43
4.6. Технические аспекты многомерного хранения данных 46
4.7. Загрузка данных в хранилище данных 47
4.8. Организация многомерной базы данных для специализированной
метеорологической информации 48
Глава 5. Описание алгоритма работы системы 52
5.1. Выбор источников данных 52
5.2. Извлечение данных из гетерогенных источников 58
5.3. Преобразование и очистка данных 60
5.4. Загрузка данных из гетерогенных источников в БД 64
5.5. Моделирование интегральных и спектральных характеристик
конвективного облака 65
5.6. Загрузка данных в хранилище данных 68
5.7. Анализ многомерного куба данных с целью определения диапазонов
параметров для конвективного явления 71
Глава 6. Тестирование и демонстрация разработанной комплексной информационной системы 73
6.1. Тестирование разработанной системы 73
6.2. Демонстрация разработанной системы 74
Выводы 82
Заключение 85
Список использованных источников
В настоящее время как никогда актуальна проблема прогнозирования опасных конвективных явлений, таких как грозы, град, шквал и обильные осадки в связи с увеличением частоты этих явлений и масштабов разрушений, которые они производят. Информация о наступлении таких явлений нужна в первую очередь аэропортам, авиакомпаниям и службам МЧС.
Для прогнозирования и изучения конвективных явлений используются специально разработанные математические модели. Однако, проверка работоспособности и «настройка» таких моделей очень сложна из-за отсутствия в свободном доступе интегрированных данных о месте и времени наблюдаемых явлений в сочетании с метеорологическими данными, используемых в качестве начальных и граничных условий в этих моделях.
В настоящее время Всемирная метеорологическая организация поддерживает проведение натурных исследований, направленных на получение полной метеорологической информации, которая позволяет осуществлять сравнение результатов моделирования с данными наблюдений за реальными облаками и связанными с ними опасными явлениями погоды. При этом получение таких данных осуществляется в ходе проведения комплексных полевых экспериментов с использованием дорогостоящих приборов, радиолокаторов разных видов, самолетов и планеров. Соответственно, такие эксперименты являются крайне затратными и проводятся очень редко.
Однако, для получения статистически достоверных данных о пригодности модели для прогнозирования, необходимо проводить большие серии численных экспериментов. Для этого необходима программная среда, где такие эксперименты можно было бы проводить в автоматическом режиме с использованием интуитивно понятного интерфейса. Важными компонентами этой среды должны стать реляционная база данных, которая 4
будет хранить консолидированные исходные данные и многомерная база данных, позволяющая анализировать результаты расчетов по модели.
Разработкой специализированных систем, предназначенных для сбора и обработки метеорологической информации, занимаются многие фирмы и научные институты. Например, Raytheon Company разработала систему ITWS (Integrated Terminal Weather System) [58], которая обеспечивает автоматизированный сбор метеорологической информации, предназначенной для использования авиадиспетчерами и руководителями полетов в районе аэродрома. ITWS предоставляет как оперативные данные, так и высокоточные прогнозы ожидаемых погодных условий. ITWS собирает информацию практически из всех доступных источников, включая различные датчики, радиолокаторы и прогностические модели.
ООО «Перспективные методы мониторинга» (Advanced Monitoring Methods) [55], используют SQL (Structured Query Language -язык структурированных запросов) для сбора метеорологических данных, их проверки, построения графиков, формирования оповещений и отчетов. Структура базы данных позволяет проводить сравнение и интеграцию данных из различных источников.
Институт радарной метеорологии (IRAM) [57] предоставляет специализированные системы для авиационных метеорологов, осуществляет сбор данных от метеорологических спутников, мировых центров прогнозирования погоды, сетей метеорологических станций и аэродромов.
Метеорологическая система усвоения данных (MADIS) [62] разработана в Национальном управлении океанических и атмосферных исследований (NOAA) и предназначена для сбора, интеграции, контроля качества и распространения данных метеонаблюдений. Данные MADIS можно получить через Интернет, используя специальное программное обеспечение Unidata's Local Data Manager (LDM). Пользователи могут оформить подписку на всю базу данных или запросить только отдельные наборы, которые представляют для них интерес.
Большая часть описанных выше систем предоставляет данные на коммерческой основе (ITWS, DAS, IRAM) и, следовательно, они не всегда могут быть доступны для научно-исследовательских организаций. Кроме того, данные хранятся в большинстве случаев как статические архивы на компьютерных дисках и других внешних носителях, что затрудняет выборку необходимой информации. И что самое главное, имеющиеся метеорологические данные не могут быть непосредственно использованы для верификации моделей конвективных облаков в связи с отсутствием локализованной комплексной информации о виде опасного конвективного явления, месте и времени его наблюдения и о сопровождавших явление атмосферных условиях. Таким образам, имеется возможность извлечь данные о состоянии атмосферы в определенном месте и в определенный день, но невозможно получить информацию из той же базы данных или архива о наличии или отсутствии в данном месте и в данное время какого-либо опасного явления. Для этого необходимо искать другой источник информации.
Кроме верификации модели ее необходимо настроить на определение типа конвективного явления, поскольку многие модели не имеют, например, «электрического» блока, позволяющего однозначно прогнозировать грозовые явления. Мы предлагаем такую настройку проводить с помощью многомерного анализа.
В настоящее время многомерный анализ широко используется в интересах бизнеса для повышения качества принятия решений, быстрого построения всевозможных отчетов по продажам различных товаров в различных торговых точках, а также для решения некоторых прикладных проблем [5, 49]. Мы пытаемся применить преимущества многомерного подхода для анализа специализированной метеорологической информации.
Разработанный нами программный продукт позволит: во-первых, проанализировать источники метеорологической информации и выяснить, в каком виде она хранится, во-вторых, - спроектировать специализированную базу для хранения интегрированных метеорологических данных, в-третьих, - разработать программную среду, предоставляющую интерфейс для доступа к базе интегрированных данных и позволяющую осуществлять численные эксперименты с помощью модели, а также хранить результаты расчетов и впоследствии иметь возможность их анализировать с помощью многомерной базы данных [4].
Система, рассмотренная в выпускной квалификационной работе уникальна по нескольким причинам. Во-первых, она может быть предоставлена на бесплатной основе, что делает ее доступной всем, желающим начать исследования в направлении конвективных облаков. Во- вторых, она может быть подстроена под любые первоначальные источники получения метеорологической информации. И, наконец, в-третьих, благодаря тому, что система построена на принципе OLAP-кубов ее оперативность позволяет обрабатывать большой объем данных за короткие сроки.
Для решения поставленной задачи была выбрана интеграция данных по методу консолидации. Для извлечения, преобразования и загрузки данных применялся язык серверного программирования PHP. Быстрое извлечение необходимых данных было достигнуто использованием техники многопоточности, поддерживающейся функциями библиотеки libcurl.
Для хранения данных, используя среду Oracle MySQL Workbench, была разработана реляционная база данных. Она состоит из 9 отношений, в которых располагается вся интересующая нас специализированная метеорологическая информация. Манипуляции с данными осуществляются с помощью языка запросов SQL.
Для оперативного анализа специализированной метеорологической информации, используя продукт Jedox Palo BI Suite, было разработано многомерное хранилище данных, представленное в виде куба данных, содержащего информацию о параметрах конвективного облака, полученных с помощью серии численных экспериментов. Манипуляции над данными осуществляются с помощью языка запросов MDX.
Воспользоваться информацией из баз данных пользователь может с помощью разработанного нами Web-приложения. Оно реализовано в среде PhpStorm с помощью следующего инструментария: PHP, JavaScript, CSS, HTML. Приложение имеет интуитивно понятный интерфейс и состоит из шести разделов, основными из которых являются: «Экстракция данных», «База данных», «Многомерный анализ» и «Верификация».
Итак, основная задача была решена следующим образом. Был разработан прототип программного продукта, выполненный в виде Web- приложения
Используя разработанный прототип из гетерогенных источников были интегрированы данные, которые послужили входными начальными и граничными условиями для нестационарной полуторамерной модели конвективного облака. В результате верификации она повела себя корректно, что дает основания полагать, что модель адекватна, а это, в свою очередь, значит, что результаты экспериментов с моделью позволяют получить статистически обоснованные данные об эффективности использования облачной модели для прогнозирования опасных конвективных явлений.
Результаты работы были обобщены в докладах «Use of consolidation technology for meteorological data processing», «Integrated Information System for Verification of the Models of Convective Clouds», «Using Technologies of OLAP and Machine Learning for Validation of the Numerical Models of Convective Clouds», которые были после «слепого» рецензирования приняты к представлению на международных конференциях по компьютерным наукам и приложениям (ICCSA’14, ICCSA’15, ICCSA’16). Доклады в виде статей опубликованы в журнале Lecture Notes in Computer Science (издательство Springer). Статья «Комплексная информационная система, предназначенная для формирования входных данных моделей конвективных облаков» (после «слепого» рецензирования) была опубликована в журнале «Вестник Санкт- Петербургского университета» Серия 10, 2015.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
