Сейсмологическая статистическая аналитическая система на основе алгоритмов машинного обучения
|
АННОТАЦИЯ 2
ВВЕДЕНИЕ 8
ГЛОССАРИЙ 8
ГЛАВА 1 СЕЙСМОЛОГИЧЕСКИЕ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЕ
СИСТЕМЫ 9
1.1 Анализ информационных сейсмологических аналитических систем 9
1.2.1 Хранилища данных 17
1.2.2 OLAP-средства 17
1.2.3 Информационно-аналитические системы 18
1.2.4 Средства интеллектуальной добычи данных 18
1.2.5 Инструменты конечного пользователя 19
1.3 Классификация задач и обзор научных работ, посвящённых анализу данных
в сфере сейсмологии 21
1.4 Описание задачи 22
Выводы по главе 1 23
ГЛАВА 2 МЕТОДЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДЛЯ РЕШЕНИЯ ЗАДАЧ В ОБЛАСТИ СЕЙСМОЛОГИИ 25
2.1 Обзор существующих методов интеллектуального анализа данных 25
2.2 Примеры использования механизмов машинного обучения в сейсмологии.... 27
2.2.1 Предсказание землетрясений (пример 1) 27
2.2.2 Предсказание землетрясений (пример 2) 28
2.2.3 Предсказание землетрясений (пример 3) 31
2.2.4 Масштаб применения Data Mining в сейсмологии (пример 4) 32
Выводы по главе 2 34
ГЛАВА 3 РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО
ОБЕСПЕЧЕНИЯ СИСТЕМЫ АНАЛИЗА ДАННЫХ 32
3.1 Разработка программного обеспечения системы анализа данных 32
3.2 Разработка математического обеспечения системы анализа данных 338
3.2.1 Описание исходных данных 40
3.2.2 Подготовка данных к анализу 39
3.2.3 Оценка математического обеспечения механизма прогнозирования. Ошибка!
Закладка не определена.
3.2.4 Выбор определяющих признаков и определение математического
обеспечения механизма прогнозирования 44
Выводы по главе 3 50
ГЛАВА 4 КОММЕРЦИАЛИЗАЦИЯ ПРОЕКТА 46
4.1 Актуальность коммерциализации 46
4.2 Дорожная карта коммерциализации проекта 46
4.3 Цели и задачи 51
Выводы по главе 4 53
ЗАКЛЮЧЕНИЕ 56
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 58
ВВЕДЕНИЕ 8
ГЛОССАРИЙ 8
ГЛАВА 1 СЕЙСМОЛОГИЧЕСКИЕ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЕ
СИСТЕМЫ 9
1.1 Анализ информационных сейсмологических аналитических систем 9
1.2.1 Хранилища данных 17
1.2.2 OLAP-средства 17
1.2.3 Информационно-аналитические системы 18
1.2.4 Средства интеллектуальной добычи данных 18
1.2.5 Инструменты конечного пользователя 19
1.3 Классификация задач и обзор научных работ, посвящённых анализу данных
в сфере сейсмологии 21
1.4 Описание задачи 22
Выводы по главе 1 23
ГЛАВА 2 МЕТОДЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ДЛЯ РЕШЕНИЯ ЗАДАЧ В ОБЛАСТИ СЕЙСМОЛОГИИ 25
2.1 Обзор существующих методов интеллектуального анализа данных 25
2.2 Примеры использования механизмов машинного обучения в сейсмологии.... 27
2.2.1 Предсказание землетрясений (пример 1) 27
2.2.2 Предсказание землетрясений (пример 2) 28
2.2.3 Предсказание землетрясений (пример 3) 31
2.2.4 Масштаб применения Data Mining в сейсмологии (пример 4) 32
Выводы по главе 2 34
ГЛАВА 3 РАЗРАБОТКА МАТЕМАТИЧЕСКОГО И ПРОГРАММНОГО
ОБЕСПЕЧЕНИЯ СИСТЕМЫ АНАЛИЗА ДАННЫХ 32
3.1 Разработка программного обеспечения системы анализа данных 32
3.2 Разработка математического обеспечения системы анализа данных 338
3.2.1 Описание исходных данных 40
3.2.2 Подготовка данных к анализу 39
3.2.3 Оценка математического обеспечения механизма прогнозирования. Ошибка!
Закладка не определена.
3.2.4 Выбор определяющих признаков и определение математического
обеспечения механизма прогнозирования 44
Выводы по главе 3 50
ГЛАВА 4 КОММЕРЦИАЛИЗАЦИЯ ПРОЕКТА 46
4.1 Актуальность коммерциализации 46
4.2 Дорожная карта коммерциализации проекта 46
4.3 Цели и задачи 51
Выводы по главе 4 53
ЗАКЛЮЧЕНИЕ 56
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 58
Сейсмологические события на протяжении всего времени существования человечества приносили людям ущерб. В последние десятилетия ситуация дополнительно обостряется промышленным освоением сейсмоактивных районов и разработкой месторождений глубоко залегающих полезных ископаемых, добыча которых часто сопровождается мощными проявлениями горного давления, необходимостью оценки текущего состояния массива горных пород, вмещающего инженерные сооружения. Таким образом, в настоящее время для принятия решений, направленных на обеспечение безопасности населения, снижение ущерба и проведение превентивных мероприятий, требуется осуществлять прогноз как естественной природной, так и техногенной сейсмичности. Исходной информацией для прогноза, как правило, являются сейсмические каталоги, содержащие сведения о слабых событиях (их месте, времени и силе), предваряющих сильные.
Основные подходы к решению проблемы прогноза сейсмических событий появились только в XX веке. При этом в задачи прогноза входят определение силы ожидаемого сейсмического события, места и времени его возникновения.
Наибольшие успехи в настоящее время достигнуты в области долгосрочного прогнозирования (оценке долгосрочного сейсмического режима), когда оценивается средняя опасность возникновения сильных событий за длительные промежуток времени в протяженных пространственных областях. Они связаны с именами В.И. Бунэ, М.В. Гзовского, А.А. Гусева, Б. Гутенберга, В.И. Кейлис-Борока, СВ. Медведева, И.Л. Нерсесова, Ю.В. Ризниченко, Ч.Ф. Рихтера, М.А. Садовского, В.И. Уломова, С.А. Федотова и многих других исследователей. В настоящее время имеются достижения в развитии подходов к среднесрочному прогнозу, когда достаточно определенно говорится о наиболее опасных пространственных областях и указывается относительно продолжительный период, когда следует ожидать возникновение сильных события. Особый вклад в это направление внесли А.Д. Завьялов, B.C. Куксенко, В.А. Мансуров, Г.А. Соболев, Т.Л. Челидзе и другие. Для землетрясений проблема краткосрочного прогноза до сих пор не может считаться решенной, однако в последние десятилетия активно развивается направление краткосрочного прогнозирования горных ударов.
Все это свидетельствует об актуальности проведения исследований по дальнейшему развитию подходов, методов и алгоритмов прогноза сильных сейсмических событий.
Объектом исследования является сейсмологическая аналитическая система. Предметом исследования - методы интеллектуального анализа данных для решения задач в области сейсмологии.
Целью работы является разработка проекта реализации программного и математического обеспечения сейсмологической аналитической системы.
Задачи магистерской работы:
1) анализ информационных сейсмологических систем;
2) классификация задач и обзор научных работ, посвящённых анализу данных в сфере сейсмологии;
3) постановка задачи для проведения исследования и разработки математического и программного обеспечений;
4) обзор существующих методов интеллектуального анализа данных;
5) анализ научных работ по использованию механизмов машинного обучения в сейсмологии и описание примеров использования механизмов;
6) разработка математического и программного обеспечений сейсмологической аналитической системы;
7) разработка плана коммерциализации проекта.
Основные подходы к решению проблемы прогноза сейсмических событий появились только в XX веке. При этом в задачи прогноза входят определение силы ожидаемого сейсмического события, места и времени его возникновения.
Наибольшие успехи в настоящее время достигнуты в области долгосрочного прогнозирования (оценке долгосрочного сейсмического режима), когда оценивается средняя опасность возникновения сильных событий за длительные промежуток времени в протяженных пространственных областях. Они связаны с именами В.И. Бунэ, М.В. Гзовского, А.А. Гусева, Б. Гутенберга, В.И. Кейлис-Борока, СВ. Медведева, И.Л. Нерсесова, Ю.В. Ризниченко, Ч.Ф. Рихтера, М.А. Садовского, В.И. Уломова, С.А. Федотова и многих других исследователей. В настоящее время имеются достижения в развитии подходов к среднесрочному прогнозу, когда достаточно определенно говорится о наиболее опасных пространственных областях и указывается относительно продолжительный период, когда следует ожидать возникновение сильных события. Особый вклад в это направление внесли А.Д. Завьялов, B.C. Куксенко, В.А. Мансуров, Г.А. Соболев, Т.Л. Челидзе и другие. Для землетрясений проблема краткосрочного прогноза до сих пор не может считаться решенной, однако в последние десятилетия активно развивается направление краткосрочного прогнозирования горных ударов.
Все это свидетельствует об актуальности проведения исследований по дальнейшему развитию подходов, методов и алгоритмов прогноза сильных сейсмических событий.
Объектом исследования является сейсмологическая аналитическая система. Предметом исследования - методы интеллектуального анализа данных для решения задач в области сейсмологии.
Целью работы является разработка проекта реализации программного и математического обеспечения сейсмологической аналитической системы.
Задачи магистерской работы:
1) анализ информационных сейсмологических систем;
2) классификация задач и обзор научных работ, посвящённых анализу данных в сфере сейсмологии;
3) постановка задачи для проведения исследования и разработки математического и программного обеспечений;
4) обзор существующих методов интеллектуального анализа данных;
5) анализ научных работ по использованию механизмов машинного обучения в сейсмологии и описание примеров использования механизмов;
6) разработка математического и программного обеспечений сейсмологической аналитической системы;
7) разработка плана коммерциализации проекта.
На основе полученных знаний во время обучения по направлению «Бизнес- информатика» и анализа научной и научно-исследовательской литературы и публикаций была проведена работа над разработкой математического и программного обеспечения сейсмологической аналитической системы.
В рамках проведённого исследования:
1. Определено понятие сейсмологической информационно-аналитической системы - комплекс аппаратных, программных средств, информационных ресурсов, методик, которые используются для обеспечения автоматизации аналитических работ для решения задачи сферы сейсмологии. Проведён анализ аналитического программного обеспечения.
2. Проведён анализ задач и обзор научных работ, посвящённых анализу данных в сфере сейсмологии, в ходе которого выделено четыре основных класса задач:
- задачи сейсмологической диагностики;
- задачи анализа изображений (топография и т.п.);
- задачи классификации и кластеризации;
- задачи предсказания (например, предсказание землятресений).
3. Определенна задача для проведения исследования, на примере решения которой разработан проект математического и программного обеспечения сейсмологической аналитической системы.
4. Проведено исследование существующих методов интеллектуального анализа данных для разработки математического программного обеспечения. Проведён анализ научных работ по использованию механизмов машинного обучения в сейсмологии и описаны примеры их использования.
5. Разработан проект реализации программного обеспечения сейсмологической аналитической системы: система разделена на две основные части:
- подсистема ввода, хранения и управления данными.
- подсистема анализа данных.
В качестве СУБД для хранения данных выбрана PostgreSQL, подсистема ввода, хранения и управления данными будет реализована на основе фреймворка Django работающего на основе Python 3. Подсистема анализа данных реализуется, с использованием различных библиотек для решения конкретных задач в контексте системы.
6. Определено математическое обеспечение системы: наиболее эффективными на примере решаемой задачи показали себя алгоритмы Random Forest (0,781) и Gradient Tree (0,779).
7. Составлена дорожная карта коммерциализации проекта на два года и составлен календарный план работ на первый год коммерциализации проекта. Предполагаемый срок разработки и тестирования такого программного продукта - 1 год.
Таким образом, решены все поставленные в данной работе задачи и цель магистерской работы можно считать достигнутой.
Направление дальнейшего исследования: повышение эффективности механизмов анализа данных.
В рамках проведённого исследования:
1. Определено понятие сейсмологической информационно-аналитической системы - комплекс аппаратных, программных средств, информационных ресурсов, методик, которые используются для обеспечения автоматизации аналитических работ для решения задачи сферы сейсмологии. Проведён анализ аналитического программного обеспечения.
2. Проведён анализ задач и обзор научных работ, посвящённых анализу данных в сфере сейсмологии, в ходе которого выделено четыре основных класса задач:
- задачи сейсмологической диагностики;
- задачи анализа изображений (топография и т.п.);
- задачи классификации и кластеризации;
- задачи предсказания (например, предсказание землятресений).
3. Определенна задача для проведения исследования, на примере решения которой разработан проект математического и программного обеспечения сейсмологической аналитической системы.
4. Проведено исследование существующих методов интеллектуального анализа данных для разработки математического программного обеспечения. Проведён анализ научных работ по использованию механизмов машинного обучения в сейсмологии и описаны примеры их использования.
5. Разработан проект реализации программного обеспечения сейсмологической аналитической системы: система разделена на две основные части:
- подсистема ввода, хранения и управления данными.
- подсистема анализа данных.
В качестве СУБД для хранения данных выбрана PostgreSQL, подсистема ввода, хранения и управления данными будет реализована на основе фреймворка Django работающего на основе Python 3. Подсистема анализа данных реализуется, с использованием различных библиотек для решения конкретных задач в контексте системы.
6. Определено математическое обеспечение системы: наиболее эффективными на примере решаемой задачи показали себя алгоритмы Random Forest (0,781) и Gradient Tree (0,779).
7. Составлена дорожная карта коммерциализации проекта на два года и составлен календарный план работ на первый год коммерциализации проекта. Предполагаемый срок разработки и тестирования такого программного продукта - 1 год.
Таким образом, решены все поставленные в данной работе задачи и цель магистерской работы можно считать достигнутой.
Направление дальнейшего исследования: повышение эффективности механизмов анализа данных.





