ВВЕДЕНИЕ 3
ГЛАВА 1. ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ МОДЕЛИРОВАНИЯ ПРОЦЕССОВ С РАСПРЕДЕЛЕНИЕМ ПУАССОНА 5
1.1 Распределение Пуассона и проблемы его моделирования 5
1.2 Проблема выделения пуассоновских трендов в задачах геомагнитной физики 8
1.3 Модели пуассоновский регрессии 14
1.4 Выводы к главе 1 16
ГЛАВА 2. АНАЛИЗ СИСТЕМАТИЧЕСКИХ ТРЕНДОВ С ИСПОЛЬЗОВАНИЕМ ИНС .. 17
2.1 Модели искусственных нейронных сетей для задач авторегрессии 17
2.2 Проблема оценки качества прогноза нелинейных пуассоновских моделей и способы ее
решения 22
2.3 Моделирование пуассоновского ряда и прогнозирование его динамики 25
2.4 Мера оценки качества прогноза на примере результата анализа модельных данных.. 28
2.5 Прогнозирование динамики тренда в пуассоновском поле 29
2.6 Выводы к главе 2 34
ГЛАВА 3. АНАЛИЗ СИСТЕМАТИЧЕСКИХ ТРЕНДОВ НА ПРИМЕРЕ РЯДА
ГЕОМАГНИТНОЙ АКТИВНОСТИ С ПРИМЕНЕНИЕМ МОДЕЛЕЙ ПУАССОНОВСКОЙ РЕГРЕССИИ 35
3.1 Предобработка ряда индекса Dst и формирование ряда количества геомагнитных бурь 35
3.2 Анализ тренда в временном ряду количества геомагнитных бурь с помощью моделей
пуассоновской регрессии 39
3.3 Мера оценки качества на примере анализа прогноза ряда количества геомагнитных бурь 40
3.4 Вывод к главе 3 43
ГЛАВА 4. АНАЛИЗ СИСТЕМАТИЧЕСКИХ ТРЕНДОВ В ЗАДАЧАХ КОМПЬЮТЕРНОЙ
ЛИНГВИСТИКИ 44
4.1 Проблема анализа объема лексикона 44
4.2 Корпус текстов Google Books Ngram и предварительная подготовка частотных словарей
русского и английского языка 45
4.3 Выделение систематических трендов в рядах частот употребления словоформ 50
4.4 Вероятностный метод оценки даты появления словоформы в лексиконе 55
4.5 Вероятностная модель для оценки динамики развития английского языка 58
4.6 Вывод к главе 4 61
ЗАКЛЮЧЕНИЕ 62
БЛАГОДАРНОСТИ 63
СПИСОК СОКРАЩЕНИЙ 64
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 65
Пуассоновские временные ряды и поля встречаются во многих научных и практических задачах. Однако в настоящее время для их анализа часто используют стандартные подходы. Поэтому задача развития методов анализа систематических трендов в пуассоновских рядах, учитывающих их статистические особенности, является актуальной.
Обзор большого числа публикаций показал, что подобные задачи часто встречаются в области солнечно-земной физики, а также компьютерной лингвистики. Изучение геомагнитной активности является важной частью солнечно-земной физики. Основными проявлениями геомагнитной активности являются сильные возмущения - магнитные бури. Основная проблема прогнозирования данных геомагнитной активности состоит в малом количестве события, отвечающих буре, и большом количестве магнитоспокойных дней. Также в приложении к задачам компьютерной лингвистике выявлено, что уточнение динамики развития лексикона требует применения подхода моделирования с учетом статистических особенностей ряда.
Целью работы является развитие методов анализа систематических трендов в пуассоновских временных рядах и случайных полях с использованием искусственных нейронных сетей. Для достижения поставленной цели были решены следующие задачи:
• провести обзор существующих подходов к анализу пуассоновских трендов в временных рядах и полях;
• разработать методику анализа данных с использованием искусственных нейронных сетей и с учетом статистических особенностей ряда, протестировать подход на модельных данных, подобрать оптимальную меру оценки качества методики;
• проанализировать эффективность предложенного подхода к задачам солнечно-земной физики (прогнозирование количества геомагнитных бурь);
В данной работе предложен подход построения моделей пуассоновской авторегрессии с использованием искусственных нейронных сетей с учетом закона распределения флуктуаций ряда. Для более точного анализа результатов была разработана новая мера оценки качества модели. Впервые построена нейросетевая модель прогноза количества геомагнитных бурь на несколько недель вперед. Предложена вероятностная модель для уточнения скорости словообразования. Показано, что скорость появления новых слов в английском языке завышена как минимум в 2 раза по сравнению с ранее опубликованными работами.
В результате работы было проведено развитие методов анализа систематических трендов в пуассоновских временных рядах и случайных полях с использованием искусственных нейронных сетей. В ходе работы были сделаны следующие выводы:
• проведен обзор существующих подходов к анализу пуассоновских трендов в временных рядах и полях, были выявлены достоинства и недостатки;
• разработана методика анализа данных с использованием искусственных нейронных сетей и с учетом статистических особенностей ряда. Для оценки качества получаемого прогноза подобрана оптимальная меру, основанная на анализе отношения СКО оцененных значений ряда. Данный подход протестирован на модельном пуассоновском временном ряду, выигрыш по сравнению со стандартным подходом составил 2.3%. Также подход был применен для анализа пуассоновского поля на примере поля количества звезд на участке неба;
• эффективность предложенного подхода была проанализирована на примере задач солнечно-земной физики для анализа временного ряда количества геомагнитных бурь из данных индекса Dst за период с 1964 г. по 2018 г. Выигрыш по сравнению со стандартным подходом прогнозирования, рассчитанный с помощью предложенной меры, составляет около 24%.
• эффективность предложенного подхода была проанализирована применительно к задаче компьютерной лингвистики: задаче оценки объема лексикона в языке в различные годы. С помощью пуассоновской линейной регрессии были уточнены частоты употребления словоформ в ранние годы. С помощью вероятностного подхода определено, что около 37% русских словоформ и около 34% английских словоформ, появившихся в корпусе в 1800 г., в лексиконе могли появиться ранее этого года. Также показано, что количество английских словоформ, появившихся в лексиконе в ранние года, превышает реальное число появившихся слов в лексиконе почти в 2 раза.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
