Аннотация 3
Введение 5
Глава 1. Методы удаления шума из данных 7
1.1.Обзор методов обработки сигналов 7
1.2. EMD 8
1.3. EEMD 10
1.4. CEEMDAN 12
1.5. VMD 13
Глава 2. Введение в искусственные нейронные сети 16
2.1. Структура искусственного нейрона 16
2.2. Архитектура полносвязной нейронной сети: многослойный персептрон 20
2.3. Обучение нейронной сети: метод обратного распространения ошибки 22
2.4. Рекуррентные нейронные сети. GRU 26
Глава 3. Применение методов удаления шума из метеорологических данных 30
3.1. Структура входных данных 30
3.2. EMD 30
3.3. EEMD 32
3.4. CEEMDAN 33
3.5. VMD 34
Глава 4. Применение различных архитектур нейронных сетей для прогнозирования приземной температуры воздуха 35
4.1. Математическая постановка задачи 35
4.2. Структура входных данных 35
4.3. Вычислительные эксперименты выбора оптимальных архитектур нейронных
сетей: полносвязной нейронной сети, сети GRU 36
4.4. Результаты прогноза приземной температуры воздуха на сутки в аэропорту г.
Томск 38
4.5. Сравнение эффективности методов декомпозиции 42
Заключение 45
Список использованной литературы 46
Экстремальные погодные условия оказывают существенное влияние на множество сфер человеческой деятельности, например, экономика, сельское хозяйство и т. д. Сильный ливень или мощная метель могут вызвать перебои в работе транспортной системы или же смыть, или заморозить молодые посевы сельскохозяйственных предприятий. Все это влечет за собой большие финансовые потери, и дабы сократить риски таких происшествий, люди нуждаются в точных и своевременных метеорологических прогнозах. Чтобы делать такие предсказания, реально качественно, необходимо внедрить в процесс прогнозирования предварительную обработку данных, так как метеорологические показатели, с которыми мы работаем, часто зашумлены, что связано с множеством разных причин такими как: ошибки приборов, внешние факторы, процесс передачи и получения информации, все это сильно отражается на качестве данных. Что, в свою очередь, сказывается на точности прогнозов и в принципе осложняет анализ данных. Поэтому обязательным элементом любого современного анализа метеоданных является их предварительная обработка для удаления шумовых помех.
В этой работе используются нейросетевые методы для предсказания динамики температуры воздуха на уровне земли. В частности, используются рекуррентные и полносвязные нейронные сети, которые способны распознавать скрытые взаимосвязи в информационном потоке. Для достижения максимальной результативности таких моделей важно предоставить высококачественную входную информацию, в таких целях мы и применяем различные техники устранения помех в исходных данных
В мире обработки сигналов существует множество методов для устранения шумов, включая вейвлет-преобразования, эмпирические техники анализа сигналов и прочие. В данном исследовании мы фокусируемся на адаптивных методах разложения, среди которых выделяются:
• EMD [1] (Empirical Mode Decomposition) представляет собой метод
эмпирического модового разложения, который дает возможность разбить сигнал на набор фундаментальных модовых функций (Intrinsic Mode Functions, IMF), расположенных в порядке возрастания их частоты.
• EEMD [2] (Ensemble Empirical Mode Decomposition) — ансамблевый вариант EMD, который снижает эффект смешивания мод;
• CEEMDAN [3] (Complete Ensemble Empirical Mode Decomposition with Adaptive Noise) представляет собой доработанную версию EEMD, которая позволяет выполнять более точную и стабильную декомпозицию с учетом адаптивной обработки шума.
• VMD [4] (Variational Mode Decomposition) представляет собой метод модового разложения, который опирается на оптимизацию энергетической функции при предварительно заданном количестве мод.
Эти методы разлагают входной сигнал на набор мод, состоящих из компонент разной частотной природы, что позволяет фильтровать шумы без сильного искажения информации.
Новизна данной работы заключается в двухэтапном подходе к прогнозу. Сначала применяется один из методов удаления шума, а затем уже прогнозирование при помощи нейронной сети.
Цель работы - повышение точности краткосрочного прогнозирования метеорологических параметров путем разработки и сравнительного анализа методов предварительной обработки данных, направленных на эффективное подавление шумов в исходных сигналах. В работе будут рассмотрены 4 адаптивных метода разложения сигнала на моды (EMD, EEMD, CEEMDAN, VMD) и два вида нейронных сетей (FCNN, RNN).
Задачи исследования:
1. Изучить литературу по искусственным нейронным сетям и методам
разложения сигнала на моды.
2. Разработать двухэтапный подход к прогнозированию, состоящий из предварительной обработки данных (фильтрация шумов) и построения прогностической модели на основе нейронных сетей.
3. Провести комплексный вычислительный эксперимент, включающий подбор оптимальных гиперпараметров для модели и сравнительный анализ эффективности различных комбинаций методов предобработки и нейросетевых архитектур.
В ходе выполнения выпускной квалификационной работы была поставлена и решена задача краткосрочного прогнозирования приземной температуры воздуха с использованием методов машинного обучения и предварительной очистки данных от шума. Главная цель - анализ влияния различных методов устранения шумов на точность прогноза метеорологических параметров.
Были реализованы два типа нейронных сетей: полносвязная (FCNN) и рекуррентная типа GRU, каждая из которых обучалась на данных, прошедших предварительную обработку с использованием одного из четырёх методов очистки: EMD, EEMD, CEEMDAN и VMD. Проведённый сравнительный анализ позволил оценить влияние каждого из методов на точность моделей.
Результаты экспериментов показали, что применение любой из рассмотренных методик избавления от шума в даннвых положительно сказывается на качестве прогнозирования, повышая точность моделей. Наилучшие результаты были достигнуты при использовании полносвязной нейронной сети в сочетании с предварительной обработкой данных методом VMD. Для данной конфигурации средняя абсолютная ошибка (MAE) при прогнозе температуры воздуха на 24 часа вперёд составила 0.38°C, коэффициент детерминации R2 достиг 0.99, а ее время работы 36 минут 45 секунд. Эти значения метрик свидетельствуют о высокой точности модели и корректной настройке её параметров. VMD дает рекордное снижение MAE на 85.4% для FCNN. Для RNN максимальное улучшение MAE 67.7% также у VMD. С другой стороны, если существуют ограничения по времени, то лучше всего подойдут связки EMD-FCNN или EEMD-FCNN, которые справляются с поставленной задачей за минуту и за 5 минут соответственно, при этом немного теряя в качестве прогноза.
Полученные результаты подтверждают эффективность использования методов очистки данных от шума при построении моделей краткосрочного прогноза метеорологических параметров. Разработанный подход может быть использован в практических задачах метеорологии и смежных областях, где требуется высокая точность прогноза на основе реальных шумных наблюдений.
