Тема: ПРИМЕНЕНИЕ МЕТОДОВ УДАЛЕНИЯ ШУМА ИЗ ДАННЫХ НАБЛЮДЕНИЙ ДЛЯ ЗАДАЧИ ПРОГНОЗИРОВАНИЯ МЕТЕОРОЛОГИЧЕСКИХ ПАРАМЕТРОВ

Экстремальные погодные условия оказывают существенное влияние на множество сфер человеческой деятельности, например, экономика, сельское хозяйство и т. д. Сильный ливень или мощная метель могут вызвать перебои в работе транспортной системы или же смыть, или заморозить молодые посевы сельскохозяйственных предприятий. Все это влечет за собой большие финансовые потери, и дабы сократить риски таких происшествий, люди нуждаются в точных и своевременных метеорологических прогнозах. Чтобы делать такие предсказания, реально качественно, необходимо внедрить в процесс прогнозирования предварительную обработку данных, так как метеорологические показатели, с которыми мы работаем, часто зашумлены, что связано с множеством разных причин такими как: ошибки приборов, внешние факторы, процесс передачи и получения информации, все это сильно отражается на качестве данных. Что, в свою очередь, сказывается на точности прогнозов и в принципе осложняет анализ данных. Поэтому обязательным элементом любого современного анализа метеоданных является их предварительная обработка для удаления шумовых помех.
В этой работе используются нейросетевые методы для предсказания динамики температуры воздуха на уровне земли. В частности, используются рекуррентные и полносвязные нейронные сети, которые способны распознавать скрытые взаимосвязи в информационном потоке. Для достижения максимальной результативности таких моделей важно предоставить высококачественную входную информацию, в таких целях мы и применяем различные техники устранения помех в исходных данных
В мире обработки сигналов существует множество методов для устранения шумов, включая вейвлет-преобразования, эмпирические техники анализа сигналов и прочие. В данном исследовании мы фокусируемся на адаптивных методах разложения, среди которых выделяются:
• EMD [1] (Empirical Mode Decomposition) представляет собой метод
эмпирического модового разложения, который дает возможность разбить сигнал на набор фундаментальных модовых функций (Intrinsic Mode Functions, IMF), расположенных в порядке возрастания их частоты.
• EEMD [2] (Ensemble Empirical Mode Decomposition) — ансамблевый вариант EMD, который снижает эффект смешивания мод;
• CEEMDAN [3] (Complete Ensemble Empirical Mode Decomposition with Adaptive Noise) представляет собой доработанную версию EEMD, которая позволяет выполнять более точную и стабильную декомпозицию с учетом адаптивной обработки шума.
• VMD [4] (Variational Mode Decomposition) представляет собой метод модового разложения, который опирается на оптимизацию энергетической функции при предварительно заданном количестве мод.
Эти методы разлагают входной сигнал на набор мод, состоящих из компонент разной частотной природы, что позволяет фильтровать шумы без сильного искажения информации.
Новизна данной работы заключается в двухэтапном подходе к прогнозу. Сначала применяется один из методов удаления шума, а затем уже прогнозирование при помощи нейронной сети.
Цель работы - повышение точности краткосрочного прогнозирования метеорологических параметров путем разработки и сравнительного анализа методов предварительной обработки данных, направленных на эффективное подавление шумов в исходных сигналах. В работе будут рассмотрены 4 адаптивных метода разложения сигнала на моды (EMD, EEMD, CEEMDAN, VMD) и два вида нейронных сетей (FCNN, RNN).
Задачи исследования:
1. Изучить литературу по искусственным нейронным сетям и методам
разложения сигнала на моды.
2. Разработать двухэтапный подход к прогнозированию, состоящий из предварительной обработки данных (фильтрация шумов) и построения прогностической модели на основе нейронных сетей.
3. Провести комплексный вычислительный эксперимент, включающий подбор оптимальных гиперпараметров для модели и сравнительный анализ эффективности различных комбинаций методов предобработки и нейросетевых архитектур.

Купить

В ходе выполнения выпускной квалификационной работы была поставлена и решена задача краткосрочного прогнозирования приземной температуры воздуха с использованием методов машинного обучения и предварительной очистки данных от шума. Главная цель - анализ влияния различных методов устранения шумов на точность прогноза метеорологических параметров.
Были реализованы два типа нейронных сетей: полносвязная (FCNN) и рекуррентная типа GRU, каждая из которых обучалась на данных, прошедших предварительную обработку с использованием одного из четырёх методов очистки: EMD, EEMD, CEEMDAN и VMD. Проведённый сравнительный анализ позволил оценить влияние каждого из методов на точность моделей.
Результаты экспериментов показали, что применение любой из рассмотренных методик избавления от шума в даннвых положительно сказывается на качестве прогнозирования, повышая точность моделей. Наилучшие результаты были достигнуты при использовании полносвязной нейронной сети в сочетании с предварительной обработкой данных методом VMD. Для данной конфигурации средняя абсолютная ошибка (MAE) при прогнозе температуры воздуха на 24 часа вперёд составила 0.38°C, коэффициент детерминации R2 достиг 0.99, а ее время работы 36 минут 45 секунд. Эти значения метрик свидетельствуют о высокой точности модели и корректной настройке её параметров. VMD дает рекордное снижение MAE на 85.4% для FCNN. Для RNN максимальное улучшение MAE 67.7% также у VMD. С другой стороны, если существуют ограничения по времени, то лучше всего подойдут связки EMD-FCNN или EEMD-FCNN, которые справляются с поставленной задачей за минуту и за 5 минут соответственно, при этом немного теряя в качестве прогноза.
Полученные результаты подтверждают эффективность использования методов очистки данных от шума при построении моделей краткосрочного прогноза метеорологических параметров. Разработанный подход может быть использован в практических задачах метеорологии и смежных областях, где требуется высокая точность прогноза на основе реальных шумных наблюдений.

Купить