Прогноз осадков по данным ДМРЛ с использованием алгоритмов машинного обучения
|
ВВЕДЕНИЕ 4
ГЛАВА 1. РАДИОЛОКАЦИОННЫЙ МЕТОД ИЗУЧЕНИЯ АТМОСФЕРЫ 8
1.1 Базовые определения работы допплеровского метеорологического локатора 8
1.2 Принцип работы доплеровского метеорологического локатора. 9
1.3. Радиолокационная отражаемость 10
1.4 Допплеровская радиальная скорость 13
1.5. Радиолокационное измерение осадков 17
ГЛАВА 2. Машинное обучение в задачах метеорологии 20
2.1. Сверточная нейронная сеть 21
2.2. U-NET сверточная нейронная сеть 40
ГЛАВА 3. Построение и использование U-NET сверточной нейронной сети для краткосрочного прогнозирования передвижения облачности по данным допплеровского метеорологического локатора 46
3.1. Постановка задачи 46
3.2. Обзор и обработка данных 47
3.3. Выбор модели, её настройка и тестирование 50
3.4. Визуализация результатов 52
ЗАКЛЮЧЕНИЕ 54
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 55
ГЛАВА 1. РАДИОЛОКАЦИОННЫЙ МЕТОД ИЗУЧЕНИЯ АТМОСФЕРЫ 8
1.1 Базовые определения работы допплеровского метеорологического локатора 8
1.2 Принцип работы доплеровского метеорологического локатора. 9
1.3. Радиолокационная отражаемость 10
1.4 Допплеровская радиальная скорость 13
1.5. Радиолокационное измерение осадков 17
ГЛАВА 2. Машинное обучение в задачах метеорологии 20
2.1. Сверточная нейронная сеть 21
2.2. U-NET сверточная нейронная сеть 40
ГЛАВА 3. Построение и использование U-NET сверточной нейронной сети для краткосрочного прогнозирования передвижения облачности по данным допплеровского метеорологического локатора 46
3.1. Постановка задачи 46
3.2. Обзор и обработка данных 47
3.3. Выбор модели, её настройка и тестирование 50
3.4. Визуализация результатов 52
ЗАКЛЮЧЕНИЕ 54
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 55
ДМРЛ. Известным фактом является то, что метеорологический радиолокатор предоставляет данные о атмосфере в радиусе от 125 до 300 км в режиме реального времени. Такая метеорологическая информация является наиболее интересной для изучения погодных процессов.
Есть несколько особенностей данных МРЛ. Во-первых, время измерения на локаторах в Российской Федерации составляет 10 минут, что позволяет следить за малейшими изменениями облачных систем. Во-вторых, радиолокатор позволяет узнать информацию об облаке на уровнях до 15 км. Изучив данные, можно определить характер и фазу осадков, вектор движения облачной массы, турбулентность и так далее. В-третьих, пространственное разрешение составляет от 0.5 до 1 км. Данные ДМРЛ предоставляют точную и полную информацию об атмосфере в большом радиусе от локатора.
Современные метеорологические локаторы решают следующие важные практические задачи:
• Идентификация метеоявлений, связанных с облачностью и
осадками, информационное обеспечение сверхкраткосрочного прогноза погоды и штормовых предупреждений, предупреждений по аэродрому, предупреждений о сдвиге ветра.
• Измерение характеристик осадков радиолокационных методом и использование этих данных в гидрологических расчётах и прогнозах,
• Обеспечение радиолокационной информацией численных моделей прогноза погоды для их инициализации и верификации. [1]
Машинное обучение. Для решения задач прогнозирования всё больше используют новый инструмент - машинное обучение.
Алгоритмы машинного обучения позволяют решать разнообразные задачи: от подбора фильма для просмотра до просчёта лучшего хода в шахматной задаче.
В машинном обучении можно выделить три вида: обучение с учителем, обучение без учителя и глубокое обучение. В первом случае, на вход модели подаётся начальная информация и цель анализа. К примеру, у нас есть информация об изменении метеорологических параметров в определённый промежуток времени, а нашей целью является прогноз температуры на следующие три дня. Мы задаём нашей модели имеющиеся данные, и те значения температуры, которые были по факту - что является целью нашего анализа. Этот метод решения называют регрессией. Другим примером в первом случае, будет прогнозирование определённого явления, по тем же имеющимся данным. В таком случае, в цель модели, мы будем подавать 1 и 0. Единица будет означать, что явление будет, а ноль - его отсутствие. Такой пример задачи называют бинарной классификацией. Если же классов несколько, то задача будет многоклассовой классификацией.
Второй вид обучения - обучение без учителя. Обучение строится на том, что программе не известна цель обучения, а имеется только определённый массив данных. В таком случае, алгоритм сам находит взаимосвязи в данных. Использовав модели кластеризации, в данных можно выделить дни с определённой синоптической ситуацией, к примеру дни с прохождением фронтальных систем или ясные дни в центре антициклона. Так же для более удобной работы и визуализации, подходят методы понижения размерности. В таком случае из десятков метеорологических характеристик, получаем несколько информативных признаков, которые будут более удобны для визуализации и обработки моделями в дальнейшем.
Последний вид обучения - глубокое обучение. Используется для работы с большими объёмами данных. В основе данного вида, лежат искусственные нейронные сети. Такие сети решают большое количество задач в различных сферах, например, распознавание речи, машинный перевод, компьютерное зрение. Базовая часть сети - нейрон. Математически нейрон представляют как линейную комбинацию всех входных сигналов - функция активации. Несколько нейронов можно сложить в один слой, в таком случае, получится однослойная нейронная сеть. Сложив несколько слоёв, получаем многослойную нейронную сеть. Именно такие сложные сети используются при решении сложных задач, так как обладают большими возможностями при нахождении взаимосвязей в данных.
Актуальность работы. В метеорологии, задача краткосрочного прогноза для авиации является одной из самых востребованных задач. Использование алгоритмов машинного обучения способны улучшить точность прогнозирования перемещения воздушных масс на основе данных метеорадиолокатора.
Объект исследования - данные допплеровского метеорологического локатора
Предмет исследования - нейронные сети в задачах прогнозирования перемещения облачности
Цель - использовать нейронные сети для прогнозирования перемещения облачности
Для достижения поставленной цели необходимо решить следующие задачи:
1. Обработать и изучить имеющиеся данные.
2. Поставить задачи, которые способны решить алгоритмы машинного обучения
3. Решить задачи, используя нейронные сети.
4. Проанализировать результат и сделать вывод о применении алгоритмов машинного обучения в задачах прогнозирования передвижения облачности.
База исследования. Данные ДМРЛ получены из ООО “Институт радарной метеорологии”, ИРАМ.
Структура работы: введение, три главы, заключение, список использованной литературы и приложения.
Во введение работы обоснована актуальность выбранной темы исследования, определена цель и задачи исследования.
В первой главе работы «Радиолокационный метод изучения атмосферы»: дан развёрнутый ответ на вопрос о том, что является метеорологической радиолокационной информацией.
Во второй главе работы: «Машинное обучение в задачах метеорологии»: представлены нейронные сети, использовавшиеся для работы и их применение на основе данных метеорологического радиолокатора.
Во второй главе работы: «остроение и использование U-NET сверточной нейронной сети для краткосрочного прогнозирования передвижения облачности по данным допплеровского метеорологического локатора»: были проведены: постановка задачи для нейронной сети U-NET, обзор данных и их обработка, настройка, обучение модели, а также её тестирование и визуализация результатов.
В заключение работы сделаны основополагающие выводы по результатам исследования.
Есть несколько особенностей данных МРЛ. Во-первых, время измерения на локаторах в Российской Федерации составляет 10 минут, что позволяет следить за малейшими изменениями облачных систем. Во-вторых, радиолокатор позволяет узнать информацию об облаке на уровнях до 15 км. Изучив данные, можно определить характер и фазу осадков, вектор движения облачной массы, турбулентность и так далее. В-третьих, пространственное разрешение составляет от 0.5 до 1 км. Данные ДМРЛ предоставляют точную и полную информацию об атмосфере в большом радиусе от локатора.
Современные метеорологические локаторы решают следующие важные практические задачи:
• Идентификация метеоявлений, связанных с облачностью и
осадками, информационное обеспечение сверхкраткосрочного прогноза погоды и штормовых предупреждений, предупреждений по аэродрому, предупреждений о сдвиге ветра.
• Измерение характеристик осадков радиолокационных методом и использование этих данных в гидрологических расчётах и прогнозах,
• Обеспечение радиолокационной информацией численных моделей прогноза погоды для их инициализации и верификации. [1]
Машинное обучение. Для решения задач прогнозирования всё больше используют новый инструмент - машинное обучение.
Алгоритмы машинного обучения позволяют решать разнообразные задачи: от подбора фильма для просмотра до просчёта лучшего хода в шахматной задаче.
В машинном обучении можно выделить три вида: обучение с учителем, обучение без учителя и глубокое обучение. В первом случае, на вход модели подаётся начальная информация и цель анализа. К примеру, у нас есть информация об изменении метеорологических параметров в определённый промежуток времени, а нашей целью является прогноз температуры на следующие три дня. Мы задаём нашей модели имеющиеся данные, и те значения температуры, которые были по факту - что является целью нашего анализа. Этот метод решения называют регрессией. Другим примером в первом случае, будет прогнозирование определённого явления, по тем же имеющимся данным. В таком случае, в цель модели, мы будем подавать 1 и 0. Единица будет означать, что явление будет, а ноль - его отсутствие. Такой пример задачи называют бинарной классификацией. Если же классов несколько, то задача будет многоклассовой классификацией.
Второй вид обучения - обучение без учителя. Обучение строится на том, что программе не известна цель обучения, а имеется только определённый массив данных. В таком случае, алгоритм сам находит взаимосвязи в данных. Использовав модели кластеризации, в данных можно выделить дни с определённой синоптической ситуацией, к примеру дни с прохождением фронтальных систем или ясные дни в центре антициклона. Так же для более удобной работы и визуализации, подходят методы понижения размерности. В таком случае из десятков метеорологических характеристик, получаем несколько информативных признаков, которые будут более удобны для визуализации и обработки моделями в дальнейшем.
Последний вид обучения - глубокое обучение. Используется для работы с большими объёмами данных. В основе данного вида, лежат искусственные нейронные сети. Такие сети решают большое количество задач в различных сферах, например, распознавание речи, машинный перевод, компьютерное зрение. Базовая часть сети - нейрон. Математически нейрон представляют как линейную комбинацию всех входных сигналов - функция активации. Несколько нейронов можно сложить в один слой, в таком случае, получится однослойная нейронная сеть. Сложив несколько слоёв, получаем многослойную нейронную сеть. Именно такие сложные сети используются при решении сложных задач, так как обладают большими возможностями при нахождении взаимосвязей в данных.
Актуальность работы. В метеорологии, задача краткосрочного прогноза для авиации является одной из самых востребованных задач. Использование алгоритмов машинного обучения способны улучшить точность прогнозирования перемещения воздушных масс на основе данных метеорадиолокатора.
Объект исследования - данные допплеровского метеорологического локатора
Предмет исследования - нейронные сети в задачах прогнозирования перемещения облачности
Цель - использовать нейронные сети для прогнозирования перемещения облачности
Для достижения поставленной цели необходимо решить следующие задачи:
1. Обработать и изучить имеющиеся данные.
2. Поставить задачи, которые способны решить алгоритмы машинного обучения
3. Решить задачи, используя нейронные сети.
4. Проанализировать результат и сделать вывод о применении алгоритмов машинного обучения в задачах прогнозирования передвижения облачности.
База исследования. Данные ДМРЛ получены из ООО “Институт радарной метеорологии”, ИРАМ.
Структура работы: введение, три главы, заключение, список использованной литературы и приложения.
Во введение работы обоснована актуальность выбранной темы исследования, определена цель и задачи исследования.
В первой главе работы «Радиолокационный метод изучения атмосферы»: дан развёрнутый ответ на вопрос о том, что является метеорологической радиолокационной информацией.
Во второй главе работы: «Машинное обучение в задачах метеорологии»: представлены нейронные сети, использовавшиеся для работы и их применение на основе данных метеорологического радиолокатора.
Во второй главе работы: «остроение и использование U-NET сверточной нейронной сети для краткосрочного прогнозирования передвижения облачности по данным допплеровского метеорологического локатора»: были проведены: постановка задачи для нейронной сети U-NET, обзор данных и их обработка, настройка, обучение модели, а также её тестирование и визуализация результатов.
В заключение работы сделаны основополагающие выводы по результатам исследования.
Данные допплеровского метеорологического локатора являются крайне полезным ресурсом в нынешнее время для краткосрочного прогнозирования атмосферных явлений. Машинное обучение - новый подход к прогнозированию, который не распространён в метеорологии, но уже очевидно, что потенциал использования безграничен. В совокупности с гидродинамическими моделями алгоритмы машинного обучения выводят прогнозирование атмосферных явлений на новый уровень.
В этой работе были рассмотрены такие алгоритмы как сверточные нейронные сети и их применение в метеорологии. Модель U-NET крайне удобный инструмент для работы с изображениями, полученными с ДМРЛ и и дальнейшее широкое применение этих алгоритмов лишь вопрос времени.
Модель, представленная в данной работе, была обучена на небольшом объёме данных и их увеличение приведёт более точным прогнозам. Так же для дальнейшего улучшения данной модели, необходимо использовать значения отражаемости по всем уровням, первичные радиометеорологические продукты локаторов с двойной поляризацией, данные о радиальной скорости. Оптимизация обработки данных позволит обучить модель не только на одном метеорологическом локаторе, но и на других. Так же есть возможность использования композитных изображений нескольких локаторов одновременно. Подбор различных гиперпараметров и тестирование других сверточных нейронных сетей приведёт к росту точности и уменьшению функции ошибки. Для широкого использования на сети Росгидромета и Авиаметтелекома, необходимо интегрировать работу данной модели в имеющиеся пакеты приложений для обработки и визуализации данных метеорологических локаторов.
Данная работа является первым шагом к дальнейшему развитию краткосрочного прогноза с помощью алгоритмов машинного обучения.
В этой работе были рассмотрены такие алгоритмы как сверточные нейронные сети и их применение в метеорологии. Модель U-NET крайне удобный инструмент для работы с изображениями, полученными с ДМРЛ и и дальнейшее широкое применение этих алгоритмов лишь вопрос времени.
Модель, представленная в данной работе, была обучена на небольшом объёме данных и их увеличение приведёт более точным прогнозам. Так же для дальнейшего улучшения данной модели, необходимо использовать значения отражаемости по всем уровням, первичные радиометеорологические продукты локаторов с двойной поляризацией, данные о радиальной скорости. Оптимизация обработки данных позволит обучить модель не только на одном метеорологическом локаторе, но и на других. Так же есть возможность использования композитных изображений нескольких локаторов одновременно. Подбор различных гиперпараметров и тестирование других сверточных нейронных сетей приведёт к росту точности и уменьшению функции ошибки. Для широкого использования на сети Росгидромета и Авиаметтелекома, необходимо интегрировать работу данной модели в имеющиеся пакеты приложений для обработки и визуализации данных метеорологических локаторов.
Данная работа является первым шагом к дальнейшему развитию краткосрочного прогноза с помощью алгоритмов машинного обучения.