ДЕТЕКТИРОВАНИЕ МЕЗОМАСШТАБНЫХ ЦИКЛОНОВ НАД ЗАПАДНОЙ СИБИРЬЮ
|
ВВЕДЕНИЕ 5
1 Материалы исследования 8
1.1 Физико-географическое описание исследуемой территории 8
1.2 Объект исследования 9
1.3 Радиометр Moderate Resolution Imaging Spectroradiometer 10
1.3.1 Основные характеристики MODIS 10
1.3.2 Описание форматов файлов MODIS 12
1.3.3 Расширение формата HDF-EOS 13
1.3.4 Формат файлов MODIS Level 1B и MODIS Atmosphere Level 2 Joint Product 14
1.4 Язык программирования Python 16
1.4.1 Выбор IDE для Python 17
1.4.2 Библиотеки, использованные в работе 18
2 Методы исследования 22
2.1 Построение карт микрофизических характеристик 22
2.2 Методика кластерного анализа 23
2.3 Алгоритм поиска объекта на изображении 25
2.3.1 Признаки Хаара 26
2.3.2 Нормализация изображения 28
2.3.3 Алгоритм AdaBoost 29
2.3.4 Поиск объектов на изображении большого размера 29
2.3.5 Обучение каскада Хаара 31
2.4 Работа с изображением 34
3 Результаты полученные в ходе исследования 40
ЗАКЛЮЧЕНИЕ 48
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 50
СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО МАТЕРИАЛАМ ДИССЕРТАЦИИ 54
ПРИЛОЖЕНИЕ А 55
ПРИЛОЖЕНИЕ Б
1 Материалы исследования 8
1.1 Физико-географическое описание исследуемой территории 8
1.2 Объект исследования 9
1.3 Радиометр Moderate Resolution Imaging Spectroradiometer 10
1.3.1 Основные характеристики MODIS 10
1.3.2 Описание форматов файлов MODIS 12
1.3.3 Расширение формата HDF-EOS 13
1.3.4 Формат файлов MODIS Level 1B и MODIS Atmosphere Level 2 Joint Product 14
1.4 Язык программирования Python 16
1.4.1 Выбор IDE для Python 17
1.4.2 Библиотеки, использованные в работе 18
2 Методы исследования 22
2.1 Построение карт микрофизических характеристик 22
2.2 Методика кластерного анализа 23
2.3 Алгоритм поиска объекта на изображении 25
2.3.1 Признаки Хаара 26
2.3.2 Нормализация изображения 28
2.3.3 Алгоритм AdaBoost 29
2.3.4 Поиск объектов на изображении большого размера 29
2.3.5 Обучение каскада Хаара 31
2.4 Работа с изображением 34
3 Результаты полученные в ходе исследования 40
ЗАКЛЮЧЕНИЕ 48
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 50
СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО МАТЕРИАЛАМ ДИССЕРТАЦИИ 54
ПРИЛОЖЕНИЕ А 55
ПРИЛОЖЕНИЕ Б
Актуальность темы. Опасные метеорологические явления являются самым существенным проявлением нестабильности климата. За последние 20 лет в связи с существенными колебаниями климата их количество на территории Российской Федерации возросло, и не в малых случаях они носят катастрофический характер, который приводит к огромным материальным потерям экономике страны. Решения, принимаемые в различных странах по предоставляемой информации гидрометеорологических служб и аналитики климата, играют существенную роль в жизнь и экономическом благополучие множества людей по всему мире. Этот факт, о чем свидетельствуют исследования [1-11], показывает значимую роль гидрометеорологических служб в устойчивом и планомерном развитии отраслей экономики и общества в целом.
На данный момент опасные погодные явления (ОЯ), связанные с фронтальными системами достаточно хорошо поддаются прогнозированию, чего нельзя сказать о ситуациях, когда подобные случаи являются следствием возникновения мезомасштабного циклона (МЦ). Большое количество разнообразных движений в атмосфере связано с влиянием сил различного происхождения [12]. Большой интерес в данном случае представляют вихри синоптического масштаба - с горизонтальными размерами от 100 до 1000 км. Продолжительность жизни таких образований не превышает несколько суток. Впервые, они были обнаружены в середине XIX века. С этого момента началось активное изучение физических механизмов их возникновения, структуры и развития.
Сегодня, оценка влияния на погоду мезомасштабных циклонов производится при помощи математического моделирования и привлечения данных дистанционного зондирования Земли. Однако, эти исследования проводятся, в основном, для морских акваторий[13-16].
В зарубежных научных работах [17-20] мезоциклоны принято обозначать такими терминами, как «polar lows», «arctic low», «arctic hurricane» и др. В работе [21] представляется наиболее популярное определение мезоциклона: «Polar lows - это не крупые, но интенсивные циклоны образующиеся над поверхностью моря, формирующиеся севернее от положения основнойЗ бароклинной зоны. Ключевой фразой здесь является «над поверхностью моря», до недавнего времени понятие мезоциклонов ассоциировалось только с развитием вихревых движений над поверхность воды, но в 2006 году Н. Ф. Вельтищев и В. М. Степаненко в своей работе «Мезометеорологические процессы» [22] подробно описали механизмы возникновения МЦ над сушей. Они выделили два основных класса движений:
1. Мезомасштабные вторичные течения на атмосферных фронтах синоптического масштаба.
2. Мезомасштабные циклонические возмущения, возникающие за пределами основных атмосферных фронтов.
Наличие нефронтального мезомасштабного вихря в атмосфере было получено еще в 60-х годах прошлого столетия при анализе облачных покровов, получены со спутников [23]. Подобные явления получили в русскоязычной литературе несколько названий: «нефронтальный мезомасштабный вихрь», «облачные запятые», «вторичный циклон», «завихренности», «полярные циклоны». Подобные образования представляют из себя скопление кучево-дождевых облаков, или облачных спиралей, состоящих из конвективной облачности. Очень быстрое падение давления в наибольшей степени характеризует развитие таких циклонов. Также им соответствует циклоническая завихренность в средней тропосфере, термическая неустойчивость в нижней тропосфере, которая возникает в следствии перемещения холодных воздушных масс над нагретой (теплой) подстилающей поверхностью [22].
В настоящей работе решено использовать самый популярный на данный момент термин «мезомасштабный циклон (МЦ)», который наиболее полно описывает предмет исследования. И в дальнейшем под определением «мезоциклон, мезомасштабный циклон, МЦ» следует понимать область пониженного давления с характерной циркуляцией и наличием хотя одной замкнутой изобары на кольцевых картах погоды.
Цель работы. Разработка алгоритма детектирования мезомасштабных циклонов над территорией Западной Сибири с помощью компьютерного зрения на основе данных спутникового зондирования.
Поставленная цель требует решения следующих задач:
1. Разработка скрипта для визуализации данных спутникового зондирования с возможностью потоковой обработки файлов.
2. Формирование массива данных о микрофизических характеристиках облачности в точке наблюдения мезоциклона на основе дистанционного зондирования Земли.
3. Разработка алгоритма детектирования мезомасштабных циклонов.
4. Подготовка обучающей выборки для каждого параметра облачности.
5. Создание скрипта для детектирования мезомасштабных циклонов, основанной на разработанном алгоритме.
Научная новизна. Данная работа является научным исследованием характеристик мезомасштабных циклонов над территорией Западной Сибири и возможности обнаружения МЦ при помощи компьютерного зрения. При этом:
• При использовании кластерного анализа, мезомасштабные циклоны сгруппированы в 3 класса согласно микрофизическим характеристикам облачности.
• Разработан авторский алгоритм способный обнаруживать МЦ, основываясь на спутниковых данных.
Ранее на данной территории такие исследования никто не проводил.
По теме диссертации подготовлены материалы для 4 конференций и 1 публикации.
Структура и объём работы. Диссертация состоит из введения, 3 глав, заключения, списка использованных источников, а также приложений. Общий объём работы составляет 62 страниц, 24 рисунка, 7 таблиц и 2 приложения. Библиографический список составляет 53 наименования.
Автор выражает глубокую благодарность и признательность научному руководителю к.г.н. И. В. Кужевской и всем сотрудникам кафедры метеорологии и климатологии Томского государственного университета, без поддержки и неоценимой помощи которых работа была бы невозможна. Многолетнее и плодотворное сотрудничество с И. В. Кужевской вдохновило автора на научный и творческий поиск, позволило подготовить и выпустить в свет ряд совместных работ и докладов.
На данный момент опасные погодные явления (ОЯ), связанные с фронтальными системами достаточно хорошо поддаются прогнозированию, чего нельзя сказать о ситуациях, когда подобные случаи являются следствием возникновения мезомасштабного циклона (МЦ). Большое количество разнообразных движений в атмосфере связано с влиянием сил различного происхождения [12]. Большой интерес в данном случае представляют вихри синоптического масштаба - с горизонтальными размерами от 100 до 1000 км. Продолжительность жизни таких образований не превышает несколько суток. Впервые, они были обнаружены в середине XIX века. С этого момента началось активное изучение физических механизмов их возникновения, структуры и развития.
Сегодня, оценка влияния на погоду мезомасштабных циклонов производится при помощи математического моделирования и привлечения данных дистанционного зондирования Земли. Однако, эти исследования проводятся, в основном, для морских акваторий[13-16].
В зарубежных научных работах [17-20] мезоциклоны принято обозначать такими терминами, как «polar lows», «arctic low», «arctic hurricane» и др. В работе [21] представляется наиболее популярное определение мезоциклона: «Polar lows - это не крупые, но интенсивные циклоны образующиеся над поверхностью моря, формирующиеся севернее от положения основнойЗ бароклинной зоны. Ключевой фразой здесь является «над поверхностью моря», до недавнего времени понятие мезоциклонов ассоциировалось только с развитием вихревых движений над поверхность воды, но в 2006 году Н. Ф. Вельтищев и В. М. Степаненко в своей работе «Мезометеорологические процессы» [22] подробно описали механизмы возникновения МЦ над сушей. Они выделили два основных класса движений:
1. Мезомасштабные вторичные течения на атмосферных фронтах синоптического масштаба.
2. Мезомасштабные циклонические возмущения, возникающие за пределами основных атмосферных фронтов.
Наличие нефронтального мезомасштабного вихря в атмосфере было получено еще в 60-х годах прошлого столетия при анализе облачных покровов, получены со спутников [23]. Подобные явления получили в русскоязычной литературе несколько названий: «нефронтальный мезомасштабный вихрь», «облачные запятые», «вторичный циклон», «завихренности», «полярные циклоны». Подобные образования представляют из себя скопление кучево-дождевых облаков, или облачных спиралей, состоящих из конвективной облачности. Очень быстрое падение давления в наибольшей степени характеризует развитие таких циклонов. Также им соответствует циклоническая завихренность в средней тропосфере, термическая неустойчивость в нижней тропосфере, которая возникает в следствии перемещения холодных воздушных масс над нагретой (теплой) подстилающей поверхностью [22].
В настоящей работе решено использовать самый популярный на данный момент термин «мезомасштабный циклон (МЦ)», который наиболее полно описывает предмет исследования. И в дальнейшем под определением «мезоциклон, мезомасштабный циклон, МЦ» следует понимать область пониженного давления с характерной циркуляцией и наличием хотя одной замкнутой изобары на кольцевых картах погоды.
Цель работы. Разработка алгоритма детектирования мезомасштабных циклонов над территорией Западной Сибири с помощью компьютерного зрения на основе данных спутникового зондирования.
Поставленная цель требует решения следующих задач:
1. Разработка скрипта для визуализации данных спутникового зондирования с возможностью потоковой обработки файлов.
2. Формирование массива данных о микрофизических характеристиках облачности в точке наблюдения мезоциклона на основе дистанционного зондирования Земли.
3. Разработка алгоритма детектирования мезомасштабных циклонов.
4. Подготовка обучающей выборки для каждого параметра облачности.
5. Создание скрипта для детектирования мезомасштабных циклонов, основанной на разработанном алгоритме.
Научная новизна. Данная работа является научным исследованием характеристик мезомасштабных циклонов над территорией Западной Сибири и возможности обнаружения МЦ при помощи компьютерного зрения. При этом:
• При использовании кластерного анализа, мезомасштабные циклоны сгруппированы в 3 класса согласно микрофизическим характеристикам облачности.
• Разработан авторский алгоритм способный обнаруживать МЦ, основываясь на спутниковых данных.
Ранее на данной территории такие исследования никто не проводил.
По теме диссертации подготовлены материалы для 4 конференций и 1 публикации.
Структура и объём работы. Диссертация состоит из введения, 3 глав, заключения, списка использованных источников, а также приложений. Общий объём работы составляет 62 страниц, 24 рисунка, 7 таблиц и 2 приложения. Библиографический список составляет 53 наименования.
Автор выражает глубокую благодарность и признательность научному руководителю к.г.н. И. В. Кужевской и всем сотрудникам кафедры метеорологии и климатологии Томского государственного университета, без поддержки и неоценимой помощи которых работа была бы невозможна. Многолетнее и плодотворное сотрудничество с И. В. Кужевской вдохновило автора на научный и творческий поиск, позволило подготовить и выпустить в свет ряд совместных работ и докладов.
Проведенное исследование позволило получить основные выводы касательно возможности детектирования мезомасштабных циклонов над Западной Сибирью:
Выявлено что мезоциклоны могут образовываться как вне прямой связи с фронтальными системами (48 %), так и на них (52 %). Проведена объективная классификация мезомасштабных циклонов на основе расчетных характеристик - кинетической энергии, энергии фазовых переходов воды в слое 1000-500 гПа и составляющих облачного продукта ATML2 радиометра MODIS. В результате, все мезоциклоны были разделены на 3 класса: 1 классу соответствуют мезоциклоны образовавшиеся в теплый период года, преимущественно внутримассовые, с значительным распространением по высоте; 2 классу принадлежат мезоциклоны образовавшиеся в фронтальных системах, с самыми низкими температурами на верхней границе облачности (среднее значение - 225,2 K), имеющие наибольшую оптическую толщину (46 у.е.) и наибольшие значения кинетической энергии (0,99*106 Дж/м2); к 3 классу относятся внутримассовые мезоциклоны с малым распространением по высоте и самыми высокими значениями температуры на верхней границе облачности.
Все случаи возникновения мезоциклонов в период 2015-2017 гг. были сопоставлены с опасными явлениями погоды в точке их зарождения согласно телеграммам кода WAREP. Мезоциклоны 1 и 2 класса, в более 80 % случаев, сопровождались такими опасными явлениями как гроза, сильный ветер, ливневый дождь, ливневый снег. В 3 классе опасные явления фиксировались лишь в 47 % случаев, в основном это был ливневый снег.
Также была решена задача по детектированию мезомасштабных циклонов с применением компьютерного зрения. В основе методики лежит алгоритм основанный на каскаде Хаара. Для каждого из использованных параметров (Cloud Top Temperature, Cloud Top Height, Cloud Optical, Thickness, Cloud Effective Radius) был создан обученный каскад. Для обучения использовалось 350 изображений мезоциклона и 800 изображений на которых мезоциклона нет. Вероятность обнаружения достигла 80%.
Работа алгоритма показала, что качество обнаружения не зависит от того находится ли мезоциклон внутри фронтальной системы или на разреженном барическом поле.
При оценке вероятностного поля над фактической точкой нахождения мезоциклона выявлено, что в зимний период наблюдаются наименьшие значения (в среднем 73%), а летом самые высокие (88%). Наибольшие различия вероятностного поля показали результаты оценки в зависимости от класса мезоциклона. Наибольшее среднее значение в этом случае у МЦ 1 класса (89%), а наименьшие у 3-го (74%). Эти результаты хорошо согласуются с результатами объективной классификации. 3 класс имеет самые маленькие средние значения вертикального распределения и эффективного радиуса частиц, а также его верхняя граница облачности самая теплая, это в свою очередь затрудняет его детектирование.
При тесте алгоритма на независимой выборке (13 случаев за 2018 год) были получены схожие результаты, что говорит о стабильности работы алгоритма. Наименьшие значения вероятностного поля над фактической точкой нахождения мезоциклона приходятся на зимние месяцы (73%), наибольшие на лето и весну (87-88%). Значения вероятностного поля ниже 60% зафиксированы небыли. По результатам работы алгоритма были детектированы все мезомасштабные циклоны.
Среднее значение вероятностного поля по независимой выборке не ниже чем на обучающей, что свидетельствует о том, что в процессе обучения классификатор не был переобучен.
В ходе работы были приобретены навыки разработки скриптов на языке программирования Python, статистическому анализу и работе со спутниковыми данными.
Выявлено что мезоциклоны могут образовываться как вне прямой связи с фронтальными системами (48 %), так и на них (52 %). Проведена объективная классификация мезомасштабных циклонов на основе расчетных характеристик - кинетической энергии, энергии фазовых переходов воды в слое 1000-500 гПа и составляющих облачного продукта ATML2 радиометра MODIS. В результате, все мезоциклоны были разделены на 3 класса: 1 классу соответствуют мезоциклоны образовавшиеся в теплый период года, преимущественно внутримассовые, с значительным распространением по высоте; 2 классу принадлежат мезоциклоны образовавшиеся в фронтальных системах, с самыми низкими температурами на верхней границе облачности (среднее значение - 225,2 K), имеющие наибольшую оптическую толщину (46 у.е.) и наибольшие значения кинетической энергии (0,99*106 Дж/м2); к 3 классу относятся внутримассовые мезоциклоны с малым распространением по высоте и самыми высокими значениями температуры на верхней границе облачности.
Все случаи возникновения мезоциклонов в период 2015-2017 гг. были сопоставлены с опасными явлениями погоды в точке их зарождения согласно телеграммам кода WAREP. Мезоциклоны 1 и 2 класса, в более 80 % случаев, сопровождались такими опасными явлениями как гроза, сильный ветер, ливневый дождь, ливневый снег. В 3 классе опасные явления фиксировались лишь в 47 % случаев, в основном это был ливневый снег.
Также была решена задача по детектированию мезомасштабных циклонов с применением компьютерного зрения. В основе методики лежит алгоритм основанный на каскаде Хаара. Для каждого из использованных параметров (Cloud Top Temperature, Cloud Top Height, Cloud Optical, Thickness, Cloud Effective Radius) был создан обученный каскад. Для обучения использовалось 350 изображений мезоциклона и 800 изображений на которых мезоциклона нет. Вероятность обнаружения достигла 80%.
Работа алгоритма показала, что качество обнаружения не зависит от того находится ли мезоциклон внутри фронтальной системы или на разреженном барическом поле.
При оценке вероятностного поля над фактической точкой нахождения мезоциклона выявлено, что в зимний период наблюдаются наименьшие значения (в среднем 73%), а летом самые высокие (88%). Наибольшие различия вероятностного поля показали результаты оценки в зависимости от класса мезоциклона. Наибольшее среднее значение в этом случае у МЦ 1 класса (89%), а наименьшие у 3-го (74%). Эти результаты хорошо согласуются с результатами объективной классификации. 3 класс имеет самые маленькие средние значения вертикального распределения и эффективного радиуса частиц, а также его верхняя граница облачности самая теплая, это в свою очередь затрудняет его детектирование.
При тесте алгоритма на независимой выборке (13 случаев за 2018 год) были получены схожие результаты, что говорит о стабильности работы алгоритма. Наименьшие значения вероятностного поля над фактической точкой нахождения мезоциклона приходятся на зимние месяцы (73%), наибольшие на лето и весну (87-88%). Значения вероятностного поля ниже 60% зафиксированы небыли. По результатам работы алгоритма были детектированы все мезомасштабные циклоны.
Среднее значение вероятностного поля по независимой выборке не ниже чем на обучающей, что свидетельствует о том, что в процессе обучения классификатор не был переобучен.
В ходе работы были приобретены навыки разработки скриптов на языке программирования Python, статистическому анализу и работе со спутниковыми данными.