Вычислительный комплекс обработки данных приборов спутниковой платформы Suomi NPP
|
Введение 3
Глава 1. Спутниковая платформа Suomi NPP 7
1.1. Общая характеристика. Приборы 7
1.1.1. Спектрорадиометр VIIRS 9
1.1.2. Гиперспектральиый зондировщик CrIS 11
1.1.3. Микроволновый зондировщик ATMS 12
1.2. Формат данных Suomi NPP 14
1.3. Результаты главы 16
Глава 2. Вычислительный комплекс обработки данных 18
2.1. Распаковка сырого потока данных 18
2.1.1. Пакет RT-STPS 18
2.1.2. Установка RT-STPS 19
2.1.3. Обработка тестовых данных 23
2.2. Геолокация данных VI 1RS 26
2.2.1. Пакет CSPP 26
2.2.2. Калибровочные данные 28
2.2.3. Обработка тестовых данных 29
2.3. Визуализация данных. Пакет Polar2Grid 35
2.3.1. Установка и настройка пакета 35
2.3.2. Скрипт обработки данных 36
2.3.3. Примеры визуализации тестовых данных 40
2.4. Результаты главы 43
Глава 3. Данные Suomi NPP в алгоритмах обработки 45
3.1. Исследуемая область 45
3.2. Общая характеристика программного обеспечения 46
3.3. Атмосферная коррекция 49
3.4. Маскирование облачности 50
3.5. Аэрозольные продукты 51
3.6. Маска снежного покрова 52
3.7. Коэффициенты спектральной яркости подстилающей поверхности 54
3.8. Вегетационные индексы 55
3.9. Пожарные алгоритмы 57
3.10. Результаты главы 59
Заключение 61
Приложение
Глава 1. Спутниковая платформа Suomi NPP 7
1.1. Общая характеристика. Приборы 7
1.1.1. Спектрорадиометр VIIRS 9
1.1.2. Гиперспектральиый зондировщик CrIS 11
1.1.3. Микроволновый зондировщик ATMS 12
1.2. Формат данных Suomi NPP 14
1.3. Результаты главы 16
Глава 2. Вычислительный комплекс обработки данных 18
2.1. Распаковка сырого потока данных 18
2.1.1. Пакет RT-STPS 18
2.1.2. Установка RT-STPS 19
2.1.3. Обработка тестовых данных 23
2.2. Геолокация данных VI 1RS 26
2.2.1. Пакет CSPP 26
2.2.2. Калибровочные данные 28
2.2.3. Обработка тестовых данных 29
2.3. Визуализация данных. Пакет Polar2Grid 35
2.3.1. Установка и настройка пакета 35
2.3.2. Скрипт обработки данных 36
2.3.3. Примеры визуализации тестовых данных 40
2.4. Результаты главы 43
Глава 3. Данные Suomi NPP в алгоритмах обработки 45
3.1. Исследуемая область 45
3.2. Общая характеристика программного обеспечения 46
3.3. Атмосферная коррекция 49
3.4. Маскирование облачности 50
3.5. Аэрозольные продукты 51
3.6. Маска снежного покрова 52
3.7. Коэффициенты спектральной яркости подстилающей поверхности 54
3.8. Вегетационные индексы 55
3.9. Пожарные алгоритмы 57
3.10. Результаты главы 59
Заключение 61
Приложение
Актуальность работы. Спутниковые приборы на сегодняшний день являются основными источниками оперативных данных о состоянии атмосферы, гидросферы и подстилающей поверхности Земли.
После запуска в конце 90-х, начале 2000-х гг. нового поколения природоресурсных спутников открылась новая эра метеорологических исследований. Прибор MODIS, расположенный на борту спутников Terra и Aqua, зарекомендовал себя надежным поставщиком данных в 36 спектральных каналах. Обработка данных этих каналов открыла новые возможности оперативного мониторинга состояния подстилающей поверх-ности. Помимо MODIS в 2002 году на платформе Aqua был выведен на орбиту еще более уникальных радиометр AIRS (Atmospheric Infrared Sounder). AIRS впервые дал возможность восстанавливать вертикальные профили характеристик атмосферы. Серия запусков платформ NOAA- 15,16,17, произведенная с 1998 по 2002 открыла новую эру микроволнового зондирования. Зондировщики AMSU (Advanced Microwave Sounding Unit) Al, A2 и В также позволяют восстанавливать вертикальные профили атмосферы.
Многолетний опыт разработки и эксплуатации этих приборов привел к тому, что сегодня на орбите на платформах Suomi NPP и JPSS-1 работает последнее поколение радиометров. В работе основное внимание уделяется 22 канальному радиометру VI 1RS (Visible Infrared Imaging Radiometer Suite), гиперспектральному зондировщику CrIS (Cross-track Infrared Sounder), являющемуся развитием программы AIRS и микроволновому радиометру ATMS (Advanced Technology Microwave Sounder), продолжению программ AMSU.
Разнообразие приборов, спектральных диапазонов, способов представления данных и пр. стимулируют разработку аппаратных и программных решений по автоматизации операций приема данных, их каталогизации и последующей обработки.
Большие объемы данных осложняют задачу их обработки, особенно в оперативном режиме. Требуются новые подходы к решению этой задачи. Одним из возможных вариантов является создание вычислительных комплексов на основе существующих программных модулей для автоматизации обработки данных.
Так, для обработки данных приборов платформы Suomi NPP в работе выявлено несколько существенных проблем.
• Для обработки данных приборов спутника Suomi NPP до второго уровня требуется запуск ~ 15 программных модулей (всего их существует около 50). Эти модули сегодня разработаны и поддержи-ваются разными научными центрами и лабораториями. Как след-ствие многие из них не совместимы между собой.
• Требуется детальная настройка каждого модуля и «ручной запуск» каждого из них.
• Следствием первой проблемы является то, что продукты (файлы), получаемые на выходе одного модуля, могут оказаться не совместимы с другими модулями для дальнейшей обработки.
Для решения этих проблем предлагаются способы.
• Тестирование и отладка существующих программных решений. Проверка их совместимости. Верификация с использованием тестовых наборов данных.
• Разработка подпрограмм для автоматической загрузки вспомога-тельных и калибровочных данных, запуска модулей в нужной последовательности .
• Разработка скриптов для автоматического выбора из имеющихся данных требуемых файлов (метеорологические данные, КСЯ ка-налов, топография, аэрозоли, облака и др.) для корректной записи файлов продуктов.
Целью работы является создание вычислительного комплекса для оперативной обработки данных спутниковых приборов, расположенных на платформе Suomi NPP.
Решаемые задачи:
1. Проектирование структуры и модулей вычислительного комплекса. Разработка вспомогательных подпрограмм и модулей.
2. Верификация вычислительного комплекса на этапах «распаковка сырого потока — геолокация — алгоритмы — визуализация» с ис-пользованием тестовых наборов данных.
3. Применение созданного комплекса для оперативной обработки данных для Сибирского региона до второго уровня.
Структура и объем работы. Квалификационная работа состоит из введения, трех глав, заключения, приложения и списка литературы. Объем работы ... страниц.
Во введении формулируется исследуемая проблема, обсуждается актуальность работы, ее цель и решаемые задачи.
В первой главе приводятся общие сведения о спутниковой платформе Suomi NPP, дается краткое описание и характеристика основных при-боров, установленных на платформе, обсуждаются форматы предоставления данных.
Во второй главе дается детальное описание программных модулей обработки данных приборов платформы Suomi NPP, составляющих основные компоненты разрабатываемого вычислительного комплекса.
После запуска в конце 90-х, начале 2000-х гг. нового поколения природоресурсных спутников открылась новая эра метеорологических исследований. Прибор MODIS, расположенный на борту спутников Terra и Aqua, зарекомендовал себя надежным поставщиком данных в 36 спектральных каналах. Обработка данных этих каналов открыла новые возможности оперативного мониторинга состояния подстилающей поверх-ности. Помимо MODIS в 2002 году на платформе Aqua был выведен на орбиту еще более уникальных радиометр AIRS (Atmospheric Infrared Sounder). AIRS впервые дал возможность восстанавливать вертикальные профили характеристик атмосферы. Серия запусков платформ NOAA- 15,16,17, произведенная с 1998 по 2002 открыла новую эру микроволнового зондирования. Зондировщики AMSU (Advanced Microwave Sounding Unit) Al, A2 и В также позволяют восстанавливать вертикальные профили атмосферы.
Многолетний опыт разработки и эксплуатации этих приборов привел к тому, что сегодня на орбите на платформах Suomi NPP и JPSS-1 работает последнее поколение радиометров. В работе основное внимание уделяется 22 канальному радиометру VI 1RS (Visible Infrared Imaging Radiometer Suite), гиперспектральному зондировщику CrIS (Cross-track Infrared Sounder), являющемуся развитием программы AIRS и микроволновому радиометру ATMS (Advanced Technology Microwave Sounder), продолжению программ AMSU.
Разнообразие приборов, спектральных диапазонов, способов представления данных и пр. стимулируют разработку аппаратных и программных решений по автоматизации операций приема данных, их каталогизации и последующей обработки.
Большие объемы данных осложняют задачу их обработки, особенно в оперативном режиме. Требуются новые подходы к решению этой задачи. Одним из возможных вариантов является создание вычислительных комплексов на основе существующих программных модулей для автоматизации обработки данных.
Так, для обработки данных приборов платформы Suomi NPP в работе выявлено несколько существенных проблем.
• Для обработки данных приборов спутника Suomi NPP до второго уровня требуется запуск ~ 15 программных модулей (всего их существует около 50). Эти модули сегодня разработаны и поддержи-ваются разными научными центрами и лабораториями. Как след-ствие многие из них не совместимы между собой.
• Требуется детальная настройка каждого модуля и «ручной запуск» каждого из них.
• Следствием первой проблемы является то, что продукты (файлы), получаемые на выходе одного модуля, могут оказаться не совместимы с другими модулями для дальнейшей обработки.
Для решения этих проблем предлагаются способы.
• Тестирование и отладка существующих программных решений. Проверка их совместимости. Верификация с использованием тестовых наборов данных.
• Разработка подпрограмм для автоматической загрузки вспомога-тельных и калибровочных данных, запуска модулей в нужной последовательности .
• Разработка скриптов для автоматического выбора из имеющихся данных требуемых файлов (метеорологические данные, КСЯ ка-налов, топография, аэрозоли, облака и др.) для корректной записи файлов продуктов.
Целью работы является создание вычислительного комплекса для оперативной обработки данных спутниковых приборов, расположенных на платформе Suomi NPP.
Решаемые задачи:
1. Проектирование структуры и модулей вычислительного комплекса. Разработка вспомогательных подпрограмм и модулей.
2. Верификация вычислительного комплекса на этапах «распаковка сырого потока — геолокация — алгоритмы — визуализация» с ис-пользованием тестовых наборов данных.
3. Применение созданного комплекса для оперативной обработки данных для Сибирского региона до второго уровня.
Структура и объем работы. Квалификационная работа состоит из введения, трех глав, заключения, приложения и списка литературы. Объем работы ... страниц.
Во введении формулируется исследуемая проблема, обсуждается актуальность работы, ее цель и решаемые задачи.
В первой главе приводятся общие сведения о спутниковой платформе Suomi NPP, дается краткое описание и характеристика основных при-боров, установленных на платформе, обсуждаются форматы предоставления данных.
Во второй главе дается детальное описание программных модулей обработки данных приборов платформы Suomi NPP, составляющих основные компоненты разрабатываемого вычислительного комплекса.
В ходе выполнения выпускной квалификационной работы была исследована проблема обработки данных приборов, расположенных на спутниковой платформе Suomi NPP в оперативном режиме. Для решения проблема! была поставлена цель разработать автоматизированный вычислительный комплекс для обработки данных до второго уровня, включающего алгоритмические продукты.
Основные результаты выпускной квалификационной работы заключаются в следующем:
1. Изучены возможности существующего программного обеспечения, поставляемого двумя основными научными центрами: Лаборатория обработки данных (DRL, NASA) и Комьюнити спутникового метеорологического и экологического мониторинга (CSPP, NOAA). В ходе тестирования и отладки существующих программных решений была проведена проверка совместимости модулей и подпрограмм между собой, что позволило спроектировать структуру будущего вычислительного комплекса.
2. Для проверки правильности установки и настройки пакетов и корректности выдаваемых ими результатов, проведена серия вычислительных экспериментов с использованием тестовых наборов данных. Расчеты проведены для трех приборов платформы Suomi NPP: 22 канальный комплекс VIIRS, микроволновый зондировщик ATMS и инфракрасный радиометр CrIS. Сопоставление результатов с данными авторов космической программа! Suomi NPP показало полное
соответствие.
3. С использованием программных модулей (RT-STPS, CSPP, Polar2Grid), таблиц калибровочных коэффициентов и тестовых наборов данных создан вычислительный комплекс обработки данных радиометров VIIRS, CrIS и ATMS спутника Suomi NPP до уровня 1В. На этом этапе было разработано более 20 вспомогательных скриптов и подпрограмм. Проведена верификация вычислительного комплекса на этапах «распаковка сырого потока — геолокация — визуализация».
4. С использованием SDR-данных первого уровня обработки, архивов метеорологических данных, калибровочных файлов и программных модулей сервиса SPA (Science Processing Algorithm) проведена обработка данных прибора VIIRS до второго уровня. Получены результаты обработки в алгоритмах атмосферной коррекции, маскирования облачного и снежного покровов, пожарных алгоритмов и др. Разработанные программные модули интегрированы в созданный на предыдущем этапе вычислительный комплекс. Этот этап включал разработку 10 вспомогательных скриптов.
Автор выражает благодарность всем преподавателям кафедры радиофизики и теоретической физики за многолетний труд, наставничество и помощь, доценту Мордвину Егору Юрьевичу за помощь в обсуждении программного обеспечения, а также научному руководителю доценту Волкову Н.В. за многолетнее руководство, постановку задач, обсуждение результатов и помощь в подготовке к защите.
Основные результаты выпускной квалификационной работы заключаются в следующем:
1. Изучены возможности существующего программного обеспечения, поставляемого двумя основными научными центрами: Лаборатория обработки данных (DRL, NASA) и Комьюнити спутникового метеорологического и экологического мониторинга (CSPP, NOAA). В ходе тестирования и отладки существующих программных решений была проведена проверка совместимости модулей и подпрограмм между собой, что позволило спроектировать структуру будущего вычислительного комплекса.
2. Для проверки правильности установки и настройки пакетов и корректности выдаваемых ими результатов, проведена серия вычислительных экспериментов с использованием тестовых наборов данных. Расчеты проведены для трех приборов платформы Suomi NPP: 22 канальный комплекс VIIRS, микроволновый зондировщик ATMS и инфракрасный радиометр CrIS. Сопоставление результатов с данными авторов космической программа! Suomi NPP показало полное
соответствие.
3. С использованием программных модулей (RT-STPS, CSPP, Polar2Grid), таблиц калибровочных коэффициентов и тестовых наборов данных создан вычислительный комплекс обработки данных радиометров VIIRS, CrIS и ATMS спутника Suomi NPP до уровня 1В. На этом этапе было разработано более 20 вспомогательных скриптов и подпрограмм. Проведена верификация вычислительного комплекса на этапах «распаковка сырого потока — геолокация — визуализация».
4. С использованием SDR-данных первого уровня обработки, архивов метеорологических данных, калибровочных файлов и программных модулей сервиса SPA (Science Processing Algorithm) проведена обработка данных прибора VIIRS до второго уровня. Получены результаты обработки в алгоритмах атмосферной коррекции, маскирования облачного и снежного покровов, пожарных алгоритмов и др. Разработанные программные модули интегрированы в созданный на предыдущем этапе вычислительный комплекс. Этот этап включал разработку 10 вспомогательных скриптов.
Автор выражает благодарность всем преподавателям кафедры радиофизики и теоретической физики за многолетний труд, наставничество и помощь, доценту Мордвину Егору Юрьевичу за помощь в обсуждении программного обеспечения, а также научному руководителю доценту Волкову Н.В. за многолетнее руководство, постановку задач, обсуждение результатов и помощь в подготовке к защите.