Разработка инструментария для работы с данными реанализа гидрометеорологических данных с использованием параллельных примитивов функционального программирования

Введение 3
Обзор литературы 9
1 Постановка задачи 14
2 Теоретическая часть 16
3 Реализация алгоритма 20
Выводы 23
Заключение 24
Список литературы
Купить

Данная работа посвящена использованию данных батиметрических исследований [1,2] для задачи моделирования цунами в распределённой вычислительной среде. Батиметрия изучает рельеф подводной части водных бассейнов (мировой океан, реки, озера и т.д). На основе полученных данных составляется батиметрические карты или карты глубин.
Первая «Генеральная батиметрическая карта океанов» была издана в 1899 году. Она содержала всего 18 400 замеров глубин. Рельеф глубоководных областей был изображен лишь в общих чертах на основе около 7000 измерений.
Следующим шагом к повышению точности батиметрических карт стало появление эхолотов-самописцев в 1935 году. Теперь вместо дискретных значений глубин, научному обществу стали доступны непрерывные данные о глубинах на протяжении всего курса корабля. Это помогло значительно улучшить знания о рельефе дна в популярных для судовождения районах. В других же районах, напротив, маршруты кораблей пролегали достаточно разреженно. «Белые» (необследованные) пятна составляли до 500 км в диаметре. В конце 70-х годов появились многолучевые эхолоты. Такой прибор посылает не единичные звуковые лучи, а сразу пучок, состоящий из десятков или сотен сигналов. Сигналы расходятся веером, перпендикулярно курсу корабля и вместо одиночной линии зондирования получается полоса шириной от 3 до 7 глубин.
Глобальное заполнение «белых пятен» на батиметрических картах стало возможно благодаря появлению спутниковой альтиметрии. Принцип работы спутникового альтиметра показан на Рис. 1. Системы спутниковой альтиметрии включают в себя радар для измерения высоты спутника над земной поверхностью и систему слежения для определения высоты спутника в геоцентрической системе координат. Альтиметры измеряют расстояние от спутника, до морской поверхности. Так как форма морской поверхности взаимосвязана с формой морского дна, то из альтиметрических данных возможно получение сведений о подводном рельефе.
Передатчик с определенной частотой генерирует электрический импульс, который преобразователь преобразует в звуковую волну и посылает в воду. Звуковая волна, ударяясь о дно, отражается и движется в обратном направлении, улавливаясь преобразователем. Преобразователь преобразует отраженную звуковую волну обратно в электрический импульс, усиливая с помощью приемника. Таким образом, зная скорость звука в воде и время между передачей сигнала и получением ответного эха, можем вычислить глубину по формуле h = 'J (v - скорость звука в воде - 1500м/с, t- время прохождения сигнала). Данный метод хорош, но имеет некоторые недостатки:
1. Скорость звука в воде не является константной величиной. Она зависит от температуры и солёности воды, гидростатического волнения и меняется примерно на 4 процента в большую либо меньшую сторону [3]. Таким образом, для получения точных данных необходимо знать характеристики воды в каждой точке замера, что является достаточно трудоемкой задачей.
2. При большом скоплении зоопланктона или косяков рыб, звуковая волна может отразиться от них, не достигнув дна, и мы получим неверные данные.
3. Ошибки навигации. Спутниковая навигация, обеспечивающая достаточно хорошую точность определения местоположения судна, стала появляться лишь в 60-х годах ХХ века. Следовательно, полученные эхолотом в некоторой точке измерения могли быть неточно нанесены на карту. В некоторых регионах эти ошибки могли составлять десятки километров.
4. Неравномерное распределение данных. Данные есть в тех районах, где проходят маршруты кораблей. Чем плотнее сеть маршрутов в некотором районе, тем лучше он картографирован. Но есть районы океана размером до 500 километров, необследованные эхолокаторами.
Спутниковые альтиметры. Система спутниковой альтиметрии включает в себя радар для измерения высоты спутника над земной поверхностью и систему слежения для определений высоты спутника в геоцентрической системе координат. Таким образом система измеряет расстояние от центра масс Земли до уровня моря, получая, тем самым форму морской поверхности. Возникает вопрос: как знание формы морской поверхности помогает составлению батиметрических карт? Есть такое понятие как «уровневая поверхность» — морская поверхность в спокойном состоянии. По физическим законам, вектор силы тяжести должен быть перпендикулярен уровневой поверхности. В свою очередь, сила тяжести не является константной величиной. В районах подводных гор сила тяжести увеличивается, в местах океанических впадин — наоборот уменьшается. Вектор силы тяжести отклоняется в сторону горы. Но он должен быть перпендикулярен уровневой поверхности. Значит морская поверхность тоже имеет выпуклости там, где под водой находится гора. Эти выпуклости регистрируются альтиметрами, а значит, данные альтиметрии могут использоваться при составлении карты морского дна. Они соотносятся с данными, полученными с эхолотов и экстраполируются на те районы, которые не были промеряны эхолотами. При этом учитывается, что топография и сила тяжести коррелируют не везде, а лишь в местах с молодой земной корой. Также по альтиметрическим данным составляются карты аномалий сил тяжести.
Знание топографии морского дна и аномалий сил тяжести применяется во многих областях [4], например:
• Навигация
• Составление карт подводного рельефа и батиметрических карт
• Поиск подводных вулканов
• Поиск нефти
• Определение границ тектонических плит
• Структура литосферы
• Уточнение фигуры геоида
Для своей работы я выбрала область, связанную с моделированием волн цунами. Расположенные в море и на берегу станции постоянно контролируют различные параметры окружающей среды. Если какие-то из них содержат признаки, указывающие на возможное возникновение цунами, то координаты передаются в специальный центр, где выполняется математическое моделирование. Особенностью данной задачи является необходимость переключения между сетками с разными разрешениями. Переинтерполяция должна выполняться в зависимости от того, как далеко предполагаемая волна находится от береговой линии.
Скорость вычислений — крайне важный фактор в задаче моделирования. Ведь чем быстрее будет получен прогноз стихийного бедствия, тем больше времени у служб МЧС на принятие мер для защиты населения и стратегически важных объектов. Большим подспорьем в решении данного вопроса может стать использование фреймворков для распределенных вычислений, таких как Hadoop [5-7] и Spark [8-10]. Они могут быть развернуты на обычном вычислительном кластере, легко масштабируются, имеют высокий уровень отказоустойчивости и являются свободно распространяемыми программными продуктами. Препятствием для активного внедрения этих систем в область работы с географическими данными является их нацеленность на работу с потоковыми данными и, как следствие, поддержка только последовательного чтения файлов. В то время, как географические данные хранятся в сложных форматах, содержащих метаданные и многомерные массивы, при работе с которыми важна возможность произвольного доступа. На настоящий момент нет решений, являющихся стандартом де-факто в данной области.

Купить