Тип работы:
Предмет:
Язык работы:


Реализация высокопроизводительных растровых вычислений для Web ГИС

Работа №131760

Тип работы

Магистерская диссертация

Предмет

информатика

Объем работы70
Год сдачи2018
Стоимость5450 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
34
Не подходит работа?

Узнай цену на написание


Содержание 2
Введение 5
Постановка задачи 7
Обзор литературы 8
1. Общая архитектура вычислительного модуля 10
2. Обзор существующих решений и пакетов 14
2.1. СУБД с возможностью хранения пространственных данных 14
2.1.1. MySQL 15
2.1.2. PostGIS 15
2.1.3. MongoDB 16
2.1.4. SpatiaLite 16
2.1.5. CouchDB 17
2.1.6. Выводы 18
2.2. Пакеты компьютерной алгебры 18
2.2.1. Maxima 19
2.2.2. Scilab 19
2.2.3. JACAL 19
2.2.4. GiNaC 20
2.2.5. YACAS 20
2.2.6. Octave 20
2.2.7. Выводы 21
2.3. Параллельная обработка растровых данных внутри одной машины 21
2.3.1. Advanced Vector Extensions 21
2.3.2. Nvidia CUDA 22
2.3.3. OpenCL 22
2.3.4. Выводы 23
3. Распределение данных по кластеру 24
4. Оптимальное распределение текущей нагрузки между хостами в вычислительной сети 28
4.1. Постановка задачи 28
4.2. Построение модели 29
4.2.1. Статическая модель 29
4.2.2. Добавление динамики 31
4.2.3. Выводы 32
5. Реализация отложенных вычислений в контексте Геоинформационной системы 34
5.1. Определение структуры вычислительной схемы 35
5.1.1. Решение формализованной задачи 42
5.1.2. Приведение к задаче смешанного целочисленного программирования 46
5.2. Реализация отложенных вычислений 52
6. Оптимизация пользовательских запросов 55
6.1. Обзор возможностей символьных вычислений в свободных СКА 56
6.1.1. Maxima 56
6.1.2. Scilab 56
6.1.3. JACAL 57
6.1.4. GiNaC 57
6.1.5. YACAS 57
6.1.6. Octave 58
6.1.7. Выводы 58
7. Использование ГПУ для выполнения задач растровой алгебры 59
7.1. Тестирование 59
7.2. Анализ результатов тестирования 62
Выводы 63
Заключение 64
Список литературы 65

Различные геоинформационные системы уже давно стали неотъемлемой частью современного информационного мира. Они используются в совершенно различных областях теоретических и, главным образом, прикладных наук, находя себе применение в таких дисциплинах, как урбанистика, экология, биология и экономика. Их история берет начало еще в 80-х годах прошлого века, когда были предприняты первые успешные попытки эколого- и биогеографического моделирования для исследования и выявления разнообразных закономерностей в распределении видов животных и его зависимости от различных природно-экологических факторов. Впоследствии подобные системы стали использоваться очень широко, и в настоящее время технологии растрового геоинформационного моделирования и анализа применяются в совершенно не связанных между собой областях, начиная от прогнозирования ареалов распространения биологических объектов и метеорологии и заканчивая анализом автомобильного трафика в мегаполисах.
Все сильнее ускоряющееся развитие цифрового мира неизбежно влечет за собой увеличение общего объема данных, подлежащих обработке. Справиться с их анализом силами одного компьютера или даже целого кластера часто бывает сложно, а иногда и невозможно по финансовым или техническим причинам. Это явление не обошло стороной и рынок географических информационных систем, нагрузка которых часто включает в себя работу не только с относительно легковесными векторными объектами, но и зачастую с космическими снимками поверхности, могущими иметь очень высокие разрешения. В настоящее время существуют космические аппараты, способные получать информацию об объектах, отстоящих друг от друга на расстоянии в 31 сантиметр, что дает примерно 10 пикселей на квадратный метр земной поверхности, и этот показатель постоянно увеличивается [1].
На данный момент существует достаточно много программных продуктов, так или иначе взаимодействующих с этим типом географических данных. Среди них есть как известные всем продукты массового использования, такие как Google Maps и Яндекс.Карты, так и менее известные во многом благодаря своей специфике сервисы, позволяющие применять подход геоинформационных систем, например, к проблемам урбанистики [2, 3, 4] и экономики [5]. Одним из таких проектов является O-GIS [6] — геоинформационная система с открытым исходным кодом, в рамках которой в данной работе разрабатывается вычислительный модуль.
Но, как и любой проект, находящийся в стадии разработки, O-GIS имеет нерешенные проблемы, одной из которых является невысокая скорость выполнения операций растровой алгебры, включающих в себя как различные прямые пользовательские запросы, так и проективные преобразования. В рамках данной работы предпринята попытка переработки вычислительного модуля системы, включающего в себя как общие методы реализации высокопроизводительных систем, так и специфичные, могущие найти свое применение непосредственно в рамках обозначенной системы.

Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!


В рамках данной работы разработан прототип вычислительного модуля, предназначенного для выполнения операций растровой алгебры в рамках Географической Информационной Системы O-GIS.
Примененные техники распределенных вычислений являются достаточно универсальными в том смысле, что могут быть применены практически к произвольным вычислительным системам, к которым может быть применена соответствующая математическая теория из разделов «Оптимальное распределение текущей нагрузки между хостами в вычислительной сети» и «Определение структуры вычислительной схемы». В то же время методы, описанные в разделах «Распределение данных по кластеру» и «Реализация отложенных вычислений», являются специфичными и применимыми только к растровым данным, имеющим картографическую природу.
Техническая реализация модуля доступна в виде проекта с открытым исходным кодом в виде репозитория на github.com [62].


1. Описание спутника WorldV iew-3. http://www.ball.com/aerospace/Aerospace/media/Aerospace/Downloads/ D3088-WV3_2.pdf
2. Scholten H. J. Geographical information systems for urban and regional planning. / ed. by J. Stillwell. Vol. 17. Springer Science & Business Media, 2013. 276 p.
3. Gu Y. G., Wang Z. H., Lu S. H., Jiang S. J., Mu D. H., Shu Y. H. Multivariate statistical and GIS-based approach to identify source of anthropogenic impacts on metallic elements in sediments from the mid Guangdong coasts, China. // Environmental pollution, 2012. Vol. 163. P. 248-255.
4. Yeh, A. G. O. Urban planning and GIS. // Geographical information systems, 1999. Vol. 2. P. 877-888.
5. Yi C. S., Lee J. H., Shim M. P. GIS-based distributed technique for assessing economic loss from flood damage: pre-feasibility study for the Anyang Stream Basin in Korea. // Natural hazards, 2010. Vol. 55 (2). P. 251-272.
6. Афонин А. Н., Севрюков С. Ю., Соловьев П. А., Лунева Н. Н. Веб- ГИС для решения задач эколого-географического анализа и моделирования: новые возможности // Вестник Санкт-Петербургского университета. Том 7. Геология. География. 2016. Вып. 4. С. 97-111.
7. Fernandez-Baca D. Allocating modules to processors in a distributed system. // IEEE Transactions on Software Engineering, 1989. Vol. 15 (11). P.1427-1436.
8. Chen Q., Wang L., Shang Z. MRGIS: A MapReduce-Enabled high performance workflow system for GIS. // IEEE Fourth International Conference on eScience. IEEE, 2008. P. 646-651.
9. Kafil M., Ahmad I. Optimal task assignment in heterogeneous distributed computing systems. // IEEE concurrency, 1998. Vol. 6 (3). P. 42-50.
10. Armstrong R., Hensgen D., Kidd T. The relative performance of various mapping algorithms is independent of sizable variances in run-time predictions. // 7th IEEE Heterogeneous Computing Workshop (HCW '98), 1998. P. 79-87.
11. Ibarra O. H., Kim C. E. Heuristic algorithms for scheduling independent tasks on nonidentical processors. // Journal of the ACM (JACM), 1997. Vol. 24 (2). P. 280-289.
12. Freund R. F., Gherrity M., Ambrosius S., Campbell M., Halderman M., Hensgen D., Keith E., Kidd T., Kussow M, Lima J. D., Mirabile F., Moore L., Rust B., Siegel H. J. Scheduling resources in multi-user, heterogeneous, computing environments with SmartNet. // 7th IEEE Heterogeneous Computing Workshop (HCW '98), 1998. P. 184-199.
13. Веремей Е. И. Линейные системы с обратной связью: учебное пособие. СПб.: Изд. «Лань», 2013. 448 с.
14. Буре В. М., Парилина Е. М. Теория вероятностей и математическая статистика. СПб.: Лань, 2013. 416 c.
15. Гардинер К. Стохастические методы. Том 4. Берлин: Springer, 2009. 439 с.
...


Работу высылаем на протяжении 30 минут после оплаты.




©2025 Cервис помощи студентам в выполнении работ