ВВЕДЕНИЕ 3
1 СИСТЕМА ХРАНЕНИЯ ДАННЫХ В ARCHGIS 6
1.1 О системе ArcGIS 6
1.2 Модель данных ArchGIS 8
1.3 Neo4j 10
1.4 Ограничения системы хранения в ArchGIS 12
2 ОПТИМИЗАЦИЯ ПОИСКА ПРОСТРАНСТВЕННЫХ ДАННЫХ 13
2.1 Пространственный индекс 13
2.1 Типы структур для индексирования пространственных данных 14
2.3 R-tree 18
2.4 Построение пространственного индекса на основе R-tree 20
3 РЕАЛИЗАЦИЯ 21
3.1 Настройка работы Neo4j 21
3.2 Реализация с Neo4jSpatial 24
3.2.1 Настройка работы Neo4jSpatial 24
3.2.2 Создание слоя геометрических данных 25
3.2.3 Добавление узлов к слою геометрических данных 26
3.3 Результаты оптимизации 28
ЗАКЛЮЧЕНИЕ 31
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 34
ПРИЛОЖЕНИЕ
Системы, предоставляющие доступ к пространственным данным и возможность работать с ними,пользуются большой популярностью сегодня. Это, например, поиск объектов по расположению [1]. Такие сервисы находят применение как рядовыми пользователями в быту, так и учеными, инженерами при автоматизации решения задач науки, работах на местности др.
Объекты реального мира в таких системах хранятся и управляются в пространственных базах данных (БД).Они оптимизированы для обработки информации о расположении и свойствах естественных или искусственно созданных объектов, представленных в виде абстракций: точка, линия, полигон. Например, фонарь или дерево можно представить в форме точки, а очертания леса, страны -как полигон. Такие БД способны работать с большими объемами информации со сложными, многоуровневыми отношениями и позволяют использовать разные структуры данных. Пространственные БД упрощают выполнение таких операций, как, например, поиск всех интересующих точек в ограниченной области, нахождение пересечения объектов.Для быстрого и эффективного доступа и извлечения информации в таких БД применяется пространственный индекс [2].
Система учета результатов археологических исследований ArchGIS хранит данные о пространственных объектах. Сервис осуществляет поиск по расположению среди памятников, исследований, вскрытий, артефактов и объектов культурного наследия (ОКН) по их географическим координатам. Все хранящиеся в системе объекты - цифровые представления реального объекта - имеют пространственную привязку с указанием степени точности: точная субметровая, точная метровая, по крупномасштабной карте или снимку, по мелкомасштабной карте или абрису, по словесному описанию.
ЛгеИОТЗ является инновационной системой для хранения и обработки результатов археологических исследований. Система используется для решения задач археологии как науки.Сервис предлагает уникальные возможности для пространственного анализа с хронологическим исследованием, построенным на основании различных видов источников: типологии артефактов, радиоуглеродного датирования, стратиграфических наблюдений.Например, с помощью анализа расположения одного типа клинка, обнаруженного на разных участках земли и имеющих разный возраст, можно проследить, в каком направлении кочевали народы и т. д.
ArchGIS оперирует большими объемами данных. Сегодня БД системы насчитывает порядка 40 тыс. объектов. Эта цифра растет с добавлением новых сущностей и их атрибутов:данных обОКН и археологических комплексах (сооружениях, погребениях и иных объектах), артефактах, радиоуглеродных датах, данных о раскопках, отчетов и результатов исследований.
Проблема
Для дальнейшего развития и использования системы необходима оптимизация возможностей для пространственного анализа, а именно оптимизация алгоритма поиска среди объектов с пространственной привязкой.
В данный момент поиск по расположению в системе реализуется на основе алгоритма прямого перебора - это метод так называемой «грубой силы». Данный способ требует больших временных затрат, так как подразумевает рассмотрение всех объектов в базе данных с целью выявления подходящих посредством независимого анализа каждого.Использование алгоритма содержит в себе ряд проблем:
• Большое количество обращений к базе данных при выполнении запроса;
• Превышение возможных объемов кэша при обработке данных;
• Долгий отклик сервера;
• Так называемые «подвисания» сервера и многочисленные ошибки;
• Неудовлетворительная скорость выполнения запроса пользователя в целом.
Сервис, имеющий такие проблемы в работе, неприемлем для последующего решения своих задач учеными: в данном случае
о неприемлем для выполнения запросов о расположении пространственных объектов.
Целью дипломной работы является оптимизация поиска объектов с пространственной привязкой на исходном наборе данных.
Задачи
Ставятся следующие задачи по решению проблемы:
• Проанализировать особенности системы хранения данных в ArchGIS и выявить их «узкие» места;
• Исследовать методы оптимизации поиска пространственных
данных и выбрать наиболее оптимальное и эффективное решение для внедрения в исходную систему;
• Внедрить решение.
В процессе выполнения дипломной работы было внедрено решение по оптимизации поиска пространственных данных в систему учета результатов археологических исследований ArchGIS. Для этого были решены все поставленные задачи.
Во-первых, были проанализированы база данных ArchGIS, модель данных, используемая в ArchGIS, а также система управления базой данных Neo4j. В результате были выявлены проблемные места исходной системы хранения.
• Запросы к пространственным данным осуществляются путем перебора и пространственных, и непространственных данных, что ухудшает показатели производительности запросов на большом наборе данных;
• Текущая система управления базой данных Neo4j в том виде, в котором она используется на проекте, не оптимизирована для хранения и обработки пространственных данных.
Во-вторых, были исследованы способы оптимизации пространственных данных и был выбран оптимальный метод.
• Для оптимального анализа объектов с пространственной привязкой применяется пространственный индекс. Он способен оптимизировать эффективность извлечения данных использованием различных структур;
• Предпочитаемой структурой при построении пространственного индекса является древовидная структура данных. Дерево основано на делении пространства на вложенные ячейки, позволяющие проводить поиск только в области интереса;
• Древовидной структурой, способной структурировать двумерные данные, является R-tree. Обработка дерева имеет логарифмическую сложность.
Результаты оптимизации указаны в таблице 1, где сравнивается эффективность запросов для нахождения всех объектов в пределах некоторого расстояния от указанной точки с использованием метода перебора ис применением пространственного индекса. При сравнении используются следующие показатели: количество обращений к БД и время выполнения запроса в мс.
