Введение 3
Глава 1. Обзор методов семантической сегментации трехмерных облаков точек 6
Глава 2. Экспериментальное исследование методов семантической сегментации трехмерных облаков точек 30
Глава 3. Анализ результатов экспериментального исследования 33
Заключение 36
Список литературы 37
В настоящее время современными технологиями сбора данных, которые позволяют получать трехмерные облака точек, являются лазерное сканирование, камеры глубин, стереофотограмметрия, структурированный свет. Они пришли на смену традиционным геодезическим методам и фотосъемке. Их популярность в разнообразных сферах деятельности: геодезии, строительстве, архитектуре, робототехнике можно объяснить получением более точных измерений с меньшими затратами времени, труда, финансовых ресурсов.
В то же время рост вычислительных мощностей и доступность трехмерных данных способствуют развитию технологий обработки облаков точек, которые реализуются задачами компьютерного зрения: сегментации, классификации и детекции. Сегментация - это процесс разделение всего облака точек на отдельные сегменты, с присвоением каждой точке значения класса данного объекта. Тогда как в классификации класс присваивается в целом к объекту, а не к каждой отдельной точке. Детекция - это процесс поиска и определения конкретных объектов в облаке, которые являются интересными для исследования.
Сегментация трехмерных облаков точек имеет более короткую историю, нежели другие задачи компьютерного зрения. Только с недавних пор этот термин стал очень популярен, однако в дистанционном зондировании ее часто называют классификацией.
Существует несколько видов сегментации: семантическая, паноптическая, по экземплярам, по частям. Выбор между задачами компьютерного зрения и их видами зависит от требований конкретной прикладной или научной задачи.
Семантическая сегментация трехмерных облаков точек заключается в присвоении каждой точке в трехмерном облаке точек соответствующей классовой метки. Она является важным инструментом обработки данных в дистанционном зондировании, геоинформатике, геодезии. Примерами использования данной технологии является инвентаризация, мониторинг, планирование объектов городской инфраструктуры и окружающей среды, анализа геометрических свойств объектов, создание точных и детализированных карт и моделей местности, способствует развитию концепций цифровых двойников и умных городов.
Трехмерное облако точек для геопространственных приложений — это набор точек в трехмерном пространстве, который представляет собой часть трехмерной сцены, где каждая точка описана дескрипторами, например, координатами и дополнительными признаками, такими как цвет, интенсивность. Важно отметить, что такие облака точек плотные и крупномасштабные, так как в ранние исследования технологиям обработки небольших и разреженных облаков точек, которые не отражали действительность.
Существует множество общедоступных наборов данных трехмерных облаков точек, которые ориентированы на автономное вождение. Новый набор данных 2023 года — Saint Petersburg 3D (Lytkin, 2023) содержит несколько крупномасштабных сцен, состоящих из плотных облаков точек мобильного LiDAR на открытом воздухе. Ему соответствует сбалансированный набор из 10 универсальных категорий объектов.
Многие геопространственные приложения поддерживают работу с облаками точек, например, GlobalMapper, TerraScan, ENVI LiDAR, CloudCompare, Agisoft Metashape, Bentley Pointools, ArcGIS Pro, Autodesk ReCap, но не одна из данных программ не содержит специализированного инструмента для семантической сегментации. В некоторых из них, например, в CloudCompare, есть возможность интеграции стороннего пользовательского плагина для решения данной задачи. Для его создания нужно иметь знание языка программирования и API конкретной программы. В плагине необходимо реализовать не только, алгоритмы обработки облаков точек и обучения моделей, но и интерфейс для взаимодействия пользователя с ним.
Семантическая сегментация трехмерных облаков точек реализована различными методами - алгоритмами, разработка и исследование которых начались с 2010-х годов. С тех пор было предложено большое количество эффективных методов. В настоящее время наблюдается значительный прогресс в этой области. Семантическая сегментация облаков точек находится в стадии активного развития.
На основании вышеизложенного, можно сказать, что данное исследование имеет высокую актуальность.
С точки зрения практической значимости будет проведено экспериментальное исследования, а также получены метрические характеристики исследуемых методов для набора данных Saint Petersburg 3D.
С точки зрения научной значимости предстоит масштабный анализ существующих методов семантической сегментации трехмерных облаков точек для получения обобщенного и систематического представления в данной области исследования.
Формулировка исследовательского вопроса следует из названия ВКР и звучит так: «Какие методы семантической сегментации трехмерных облаков точек наиболее эффективны?». В нем определена проблематика данного исследования, которая заключается в том, что существует много методов, но некоторые из них не обладают достаточной эффективностью для решения задачи сегментации облаков точек.
Цель исследования: определение наиболее эффективного метода семантической сегментации трехмерных облаков точек геопространственных приложений.
Выполнение обозначенной цели включило в себя следующие задачи, определяющие структуру работы:
1. Изучить методы семантической сегментации трехмерных облаков точек и выявить путем теоретического анализа для экспериментального исследования самые релевантные.
2. Провести экспериментальное исследование методов на наборе данных Saint Petersburg 3D.
3. Проанализировать, оценить полученные результаты сегментации, сделав вывод об эффективности методов.
Объект исследования — неструктурированные облака точек для геопространственных приложений. Предмет исследования — методы семантической сегментации трехмерных облаков точек.
Тема данной работы имеет достаточно высокую разработанность в литературе за последнее десятилетие. В многочисленных статьях было предложено большое количество методов. Однако последнее обзорное исследование, включающее систематический анализ литературы по соответствующей теме, было проведено в 2021 году (He, 2021). Поэтому данная работа содержит актуальный обзор литературы о методах семантической сегментации трехмерных облаков точек, последних исследований и разработок, важных проблем в области семантической сегментации трехмерных облаков точек.
В последнее годы появилось множество новых эффективных методов семантической сегментации трехмерных облаков точек благодаря совершенствованию технологий сбора данных, вычислительных систем. Такие методы требуют исследований для понимания их применимости в тех или иных практических задачах, а также для оценки их эффективности.
В ходе данной работы был выполнен теоретический анализ методов семантической сегментации трехмерных облаков точек и составлен обзор большого количества из них, который дал понимание сути, преимуществ и недостатков каждого метода. Отобран релевантный метод KPConv (Thomas, 2019), потому что он удовлетворяет условиям данного экспериментального исследования. Для семантической сегментации выбрана нейронная сеть KP-FCNN, в которую входит KPConv. Проведено экспериментальное исследование на наборе данных Saint Petersburg 3D (Lytkin, 2023), где KP-FCNN продемонстрировала превосходные результаты семантической сегментации плотных крупномасштабных облаков точек для геопространственных приложений . Оценка классов с помощью метрики и визуализация размеченных облаков точек помогли проанализировать результаты KP-FCNN и сделать вывод о ее высокой эффективности.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
