Введение 4
1. Постановка цели и задач 6
2. Обзор 7
2.1. Алгоритмы сегментации облаков точек 7
2.2. Метрики оценки точности сегментации 12
2.3. Наборы данных 15
2.4. Вывод 16
3. Алгоритм сегметации облаков 17
3.1. Принцип работы алгоритма 17
3.2. Использованные инструменты 18
3.3. Подготовка облака к сегментации 19
3.4. Кластеризация точек 27
4. Экспериментальное исследование 33
4.1. Цель и вопросы эксперимента 33
4.2. Условия эксперимента 33
4.3. Результаты 34
4.4. Вывод 39
Заключение 40
Список литературы 41
В современном мире широкое распространение получили автономные транспортные средства, управление которыми осуществляется без водителя. Такие автомобили планируют движение путем сканирования пространства различными датчиками, анализируя полученную информацию. Популярным компонентом подобной системы датчиков является лидар. Лидар направляет лазерный луч на объект и при отражении получает его обратно, за счет чего вычисляется расстояние до точки. Таким образом, лидар формирует 3В~представление окружающего пространства в виде облака точек. Время суток и погодные условия не оказывают губительное влияние на качество лидарных данных, чего нельзя сказать о снимках камеры. Солнце и уличное освещение создают блики, пасмурная погода и темное время суток делают объекты на фото неразличимыми для механизмов распознавания. В связи с вышеизложенным использование лидара необходимо для получения стабильных данных в любых условиях и, как следствие, для надежной беспилотной навигации.
Для ориентирования автономного средства в пространстве первостепенной задачей является обнаружение и семантическая сегментация объектов в лидарных облаках, то есть разбиение точек на категории в соответствии с их смыслом. Лидарные данные представляют собой десятки тысяч разреженных точек с неравномерной плотностью, поэтому детерменированные алгоритмы не справляются с их обработкой. Для сегментации данных используют нейронные сети, которым для генерации качественных предсказаний необходимы тренировочные данные в виде больших датасетов аннотированных облаков. Ручная разметка требует много средств и времени и не способна охватить все разнообразие географических регионов, множество редких классов объектов, таких как детские коляски и неизвестные животные. Так, в рамках работы была проведена семантическая сегментация облаков одного из самых крупномасштабных наборов данных KITTI. Авторы отмечают, что разметка проводилась не для каждого отдельного разреженного облака, а сразу для нескольких облаков, объединенных в одно плотное. Несмотря на эту оптимизацию, разметка всего набора данных заняла более 1700 часов. В связи с этим возникает необходимость автоматизировать процесс сегментации лидарных облаков для генерации предсказаний объектов на плотном облаке. Это позволит свести процесс ручной сегментации необработанных данных к корректировкам уже готовых предсказаний, что существенно облегчает и снижает затраты на ручную разметку и, как следствие, упрощает генерацию обучающих данных для нейронных сетей. Таким образом, задача сводится к получению предварительной автоматической разметки отдельных объектов в плотных облаках.
Беспилотные средства в совокупности с лидарами оснащены камерами. Изображения с них могут быть сегментированы с помощью нейронных сетей, например SAM, SEEM. Генерируемая ими разметка довольно точна, так как нейронные сети имеют большие коллекции тренировочных снимков c истинной семантической сегментацией. Так как лидарные облака и снимки камеры отражают одно и то же пространство, но в разных форматах, сегментация изображений с камер может быть переиспользована для облаков. Некоторые современные алгоритмы задействуют разметку объектов со снимков вместе с лидарными облаками. Так, например, работы переносят разметку со снимков на отдельные лидарные облака. Другие методы [направлены на изучение дескрипторов для отдельных лидарных облаков, которые содержат полезную для распознавания объектов информацию об изображениях. Однако, оба класса подходов не ориентированы на использование данной разметки для плотного облака, с которым приходится работать разметчикам. Более того, в таком сценарии сегментации доступна информация об изображениях со всей протяженности отснятой траектории, то есть сегментация может быть уточнена за счет объединения предсказаний объекта с различных ракурсов съемки.
В данной работе предлагается алгоритм разметки объектов в плотных облаках точек с использованием информации с изображений и современных подходов для распознавания объектов на них.
При выполнении данной работы были достигнуты следующие результаты.
1. В рамках обзора рассмотрены существующие алгоритмы сегментации облаков точек, метрики для оценки качества их разметки, выявлен ряд наиболее популярных наборов данных для обучения моделей и тестирования решений.
2. Предложен и реализован алгоритм разметки облаков точек на основе сегментации изображений1. Реализован набор модульных тестов, создана система непрерывной интеграции на основе GitHub Actions.
3. Определены оптимальные значения гиперпараметров алгоритма и исследовано их влияние на генерируемую сегментацию.
4. Проведено экспериментальное сравнение разработанного алгоритма с ручной разметкой и существующими алгоритмами кластеризации.
