Облака точек представляют собой наборы данных, состоящих из трёхмерных точек; как правило, эти точки предназначены для представления внешней поверхности объекта. Распространённым способом сбора данных облака точек является применение сканирующих приборов, использующих LiDAR (Light Detection and Ranging«обнаружение и определение дальности с помощью света») — технологию измерения расстояния путём излучения света и замера времени возвращения отражённого света на приёмник [32]. Кроме того, устройство многих сканирующих приборов позволяет при сканировании устанавливать их с учётом направления гравитации.
Облака точек заданы в локальной системе координат сканирующего прибора. Сопоставление (регистрация, выравнивание) облаков точек — процесс совмещения нескольких облаков точек в единую систему координат. Цель сопоставления — для каждого облака точек вычислить параметры преобразования, матрицу поворота и вектор смещения, переводящие его в глобальную систему координат [Рис. 1]. Задача сопоставления облаков точек играет большую роль в важных приложениях компьютерного зрения, таких как восстановление трёхмерной модели объекта и трёхмерная локализация, то есть определение положения агента в трёхмерном пространстве.
Можно разделить алгоритмы сопоставления на два типа по количеству выравниваемых облаков: алгоритмы регистрации пары облаков точек и алгоритмы выравнивания нескольких (больше двух) облаков точек.
Большинство алгоритмов попарного сопоставления проходят в два этапа. Сначала осуществляется глобальная регистрация, получающая в качестве результата грубое приближение параметров искомого преобразования. Затем производится локальная регистрация — применяются алгоритмы оптимизации, направленные на уточнение полученной грубой оценки преобразования.
Алгоритмы попарного выравнивания облаков точек можно разделить на две категории: вероятностные алгоритмы и алгоритмы, основанные на получении соответствий между точками выравниваемых облаков, которые затем используются для вычисления параметров преобразования. В вероятностных алгоритмах результат сопоставления сильно зависит от результатов семплирования, поэтому они плохо справляются с выравниванием крупномасштабных облаков точек. Алгоритмы, строящие соответствия между точками, не всегда справляются с выравниванием из-за большого количества выбросов среди соответствий.
В данной дипломной работе исследуются алгоритмы глобального сопоставления пары LiDAR облаков точек и предлагается новый алгоритм, направленный на решение проблем существующих подходов и использование особенностей сканирующих приборов для повышения устойчивости выравнивания.
Постановка задачи
Цель данной работы - разработать алгоритм глобального сопоставления LiDAR облаков точек, основанный на построении соответствий между точками облаков и стабильно выравнивающий даже крупномасштабные облака точек. Для достижения сформулированной цели были поставлены следующие задачи:
• разработать метод фильтрации неверных соответствий;
• продумать и реализовать метод использования направления гравитации для повышения устойчивости сопоставления;
• протестировать алгоритм на доступных наборах крупномасштабных облаков точек.
В рамках данной работы были достигнуты следующие результаты:
• был разработан метод фильтрации неверных соответствий, заметно повышающий процент верных соответствий и увеличивающий вероятность успешного сопоставления;
• была предложена новая метрика, комбинирующая в себе преимущества существующих метрик;
• был разработан метод построения соответствий, использующий на-правление гравитации;
• полученный алгоритм был протестирован на нескольких доступных датасетах и при применении каждой из предложенных модификаций продемонстрировал заметное улучшение результатов.
Дальнейшая работа может быть направлена на:
• улучшение производительности предложенного метода;
• внедрение данного метода в алгоритм сопоставления нескольких (больше двух) облаков точек.
[1] D. AIGER, N. J. MITRA, AND D. CQHEN-OR, 4-points congruent sets for robust pairwise surface registration, ACM SIGGRAPH 2008 papers, (2008).
[2] G. BAATZ, K. KQSER, D. M. CHEN, R. GRZESZCZUK, AND M. PQLLEFEYS, Handling urban location recognition as a 2d homothetic problem, in ECCV, 2010.
[3] J. BIAN, W.-Y. LIN, Y. MATSUSHITA, S.-K. YEUNG, T. D. NGUYEN, AND M.-M. CHENG, Gms: Grid-based motion statistics for fast, ultra- robust feature correspondence, 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), (2017), pp. 2828-2837.
[4] A. G. BUCH AND D. KRAFT, Local point pair feature histogram for accurate 3d matching, in BMVC, 2018.
[5] C. CHANG, S. CHATTERJEE, AND P. R. KUBE, On an analysis of static occlusion in stereo vision, Proceedings. 1991 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, (1991), pp. 722¬723.
[6] H. DENG, T. BIRDAL, AND S. ILIC, Ppfnet: Global context aware local features for robust 3d point matching, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, (2018), pp. 195-205.
[7] M. A. FlSCHLER AND R. C. BQLLES, Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Commun. ACM, 24 (1981), pp. 381-395.
[8] A. FRQME, D. F. HUBER, R. K. KQLLURI, T. BULQW, AND J. MALIK, Recognizing objects in range data using regional point descriptors, in ECCV, 2004.
[9] Y. Guo, F. SOHEL, BENNAMOUN, M. Lu, AND J. WAN, Rotational projection statistics for 3d local surface description and object recognition, International Journal of Computer Vision, 105 (2013), pp. 63-86.
[10] A. HARLTEY AND A. ZISSERMAN, in Multiple view geometry in computer vision (2. ed.), 2003.
[11] A. E. JOHNSON AND M. HEBERT, Surface matching for object recognition in complex three-dimensional scenes, Image Vis. Comput., 16 (1998), pp. 635-651.
[12] D. G. LOWE, Object recognition from local scale-invariant features, Proceedings of the Seventh IEEE International Conference on Computer Vision, 2 (1999), pp. 1150-1157 vol.2.
[13] G. LOWEDAVID, Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, (2004).
[14] A. MYRONENKO, X. B. SONG, AND M. A. CARREIRA-PERPINAN, Non- rigid point set registration: Coherent point drift, in NIPS, 2006.
[15] S. QUAN, J. MA, F. HU, B. FANG, AND T. MA, Local voxelized structure for 3d binary feature representation and robust registration of point clouds from low-cost sensors, Inf. Sci., 444 (2018), pp. 153-171.
[16] R. B. Rusu, N. BLODOW, AND M. BEETZ, Fast point feature histograms (fpfh) for 3d registration, 2009 IEEE International Conference on Robotics and Automation, (2009), pp. 3212-3217.
[17] R. B. Rusu AND S. B. COUSINS, 3d is here: Point cloud library (pcl), 2011 IEEE International Conference on Robotics and Automation, (2011), pp. 1-4.
[18] I. STAMOS AND M. LEORDEANU, Automated feature-based range registration of urban scenes of large scale, 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings., 2 (2003), pp. II-Ii.
[19] P. W. THEILER AND K. SCHINDLER, Automatic registration of terrestrial laser scanner point clouds using natural planar surfaces, ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, (2012), pp. 173-178.
[20] P. W. THEILER, J. D. WEGNER, AND K. SCHINDLER, Keypoint-based 4- points congruent sets - automated marker-less registration of laser scans, Isprs Journal of Photogrammetry and Remote Sensing, 96 (2014), pp. 149¬163.
[21] F. TOMBARI, S. SALTI, AND L. DI STEFANO, Unique signatures of histograms for local surface description, in ECCV, 2010.
[22] Y. TSIN AND T. KANADE, A correlation-based approach to robust point set registration, in ECCV, 2004.
[23] L. Wu, K. ZHONG, Z. LI, M. ZHOU, H. HU, C. WANG, AND Y. SHI, Pptfh: Robust local descriptor based on point-pair transformation features for 3d surface matching, Sensors (Basel, Switzerland), 21 (2021).
[24] J. YANG, Z. CAO, AND Q. ZHANG, A fast and robust local descriptor for 3d point cloud registration, Inf. Sci., 346-347 (2016), pp. 163-179.
[25] J. YANG, Z. HUANG, S. QUAN, Q. ZHANG, Y. ZHANG, AND Z. CAO, On efficient and robust metrics for ransac hypotheses and 3d rigid registration, ArXiv, abs/2011.04862 (2020).
[26] Z. ZHANG, L. SUN, R. ZHONG, D. CHEN, Z. XU, C. WANG, C.-Z. QIN, H. SUN, AND R. LI, 3-d deep feature construction for mobile laser scanning point cloud registration, IEEE Geoscience and Remote Sensing Letters, 16 (2019), pp. 1904-1908.
[27] H. ZHAO, M. TANG, AND H. DING, Hoppf: A novel local surface descriptor for 3d object recognition, Pattern Recognit., 103 (2020), p. 107272.
[28] L. ZHOU, S. ZHU, Z. Luo, T. SHEN, R. ZHANG, M. ZHEN, T. FANG, AND L. QUAN, Learning and matching multi-view descriptors for registration of point clouds, ArXiv, abs/1807.05653 (2018).
[29] Q.-Y. ZHOU, J. PARK, AND V. KOLTUN, Open3d: A modern library for 3d data processing, ArXiv, abs/1801.09847 (2018).
[30] Automatic registration of partially overlapping
terrestrial laser scanner point clouds. https:
//prs.igp.ethz.ch/research/completed_projects/automatic_registration_of_point_clouds.html. [Online; accessed
24-May-2022].
[31] Faro laser scanner user manual. https://echosurveying.com/docs/Faro_Focus_M70_S70_S150_S350_User_Manual.pdf", 2018.
[32] Lidar — Wikipedia, the free encyclopedia. https://en.wikipedia.org/-w/index.php?title=Lidar&oldid=1087322947. [Online; accessed 24-May- 2022].