Введение 3
1. Системы 3D реконструкции 5
1.1. Типы сенсоров 6
1.2. Форматы данных 3D реконструкции 12
1.3. Текущие недостатки систем 3D реконструкции 17
1.4. Испытания в лаборатории 23
2. Проблема исследования и покрытия 3D пространства 28
2.1. Описание проблемы 29
2.2. Методы решения для 2D окружения 29
2.3. Методы решения для 3D окружения 30
3. Решение проблемы в неструктурированном 3D пространстве 34
3.1. Алгоритм решения 35
3.2 Имплементация в среде MATLAB 43
3.3. Обработка модели для экспорта в Gazebo 45
4. Сравнительный анализ 50
4.1 Анализ алгоритмов и критерии сравнения 50
4.2 Виртуальные эксперименты 52
4.3 Анализ алгоритмов относительно критериев из П.4.1 53
5. Планируемые исследования 55
Заключение 57
Список использованных источников 58
Приложение
Данная работа посвящена разработке алгоритма в области научной темы автономного изучения трехмерного (3D) пространства для наземного мобильного робота. Основной проблемой данной темы является получение максимально полного сбора пространственной информации при условии ограниченности времени с помощью автономного робота, оснащенного сенсором 3D глубины. Минимизация длины пройденного пути при обследовании пространства является основной формальной задачей данной проблемы.
Актуальность данной темы основывается на усложнении классической темы изучения 2D пространства через использование современных систем 3D реконструкции окружения, благодаря которым возможно восприятие пространства близкое к уровню человеческого восприятия пространства. Оптимальное изучение 3D пространства дает возможность системам искусственного интеллекта в кратчайшие сроки получить наиболее полную информацию об окружении и находящихся в нем доступных для манипуляции объектах, что повышает эффективность принятия решений системами искусственного интеллекта.
Научный вклад представленной работы состоит в поднятии проблемы тестирования алгоритмов в сложном неструктурированном окружении и в разработке нового алгоритма для оптимального изучения подобного окружения. Существующие алгоритмы проектировались для простого окружения и по итогам анализа выявилась существенная неэффективность применения этих алгоритмов в условиях сложного неструктурированного окружения. В связи с этим, было разработан новый алгоритм изучения 3D пространства, которое в сравнении с другими алгоритмами показало большую эффективность в
неструктурированном окружении и на основе которого было написаны две научные статьи для конференций, индексируемых в Scopus.
Разработанное решение включает в себя один основной и два дополнительных алгоритмов. Основной алгоритм является новым алгоритмом автономного изучения пространства для мобильного робота. Данный алгоритм показал лучший результат в тестировании и сравнении с другими известными алгоритмами для 2.5D неструктурированного окружения, где 2.5D означает окружение с плоским пустым пространством. Дополнительные алгоритмы отвечают за генерацию 2.5D неструктурированного воксельного окружения и перевода его в 3D модель в сглаженной форме, которые используются для тестирования алгоритмов автономного изучения. Все три алгоритма обеспечивают необходимую базу для повышения качества тестирования алгоритмов в приведенной научной области.
Структура работы включает пять глав. В первой главе идет подробное описание современных разработок в области реконструкции 3D пространства с помощью различных типов сенсоров 3D глубины. Во второй главе следует описание известных по научной литературе алгоритмов в теме автономного изучения 3D пространства. В третьей главе следует детальное описание нового решения в виде алгоритма автономного изучения пространства и добавочных алгоритмов генерации случайного окружения. В четвертой главе новое решение сравнивается с решениями других авторов из второй главы. В заключительной пятой главе приводятся идеи для дальнейшего развития темы.
В данной выпускной квалификационной работе приводятся результаты работы по теме исследования и покрытия 3D пространства на основе накопленных автором знаний за 2 года обучения робототехнике в магистратуре. Результаты исследования были оформлены в виде нового алгоритма, значительно повышающего результаты в сложном неструктурированного окружении для простого наземного робота. В дополнении также был реализован алгоритм создания неструктурированного 2.5D окружения, использованного для проверки эффективности алгоритма, а также алгоритм перевода воксельного окружения в сглаженную 3D модель. На основе проделанной работы написаны на английском языке и приняты к публикации две научные статьи на конференции ICINCO 2019 [71] и ICR 2019 [72]. Вся работа и код ВКР выложены в репозиторий по адресу
http://gititis.kpfu.ru/EVDenisov/Master_Thesis_2019. Выбранная тема имеет большой потенциал для развития, поэтому автор планирует продолжить исследовательскую научную работу по данной теме в аспирантуре.
[1] Hartleya R. I. Triangulation / R. I. Hartleya, P. Sturmb // Computer Vision and Image Understanding - Volume 68 Issue 2, Nov. 1997. - p. 146-157.
[2] Kolb A. Time-of-Flight Cameras in Computer Graphics / A. Kolb, E. Barth, R. Koch, R. Larsen // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2008.
[3] Audras C.. Real-time dense appearance-based SLAM for RGB-D sensors / C. Audras, A. I. Comport, M. Meilland, P. Rives. // Australasian Conference on Robotics and Automation - 2011.
[4] Sarbonlandi H. Kinect Range Sensing: Structured-Light versus Time-of- Flight Kinect / H. Sarbonlandi. D. Lefloch, A. Kolb // Computer Vision and Image Understanding Volume (2015) - 139: 1-20.
[5] Richardt C. . Wide-Baseline Scene Flow From Two Handheld Video Cameras / C. Richardt, H. Kim, L. Valgaerts, C. T. Dense. // International Conference on 3D Vision (3DV) - 2016.
[6] M. J. Brooks. Direct methods for self-calibration of a moving stereo head / M. J. Brooks, L. Agapito, Du Huynh, L. Baumela // In IEEE European Conference on Computer Vision (ECCV) - 1996.
[7] Farneback G. Two-Frame Motion Estimation Based on Polynomial Expansion / G. Farneback // Image Analysis: 13th Scandinavian Conference (SCIA) - 2003 - c. 363-370.
[8] Vidal A. R. Ultimate SLAM? Combining Events, Images, and IMU for Robust Visual SLAM in HDR and High Speed Scenarios / A. R. Vidal, H. Rebecq, T. Horstschaefer, D. Scaramuzza // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2017.
[9] F. Pomerleau. Comparing ICP variants on real-world data sets / F. Pomerleau, F. Colas, R. Siegwar, S.Magnena //Autonomous Robot - 2013 - vol. 34 - p. 133-148.
[10] Konolige K. Range Sensing / K. Konolige. A. Nuchter // Springer Handbook of Robotics: Chap. 31 - 2016.
[11] Engel J. LSD-SLAM: Large-Scale Direct Monocular SLAM / J. Engel, T. Schops. D, Cremers // In IEEE Conference on European Conference on Computer Vision (ECCV) - 2014 - p. 834-849.
[12] Pizzoli M. REMODE: Probabilistic, Monocular Dense Reconstruction in Real Time / M. Pizzoli. C. Forster. D. Scaramuzza // In IEEE International Conference on Robotics and Automation (ICRA) - 2014 - p. 2609-2616.
[13] Concha A. DPPTAM: Dense piecewise planar tracking and mapping from a monocular sequence / A. Concha. J. Civera // In IEEE International Conference on Intelligent Robots and Systems (IROS) - 2015.
[14] Engel J. Direct Sparse Odometry / J. Engel, V. Koltun, D. Cremers // In IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) - 2018.
[15] Tateno K. CNN-SLAM: Real-Time Dense Monocular SLAM with Learned Depth Prediction / K. Tateno, F. Tombari, I. Laina, N. Navab // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2017.
[16] Newcombe R. A. KinectFusion: Real-Time 3D Reconstruction and Interaction Using a Moving Depth Camera / R. A. Newcombe, S. Izadi, O. Hilliges,
D. Kim, A. J. Davison, P. Kohli, J. Shotton, S. Hodges, A. Fitzgibbon // In Proceedings of ACM Symposium on User Interface Software and Technolog (UIST) - 2011.
[17] Whelan T. Kintinuous: Spatially Extended KinectFusion / T. Whelan, J. McDonald // Computer Science and Artificial Intelligence Laboratory, Technical Report - 2012.
[18] Whelan T. Robust real-time visual odometry for dense RGB-D mapping / T. Whelan, H. Johannsson, M. Kaess , J. J. Leonard, J. McDonald // In IEEE International Conference on Robotics and Automation (ICRA) - 2013.
[19] Dai A. BundleFusion: Real-time Globally Consistent 3D Reconstruction using Online Surface Reintegration / A. Dai, M. NieBner, M. Zollhofer, S. Izadi, C. Theobalt // ACM Transactions on Graphics - 2017.
[20] Tippetts B. Review of stereo vision algorithms and their suitability for resource-limited systems / B. Tippetts, D. J. Lee, K. Lillywhite, J. Archibald // Journal of Real-Time Image Processing - 2016 - p. 5-25.
[21] Burgard W. World Modeling / W. Burgard. M. Hebert. M. Bennewitz // Springer Handbook of Robotics: Chap. 45 - 2016.
[22] Mur-Artal R. ORB -SLAM: a Versatile and Accurate Monocular SLAM System / R. Mur-Artal. J.M.M. Montiel, J. D. Tardos // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2015.
[23] Gomez-Ojeda R. PL-SVO: Semi-direct monocular visual odometry by combining points and line segments / R. Gomez-Ojeda, J. Briales, J. Gonzalez- Jimenez // In IEEE Conference on Intelligent Robots and Systems (IROS) - 2016.
[24] Moravec H. High resolution maps from wide angle sonar. / H. Moravec, A. Elfes // In IEEE International Conference on Robotics and Automation (ICRA) - 1985.
[25] Mandow A. Building Fuzzy Elevation Maps from a Ground-Based 3D Laser Scan for Outdoor Mobile Robots / A. Mandow, T. J. Cantador, A. J. Reina, J. L. Martinez, J. Morales, A. Gartia-Cerezo // Robot 2015: Second Iberian Robotics Conference - p. 29-41.
[26] Montemerlo M. A multi-resolution pyramid for outdoor robot terrain perception / M. Montemerlo, S. Thrun // Proceedings of the 19th national conference on Artifical intelligence - 2004 - p. 464-469.
[27] Gallup D. 3D Reconstruction Using an n-Layer Heightmap / D. Gallup. M. Pollefeys. J.-M. Frahm // Pattern recognition. 32nd DAGM symposium - 2010 - p. 1-10.
[28] Nguyen V. A comparison of line extraction algorithms using 2D range data for indoor mobile robotics / V. Nguyen, A. Martinelli, N. Tomatis, R. Siegwart // Autonomous Robots - 2007 - vol. 23 - p. 97-11.
[29] Hornung A. OctoMap: An efcient probabilistic 3D mapping framework based on octrees / A. Hornung, K. M. Wurm, M. Bennewitz, C. Stachniss, W. Burgard // Autonomous Robots - 2013 - vol. 34 - p. 189-206.
[30] Hornung A. Improved Proposals for Highly Accurate Localization Using Range and Vision Data / A. Hornung, M. Bennewitz, S. Oswald // In IEEE Conference on Intelligent Robots and Systems (IROS) - 2012.
[31] Heckbert P. Optimal triangulation and quadric-based surface simplification / P. Heckbert, M. Garland. J. Comput // Journal of Computational Geometry: Theory and Applications - 1999 - vol. 14(1-3) - p. 49-65.
[32] Huebner K. Selection of robot pre-grasps using Box-shape approximation and decomposition / K. Huebner. D. Kragic // In IEEE International Conference on Intelligent Robots and Systems (IROS) - 2008.
[33] Jadhav T. A review and comparison of multi-view 3D reconstruction methods / T. Jadhav. K. Singh. A. Abhyankar // Journal of Engineering Research, Vol.5, No.3 - 2017
[34] Durrant-Whyte H. Multisensor Data Fusion / H. Durrant-Whyte, T. C. Henderson // Springer Handbook of Robotics: Chap. 35 - 2016.
[35] Gallup D. Piecewise Planar and Non-Planar Stereo for Urban Scene Reconstruction / D. Gallup, J.-M. Frahm, M. Pollefeys // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2010.
[36] Klein G. Parallel tracking and mapping for small AR workspaces / G. Klein, D. Murray // IEEE ACM International Symposium on Mixed and Augmented Reality (ISMAR) - 2007 - p. 225-234.
[37] Strasdat H. Realtime monocular SLAM: Why filter? / H. Strasdat, J. M. M. Montiel, A. J. Davison // In IEEE International Conference on Robotics and Automation (ICRA) - 2010.
[38] Stachniss C. Simultaneous Localization and Mapping / C. Stachniss. J. J. Leonard. S. Thrun // Springer Handbook of Robotics: Chap. 46 - 2016.
[39] Deschaud J.-E. IMLS-SLAM: scan-to-model matching based on 3D data / J.-E. Deschaud // In IEEE International Conference on Robotics and Automation (ICRA) - 2018.
[40] Pascoe G. NID-SLAM: Robust Monocular SLAM using Normalised Information Distance / G. Pascoe, W. Maddern, M. Tanner, P. Pinies, P. Newman // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2017.
[41] Radenovic F. From Dusk till Dawn: Modeling in the Dark / F. Radenovic, J. L. Schonberger, D. Ji, J.-M. Frahm, O. Chum, J. Matas // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2016.
[42] Jeon H.-G. Stereo Matching With Color and Monochrome Cameras in Low-Light Conditions / H.-G. Jeon, J.-Y. Lee, S. Im, H. Ha, I. S. Kweon // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2016 - p. 40864094.
[43] Scona R. StaticFusion: Background Reconstruction for Dense RGB-D SLAM in Dynamic Environments / R. Scona, M. Jaimez, Y. R. Petillot, M. Fallon,
D. Cremers // In IEEE International Conference on Robotics and Automation (ICRA) - 2018.
[44] Barsan I. A. Robust Dense Mapping for Large-Scale Dynamic Environments / I. A. Barsan, P. Liu, M. Pollefeys, A. Geiger. // In IEEE International Conference on Roboticsand Automation (ICRA) - 2018.
[45] Felzenszwalb P. F. Object detection with discriminatively trained part based models / P. F. Felzenszwalb, R. B. Girshick, D. McAllester, D. Ramanan // In IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) - 2010 - Vol. 32(9) - p. 1627-1645.
[46] Ma C. Transparent Object Reconstruction via Coded Transport of Intensity / C. Ma, X. Lin, J. Suo, Q. Dai, G. Wetzstein // In IEEE Conference on Computer Vision and Pattern Recognition (CVPR) - 2014 - p. 3238-3245
[47] Buyval A. Comparative analysis of ROS-based monocular SLAM methods for indoor navigation / A. Buyval, I. Afanasyev, E. Magid. // Ninth International Conference on Machine Vision (ICMV) - 2016
[48] Labbe M. RTAB-Map as an Open-Source Lidar and Visual SLAM Library for Large-Scale and Long-Term Online Operation / M. Labbe, F. Michaud // Journal of Field Robotics - 2019 - vol. 36, no. 2 - p. 416-446.
[49] Gupta T. Indoor mapping for smart cities - An affordable approach: Using Kinect Sensor and ZED stereo camera / T. Gupta. H. Li. // International Conference on Indoor Positioning and Indoor Navigation (IPIN) - 2017.
[50] Ibragimov I. Comparison of ROS-based visual SLAM methods in homogeneous indoor environment / I. Ibragimov, I. Afanasyev // Positioning, Navigation and Communications (WPNC) - 2017.
[51] Heng L. Efficient visual exploration and coverage with a micro aerial vehicle in unknown environments / L. Heng, A. Gotovos, A. Krause, M. Pollefeys. // In IEEE International Conference on Robotics and Automation (ICRA) - 2015.
[52] Yamauchi B. A Frontier-Based Approach for Autonomous Exploration/ B. Yamauchi // IEEE International Symposium on Computational Intelligence in Robotics and Automation - 1997.
[53] Gonzalez-Banos H. H. Navigation strategies for exploring indoor environments / H. H. Gonzalez-Banos, J.-C. Latombe // The International Journal of Robotics Research - 2012 - vol. 21, no. 10-11 - p. 829-848.
[54] Horner J. Map-merging for multi-robot system / J. Horner // Bachelor's thesis in Charles University - 2016.
[55] Adan A. Towards the automatic scanning of indoors with robots / A. Adan, B. Quintana, A. S. Vazquez, A. Olivares, E. Parra, and S. Prieto. In Sensors (Basel) - 2015 - vol. 15(5) - p. 11551-11574.
[56] Dornhege C. Coverage search in 3d / C. Dornhege, A. Kleiner, A. Kolling // In IEEE International Conference on Robotics and Automation (ICRA) - 2013.