Введение 3
Постановка задачи 4
Обзор литературы 6
1. Метод восстановления траектории по данным сенсоров 8
1.1. Алгоритм вычисления поворотов 8
1.2. Метод вычисления координат 10
1.3. Оценка точности восстановления траектории 12
2. Метод построения рекомендаций на основе вычисленной траектории 19
2.1. Описание алгоритма 19
2.2. Оценка способности предсказания качества реконструкции 19
Выводы 23
Заключение 24
Список литературы 25
3П-реконструкция — это задача создания SD-модели или представления объекта или сцены из 2D-изображений или других источников данных. Целью 3D-реконструкции является создание виртуального представления объекта или сцены, которое можно использовать для различных целей, таких как визуализация, анимация, моделирование и анализ. Его можно использовать в таких областях, как компьютерное зрение, робототехника, виртуальная и дополненная реальность.
С появлением достаточно мощных мобильных устройств (смартфонов), стало возможным осуществлять 3D-реконструкцию в любом месте силами одного человека[1].Однако реальные применения технологии усложняются задачей сбора данных. От оператора требуется создать подходящий набор изображений, которые должны иметь достаточное перекрытие, включать все области объекта и содержать достаточное количество признаков для фотограмметрии[2].
Важной частью 3D-реконструкции является вычисление траектории камеры в пространстве[2]. От точности полученной траектории зависит итоговое качество результата реконструкции. Также траекторию камеры можно восстановить, используя инерциальные сенсоры смартфона. Сопоставляя траектории, вычисленные разными способами, можно выявлять дефекты в последовательности снимков и формировать рекомендации для повторной съёмки.
Также, при условии использования сенсоров смартфона, становится возможным вычислить масштаб 3D сцены в реальных единицах измерения.
Данная работа была выполнена в рамках проекта по созданию мобильного приложения, которое позволяло бы облегчить сбор данных для выполнения 3D реконструкции путём построения рекомендаций по процессу съёмки для оператора. Также, в ходе работы над данным проектом была написана и опубликована статья[3].
Проверка реализованного в ходе выполнения работы алгоритма восстановления траектории смартфона по данным инерциальных сенсоров показала, что результат его работы согласуется с реальной траекторией. Также, реализованный алгоритм рекомендаций обладает способностью предсказывать качество 3D реконструкции, в следствие чего может способствовать его улучшению.
[1] O. Muratov, Y. Slynko, V. Chernov, M. Lyubimtseva, A. Shamsuarov and V. Bucha, "3DCapture: 3D Reconstruction for a Smartphone,"2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Las Vegas, NV, USA, 2016, pp. 893-900, doi: 10.1109/CVPRW.2016.116.
[2] Moncef, Aharchi M’hamed, Ait Kbir. (2020). A Review on 3D Reconstruction Techniques from 2D Images. 10.1007/978-3-030-37629-1-37.
[3] M. Zaslavskiv, R. Shestopalov, A. Grebenshchikov, D. Korenev and E. Shkvirya, "Method for Automated Data Collection for 3D Reconstruction,"2022 32nd Conference of Open Innovations Association (FRUCT), Tampere, Finland, 2022, pp. 308-315, doi: 10.23919/FRUCT56874.2022.9953825.
[4] V. A. Prisacariu, O. Kahler, D. W. Murray and I. D. Reid, "Simultaneous 3D tracking and reconstruction on a mobile phone,"2013 IEEE International Symposium on Mixed and Augmented Reality (ISMAR), Adelaide, SA, Australia, 2013, pp. 89-98, doi: 10.1109/ISMAR.2013.6671768.
[5] P. Tanskanen, K. Kolev, L. Meier, F. Camposeco, O. Saurer and M. Pollefeys, "Live Metric 3D Reconstruction on Mobile Phones,"2013 IEEE International Conference on Computer Vision, Sydney, NSW, Australia, 2013, pp. 65-72, doi: 10.1109/ICCV.2013.15.
[6] Pintore, Giovanni Garro, Valeria Ganovelli, Fabio Gobbetti, Enrico Scopigno, Roberto. (2016). Fast Metric Acquisition with Mobile Devices.
[7] Android position sensors
https://developer.android.com/guide/topics/sensors/sensors_position