Введение
Постановка задачи 5
Обзор литературы 7
Глава 1. Структура системы реконструкции трехмерных сцен 13
Глава 2. Восстановление трехмерных сцен 15
2.1. Восстановление трехмерных сцен по коллекции изображений методом
факторизации матриц 15
2.1.1. Локальные особенности изображений 15
2.1.2. Восстановление 3D координат локальных особенностей 16
2.1.3. Математический вывод приближений 19
2.1.4. Метод факторизации матриц 23
2.1.5. Формирование плотной матрицы измерений 27
2.2. Восстановление структуры трехмерных сцен из одного изображения по
закраске 28
2.3. Комбинирование подходов 31
Глава 3. Результаты работы алгоритма 32
Заключение 37
Список литературы 38
Приложение
Развитие виртуальной реальности, систем управления транспортными средствами [1-3], визуализации на основе анализа изображений, медицинской промышленности, а также других областей, требующих построения трехмерных моделей, привело к увеличению внимания к этой области. Наибольшим интересом пользуются случаи, в которых положение камер и их внутренние параметры не известны и/или могут меняться с течением времени. Так, например, в системах активного зрения калибровочные параметры могут меняться во время работы системы.
Конечно, существуют лазерные 3D сканеры, позволяющие создавать очень точную трехмерную модель сцены, но им свойственно множество недостатков. В их числе очень высокая стоимость подобной аппаратуры, весьма ограниченные размеры сканируемых объектов, низкая производительность и многое другое. Более того, такие устройства не совсем безопасны для человека, в частности для глаз.
Известны также успешные результаты применения стереоскопического зрения, когда камеры, осуществляющие съемку, калибруются таким образом, что их внутренние параметры известны, а внешние определены относительно некоторой глобальной системы отсчета. Однако, такой подход не возможен, когда калибровочные параметры с течением времени меняются (это имеет место быть, например, в системах активного зрения).
Существует огромное количество методов, являющихся частью одной задачи под названием «восстановление трехмерной сцены из ...», позволяющих восстановить 3 D модель, но каждый из них ограничен своей областью использования и не применим для восстановления общих сцен. Все эти методы принято делить на классы по типу данных, которые используются
для реконструкции. Среди таких классов основными являются:
• реконструкция сцены из одного изображения по закраске;
• реконструкция сцены по коллекции изображений, полученной с камеры, зафиксированной в одном положении, при фокусировке на различные объекты сцены;
• реконструкция сцены из стереопары изображений;
• реконструкция сцены по коллекции изображений, снятых с различных позиций и в разное время;
• реконструкция сцены по коллекции изображений, полученной с камеры, зафиксированной в одном положении, при этом каждое изображение снято с разной степенью оптического увеличения.
Основные идеи данных подходов будут подробно рассмотрены в разделе «Обзор литературы».
В основной части будут описаны алгоритмы, используемые в данной работе для восстановления общих 3D сцены, а также будут приведены результаты работы описанных методов.
В данной работе приведен обзор имеющейся литературы по теме реконструкции геометрии трехмерных сцен. Было показано, что эффективная реконструкция геометрии сцены, в общем случае, возможна только при условии комбинирования различных походов к решению данной задачи, а также предложен механизм комбинирования различных алгоритмов.
Была разработана основная часть системы реконструкции геометрии трехмерных сцен по набору изображений в основу которой лег метод реконструкции модели сцены, основанный на факторизации матриц. В систему также интегрирован алгоритм реконструкции по закраске, позволяющий восстановить структуру некоторых участков сцены для ее уточнения.
Разработанная система тестировалась на реальных данных. Для тестирования была создана сцена, с объектом, имеющим неоднородную структуру (в некоторых областях объект имел слабо выраженную текстуру) и с помощью цифровой камеры сделан ряд снимков, которые в последствии использовались для реконструкции. Результаты восстановления модели сцены записываются в файл формата PLY, что позволяет визуализировать модель с помощью специальных систем, предназначенных для обработки 3D моделей (например, MeshLab).
Открытой остаются задача интегрирования новых подходов и выявления критерия выбора того или иного алгоритма, а также задача восстановления геометрии сцены в режиме реального времени в условиях данной системы.
