Введение 3
Глава 1. Восстановление трехмерной сцены 5
Глава 2. Описание алгоритма 15
Поиск ключевых точек 16
Сопоставление двумерных точек на паре изображений ... 16
Сопоставление двумерных точек на двух парах изображений 16
Восстановление трехмерных точек 19
Основные понятия 19
Модель камеры 20
Подготовка к восстановлению трехмерной сцены. Калибровка
двух камер 24
Первый этап. Восстановление трехмерной сцены для пары кадров в фиксированный момент времени 27
Второй этап. Восстановление трехмерной сцены при получении новой информации 29
Глава 3. Результаты работы 33
Демонстрация работы калибровки камер на синтетических данных 33 Демонстрация работы построенной модели в пункте ’’Модель камеры” второй главы на синтетических данных 35
Демонстрация работы первого этапа на синтетических данных . . 38
Демонстрация работы первого этапа на реальных данных .... 39
Демонстрация работы второго этапа на синтетических данных . . 43
Демонстрация работы второго этапа на реальных данных с калибровкой
Видеопоток сформированный вручную с калибровкой .... 45
Видеопоток сформированный вручную без калибровки ... 50
Видеопоток из статьи Stereoscan: Dense 3d reconstruction in real-time
Видеопоток из статьи Stereoscan: Dense 3d reconstruction in real-time с изменением порога сопоставления точек . . 55
Видеопоток сформированный вручную с эффектом рыбьего глаза 57
Заключение 59
Используемая литература
Приложение
В компьютерном зрении восстановление трехмерной сцены все быстрее и быстрее набирает обороты. Уже сегодня оно используется в медицине для восстановления органов человека, которые недоступны глазу. Используется в геологии для реконструкции и изучения строении земли. Используется в архитектуре, археологии и истории для восстановления трехмерных моделей объектов историко-культурного наследия. Используется в робототехнике для получения трехмерной картины мира, расстояния до объекта, определение скорости и направления движения объекта.
Логическим продолжением восстановления трехмерной сцены является ЗВ-печать с помощью которой можно раскрыть весь потенциал для печати объектов во всех сферах жизни. Например, в медицине для печати имплантатов и протезов, которые учитывают индивидуальные особенности человека. В текстильной промышленности ЗВ-печать используется для изготовления одежды из синтетического материала любого цвета и сложности, а в пищевой промышленности для печати синтетической пиши, например, для астронавтов.
Современные системы восстановления трехмерной сцены используют дополнительную информацию для улучшения результата и увеличения скорости работы алгоритма: датчики поворота или скорости передвижения камер, использование карт для определения местоположения камер и т.д.
Целью работы является разработка и реализация алгоритма восстановления трехмерной сцены. В данной работе в качестве входных данных используются изображения, полученные с двух камер, но может использоваться также и большее количество камер. Алгоритм не использует дополнительную информацию. Особых требований к входным данным не имеется. Работа нацелена на получение быстрого результата, то есть работа в реальном времени. Данную работу можно использовать в робототехнике для получения трехмерной сцены мира, чтобы устройство могло спокойно перемещаться по нему.
В данной работе разработан и реализован алгоритм восстановления трехмерной сцены. Разработанный алгоритм принимает на вход изображения с монокулярных камер. По первой группе изображения алгоритм фиксирует мировую систему координат и восстанавливает трехмерные точки, присутствующие на этих снимках. По следующим группам изображений алгоритм определяет координаты трехмерных точек относительно мировой системы координат, зафиксированной на первом этапе. Калибровка камер работает не точно. Возможная причина - не была соблюдена точность входных данных при калибровке камеры, для выяснения точной причины требуется дополнительный анализ. Первый этап хорошо работает на синтетических и реальных данных. Второй этап хорошо работает на синтетических данных, а на реальных данных видеопотока сформированным вручную работает не точно. Возможная причина - оси используемых камер не параллельны, для выяснения точной причины требуется дополнительный анализ. Второй этап также работает не точно на реальных данных из статьи Stereoscan: Dense 3d reconstruction in real-time. Возможная причина - оси используемых камер не параллельны, а имеют форму конуса и также неизвестность точных параметров камеры, для выяснения точной причины требуется дополнительный анализ.