📄Работа №84529
Тема: Восстановление модели трехмерного объекта по видеопотоку
Тип работы
Дипломные работы, ВКР
Предмет
Информатика и вычислительная техника
Объем:
37 листов
Год:
2016
Просмотров:
136
4275
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Список иллюстраций 3
Введение 4
1. Обзор литературы 6
1.1. Основные подходы к восстановлению трехмерного облака точек по
фотоснимкам 6
1.2. Photo tourism: exploring photo collections in 3D 6
1.3. 3D Reconstruction from Multiple Images 7
1.4. Towards internet-scale multi-view stereo 8
2. Структура из движения 9
2.1. Поиск ключевых точек 9
2.2. Фильтрация 9
2.3. Восстановление трехмерных координат и положение камеры ... 10
3. Теоретическое обоснование 13
3.1. Старое поколение 14
3.1.1. Независящая от геометрии фильтрация 14
3.1.2. Фильтрация по эпиполярному ограничению 14
3.2. Новое поколение ключевых точек 15
3.3. Фильтрация соответствий 15
4. Эксперимент 17
Заключение 22
Список литературы 24
А. Листинги исходного кода
Введение 4
1. Обзор литературы 6
1.1. Основные подходы к восстановлению трехмерного облака точек по
фотоснимкам 6
1.2. Photo tourism: exploring photo collections in 3D 6
1.3. 3D Reconstruction from Multiple Images 7
1.4. Towards internet-scale multi-view stereo 8
2. Структура из движения 9
2.1. Поиск ключевых точек 9
2.2. Фильтрация 9
2.3. Восстановление трехмерных координат и положение камеры ... 10
3. Теоретическое обоснование 13
3.1. Старое поколение 14
3.1.1. Независящая от геометрии фильтрация 14
3.1.2. Фильтрация по эпиполярному ограничению 14
3.2. Новое поколение ключевых точек 15
3.3. Фильтрация соответствий 15
4. Эксперимент 17
Заключение 22
Список литературы 24
А. Листинги исходного кода
📖 Введение
Компьютерное зрение применяется повсеместно, а восстановление трех-мерной поверхности все чаще встречается в развлекательной индустрии, 3D фильмы, очки дополнительной и шлемы виртуальной реальности, моделирование реальных объектов для мира игр и кино. В компьютерном зрении актуальной является задача точного восстановления формы поверхности трехмерных объектов по набору двумерных снимков с разных ракурсов. Имеется разнообразные подходы и методы для реконструкции. Использование инфракрасной камеры или стерео-снимков позволяет быстро восстанавливать трехмерные объекты, но данные подходы имеют свои ограничения, например, в виде дополнительно или специального оборудования. В данной выпускной квалификационной работе рассматривается проблема восстановления трехмерной поверхности объекта без специального оборудования, то есть с помощью обыкновенной CMOS- камеры, которая имеется в любом мобильном устройстве. Несмотря на разнообразие подходов к решению данной проблемы, не существует универсального метода, сочетающего в себе необходимую точность восстановления топологии объектов с минимальными вычислительными затратами при сохранении быстродействия. Перенос вычислительной нагрузки в облако увеличивает производительность, однако требует постоянного быстрого подключения к интернету. Вдали от мегаполисов это условие невыполнимо ввиду отсутствия станций ретрансляции или нахождения вне зоны покрытия спутников. Тем самым, восстановление поверхности при минимальных затратах вычислительной мощности устройства является актуальной задачей.
Целью данной работы является разработка алгоритма и программная реализация восстановления формы поверхности неподвижных трехмерных объектов по серии фотоснимков с минимальными вычислительными затратами.
Для этого необходимо решить следующие задачи:
1. Анализ существующих алгоритмов восстановления трехмерной поверхности с использованием одной видео-камеры;
2. Определение двумерных точек ключевых признаков объекта по максимальному перепаду локального контраста изображения и с помощью оператора Лапласа для определения возможных границ объекта;
3. Расчет матрицы трехмерного смещения ключевых признаков объекта для соседних кадров, снятых с разных ракурсов;
4. Реконструкция положения виртуальной камеры для серии соседних кадров;
5. Попарное совмещение двумерных точек признаков объекта на двух соседних кадрах в единую трехмерную точку;
6. Коррекция расходимости точек признаков в пределах допустимого пространственного интервала;
7. Фильтрация шумов в облаке точек и триангуляция поверхности с текстурированием на основе информации о цвете точек двумерных признаков.
В данной работе рассматривается алгоритм, основанный на движении камеры вокруг сцены при неподвижности самого объекта или же ландшафта. Предложено улучшение алгоритма, способствующее увеличению точности и сокращению времени обработки для набора связанных между собой изображений или видео ряда. Модернизация алгоритма основывается на предположении, что ключевые точки (признаки объекта) от кадра к кадру имеют небольшое смещение и поиск соответствующей ключевой точки необходимо вести в небольшой окрестности предыдущей точки. Используя метод фазовой кросс-корреляции, можно вычислить в какую сторону было сдвинуто изображение, а так как смещение на видео в основном небольшое, то пространственная область поиска ключевой точки сужается, и точки сопоставляются в единую трехмерную структуру.
Целью данной работы является разработка алгоритма и программная реализация восстановления формы поверхности неподвижных трехмерных объектов по серии фотоснимков с минимальными вычислительными затратами.
Для этого необходимо решить следующие задачи:
1. Анализ существующих алгоритмов восстановления трехмерной поверхности с использованием одной видео-камеры;
2. Определение двумерных точек ключевых признаков объекта по максимальному перепаду локального контраста изображения и с помощью оператора Лапласа для определения возможных границ объекта;
3. Расчет матрицы трехмерного смещения ключевых признаков объекта для соседних кадров, снятых с разных ракурсов;
4. Реконструкция положения виртуальной камеры для серии соседних кадров;
5. Попарное совмещение двумерных точек признаков объекта на двух соседних кадрах в единую трехмерную точку;
6. Коррекция расходимости точек признаков в пределах допустимого пространственного интервала;
7. Фильтрация шумов в облаке точек и триангуляция поверхности с текстурированием на основе информации о цвете точек двумерных признаков.
В данной работе рассматривается алгоритм, основанный на движении камеры вокруг сцены при неподвижности самого объекта или же ландшафта. Предложено улучшение алгоритма, способствующее увеличению точности и сокращению времени обработки для набора связанных между собой изображений или видео ряда. Модернизация алгоритма основывается на предположении, что ключевые точки (признаки объекта) от кадра к кадру имеют небольшое смещение и поиск соответствующей ключевой точки необходимо вести в небольшой окрестности предыдущей точки. Используя метод фазовой кросс-корреляции, можно вычислить в какую сторону было сдвинуто изображение, а так как смещение на видео в основном небольшое, то пространственная область поиска ключевой точки сужается, и точки сопоставляются в единую трехмерную структуру.
✅ Заключение
Проанализированных методы Stucture from motion и Multiple View Stereo. Оба алгоритма хорошо себя показывают при восстановление трехмерной формы интересующего объекта или сцены со статичным, либо слабо меняющимся во временим однородным фоном. При этом, оптимизированы для восстановления сцен в маштабах города, число снимков при этом в выборке варьируется от нескольких сотен до нескольких тысяч. Оба алгоритма затратны по памяти и процессорному времени, имеются оптимизированные реализации частей алгоритма с использованием графических карт для распаралеливания вычислений. MVS и SFM точно восстанавливают трехмерную поверхность при зашумленном слабо меняющимся во времени однородном фоне. У MVS имеется реализация для запуска на кластере с использованием внешней памяти. При имение оного рекомендуется использовать именно MVS при большом количестве снимков в исходной коллекции изображений. Structure from motion жизнеспособен и при количестве снимков в исходной коллекции до 50, что и было продемонстрировано в экспериментах.
В частности, успешно восстановлены формы трехмерных объектов: параллелепипедальной коробки из под чая, тестового куба раскрашенного неповторяющимися контрастными цветами и куба таких же линейных параметров, но раскрашенного в повторяющиеся контрастные цвета. Так же вместе с моделями были восстановлены и местоположения камер в трехмерно пространстве.
В работе предложен метод усиления весов сопоставления признаков на двухмерных изображениях путем клонирования снимков в исходной выборке, что было продемонстрировано в эксперименте с коробкой чая.
Алгоритм реализовано на языке python c использованием библиотеки numpy, а так же библиотеки компьютерного зрения с открытым исходным кодом opencv и несвободных библиотек opencv-nonfree(реализация детектора ключевых точек SIFT). Так же реализация на языке python делает алгоритм кроссплатформенным.
Разработан алгоритм для потока связанных между собой изображений, видео, который превосходит алгоритм Stucture from motion по скорости на 6,4%, по точности восстановления геометрических размеров за счет уменьшения количества шумовых объектов на 5,5%. За количество кадров равное 24, количество необходимое для обработки в секунду для работы в реальном времени, модернизация алгоритма обходит по скорости Structure from motion.
В частности, успешно восстановлены формы трехмерных объектов: параллелепипедальной коробки из под чая, тестового куба раскрашенного неповторяющимися контрастными цветами и куба таких же линейных параметров, но раскрашенного в повторяющиеся контрастные цвета. Так же вместе с моделями были восстановлены и местоположения камер в трехмерно пространстве.
В работе предложен метод усиления весов сопоставления признаков на двухмерных изображениях путем клонирования снимков в исходной выборке, что было продемонстрировано в эксперименте с коробкой чая.
Алгоритм реализовано на языке python c использованием библиотеки numpy, а так же библиотеки компьютерного зрения с открытым исходным кодом opencv и несвободных библиотек opencv-nonfree(реализация детектора ключевых точек SIFT). Так же реализация на языке python делает алгоритм кроссплатформенным.
Разработан алгоритм для потока связанных между собой изображений, видео, который превосходит алгоритм Stucture from motion по скорости на 6,4%, по точности восстановления геометрических размеров за счет уменьшения количества шумовых объектов на 5,5%. За количество кадров равное 24, количество необходимое для обработки в секунду для работы в реальном времени, модернизация алгоритма обходит по скорости Structure from motion.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.