ВВЕДЕНИЕ 3
ПОСТАНОВКА ЗАДАЧИ 4
ГЛАВА 1. МЕТОДЫ ПОСТРОЕНИЯ ТРЁХМЕРНЫХ МОДЕЛЕЙ ПО
НАБОРАМ ИЗОБРАЖЕНИЙ 5
1.1 Этапы реконструкции трёхмерных сцен 5
1.2 Отличительные особенности реконструкции трёхмерной
модели лица 11
ГЛАВА 2. СОВРЕМЕННЫЕ ПОДХОДЫ К РЕКОНСТРУКЦИИ
МОДЕЛИ ЛИЦА 15
2.1 Использование искусственных нейронных сетей 15
2.2 Трёхмерная морфируемая модель лица 17
ГЛАВА 3. РЕАЛИЗАЦИЯ АЛГОРИТМА 22
3.1 Язык и среда разработки 22
3.2 Используемые библиотеки 22
3.3 Описание алгоритма 24
3.4 Эксперименты 26
ЗАКЛЮЧЕНИЕ 29
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 30
Задача построения трехмерной модели лица является фундаментальной проблемой компьютерного зрения необычайной сложности. На данный момент эта задача является широко востребованной в таких сферах, как системы распознавания, визуализация трехмерных объектов, виртуальная реальность, компьютерная анимация. Существует большое количество работ, в которых предлагается множество различных подходов к решению данной проблемы, а также множество вариантов её решения. Но, несмотря на многолетние исследования, эта проблема все еще остается открытой.
Самым точным способом получения трёхмерной модели лица является, конечно же, использование специализированных устройств, таких как лазерные 3D сканеры. Но такие устройства имеют весьма внушительный ценник и требуют создания специализированного окружения, которое можно обеспечить только в лабораторных условиях, что значительно сужает область их применения, а также эти устройства не являются абсолютно безопасными для людей. Поэтому необходимо придумывать другие методы, более доступные, дешевые и безопасные.
Самым распространённым программным способом построения трёхмерной модели лица является его реконструкция на основе набора фотографий лица с разных ракурсов. В связи с тем, что данные системы предполагают наличие именно нескольких изображений лица в качестве входных данных, приходится решать ряд дополнительных задач, таких как нахождение зависимостей между положениями лица, разными выражениями и неравномерным освещением на разных фотографиях. В целом, эти методы требуют сложных и, зачастую, неэффективных решений. Поэтому в данной работе особое внимание будет уделено подходам к реконструкции трёхмерной модели лица с использованием только одной фотографии.
В рамках данной научно-исследовательской работы были изучены общие принципы восстановления трёхмерных сцен по фотографиям, были выделены и изучены характерные черты, присущие восстановлению трёхмерных моделей лица. Были рассмотрены популярные на данный момент современные тенденции и методы решения данной задачи, а именно методы реконструкции лиц на основе только одной фотографии с использованием искусственных нейронных сетей и подходы, использующие трёхмерную морфируемую модель.
Был самостоятельно реализован алгоритм, основанный на подгонке трёхмерной морфируемой модели, выполняющий реконструкцию трёхмерной модели лица с использованием одного изображения. Для реализации алгоритма использовались библиотеки OpenCV, Eigen, eos. Алгоритм был реализован на языке C++. В качестве результата алгоритм выдаёт три файла: .obj - трёхмерная модель лица, .isomap - извлеченная текстура лица и .mtl - файл, содержащий соответствия текстуры и трёхмерной модели, правила, по которым текстура должна накладываться на SD-объект. Был проведён ряд экспериментов, оценивающий качество полученного алгоритма, выявлены его недостатки.
Для улучшения качества получаемой трёхмерной модели можно попробовать использовать морфируюемую модель с большим числом полигонов. Также можно добавить алгоритм заполнения пробелов в текстурах.
