Реконструкция трехмерной поверхности лица на базе морфированной модели

Введение 4
1. Обзор 7
1.1. Нахождение перспективной камеры . . . . . . . . . . . . 7
1.2. Детекция ключевых точек на лице . . . . . . . . . . . . . 8
1.3. Реконструкция поверхности лица . . . . . . . . . . . . . . 9
2. Описание подхода 11
2.1. Условия решаемой задачи . . . . . . . . . . . . . . . . . . 11
2.2. Начальное приближение камеры . . . . . . . . . . . . . . 11
2.3. Алгоритм Левенберга-Марквардта . . . . . . . . . . . . . 12
2.4. Использование морфированной модели . . . . . . . . . . 13
3. Реализация 14
3.1. Система сбора статистических данных . . . . . . . . . . . 14
3.1.1. Рендеринг трехмерной модели лица . . . . . . . . 16
3.1.2. Детектирование ключевых точек на лице . . . . . 18
3.2. Система генерации тестов и проведения экспериментов . 19
3.3. Реализация предложенного подхода . . . . . . . . . . . . 21
4. Эксперименты 22
4.1. Зависимость от ковариационной матрицы . . . . . . . . . 22
4.2. Задача нахождения перспективной камеры . . . . . . . . 24
4.3. Реконструкция поверхности лица и камеры . . . . . . . . 25
4.4. Зависимость от параметров тестовых данных . . . . . . . 28
Заключение 29
Список литературы 30
Приложение
Купить

В современном мире графика в компьютерных играх и киноиндустрии продолжает совершенствоваться с каждым годом. Несколько последних лет прослеживается тенденция съемки настоящих актеров для
отрисовки 3D моделей компьютерных персонажей. Для того, чтобы создать полнометражную компьютерную анимацию, требуется участие высоко квалифицированных художников, а также большое количество временных и вычислительных ресурсов. Поэтому развитие технологий
захвата движений актера, построения трехмерных моделей сцены и
объектов на ней, распознавания лиц и основных черт лица постепенно приводит к автоматизации процесса создания трехмерных моделей актеров и повышению их реалистичности.
Получение трехмерной модели лица обычно требует наличия специального устройства, как Kinect или лазерный сканер. Но такие приборы сложно использовать вне специальных лабораторий из-за трудностей в
оборудовании необходимого окружения и их высокой цены. В более
простом случае реконструировать 3D модель лица пытаются по одной
или нескольким фотографиям. При таком подходе, как правило, используют базы шаблонных моделей для поиска максимально близких к исходному изображению ключевых областей.
Большинство ограничений в автоматических методах синтеза лиц
существуют, чтобы избежать нереалистичных, непохожих на натуральное лицо, результатов. Например, некоторые методы требуют внесения ручных правок по ходу процесса генерации трехмерной модели
или работают только для фронтального изображения лица. С появлением морфированной модели [1] (3D morphable model, 3DMM) стали активно развиваться новые направления автоматической генерации, реконструкции и анимации лиц. Основная идея использования морфированной модели заключается в разложении произвольной поверхности лица в линейную комбинацию базисных лиц. За счет аппроксимации произвольной модели базисными уменьшается требуемый размер заранее подготовленной базы, а высокая детализация исходных моделей позволяет синтезировать реалистичные лица. Подход линейной аппроксимации не требует высокой вычислительной мощности, поэтому применяется даже для генерации моделей в реальном времени [8] и дает реалистичные результаты при построении анимации лиц.
Реконструкция трехмерной модели лица по двухмерному изображению состоит из двух задач: построения трехмерной поверхности лица и нахождения его положения в пространстве. В соответствии с определением параметрической модели Парке [18] поверхность лица задается набором координат трехмерных вершин и множеством плоскостей, проходящих через них. Положение трехмерной модели в пространстве описывается матрицей поворота и вектором переноса камеры.
Задача определения ориентации и позиции откалиброванной перспективной камеры по n известным 3D точкам в координатах модели
и их 2D проекциям на изображении (perspective-n-point problem, PnP)
имеет решение при n ≥ 3 [4, 7]. При наличии информации о более, чем
3 точках на изображении и их положении в трехмерном пространстве,
глобально оптимальное решение этой задачи может быть найдено алгоритмом OPnP [26] за вычислительную сложность равную O(n).
Минимизация функции стоимости в виде нелинейных наименьших квадратов методом Левенберга-Марквардта позволяет уменьшить ошибку найденной ориентации и позиции камеры OPnP алгоритмом. Для
этого в качестве весовой матрицы в методе наименьших квадратов следует взять обратную ковариационную матрицу распределения 2D точек в 3D. Алгоритм Левенберга-Марквардта помимо оптимизации параметров камеры можно в тоже время использовать для приближения
параметров морфированной модели, с целью получения трехмерной поверхности лица.
Описанные положения о вычислении начального приближения параметров перспективной камеры с помощью OPnP алгоритма и использование обратной ковариационной матрицы в качестве матрицы весов
при минимизации функции стоимости в виде нелинейных наименьших
квадратов легли в основу предлагаемого статистического подхода.
5Постановка задачи
Цель данной работы реализовать и провести апробацию нового статистического подхода по реконструкции трехмерной поверхности лица и нахождению матрицы поворота и вектора переноса перспективной камеры по одному исходному изображению повернутого лица.
В ходе работы для достижения описанной цели были поставлены следующие задачи.
1. Разработать систему сбора статистических данных, необходимых для предлагаемого алгоритма.
2. Реализовать предлагаемый подход к реконструкции 3D поверхности лица и нахождению параметров перспективной камеры.
3. Разработать систему генерации тестовых данных и проведения сравнительных экспериментов.
4. Провести сравнение с существующими алгоритмами нахождения перспективной камеры и алгоритмами реконструкции 3D поверхности лица.
5. Исследовать зависимость результатов предлагаемого подхода от изменения параметров тестовых данных.
Купить