Тема: Реконструкция трехмерной поверхности лица на базе морфированной модели

В современном мире графика в компьютерных играх и киноиндустрии продолжает совершенствоваться с каждым годом. Несколько последних лет прослеживается тенденция съемки настоящих актеров для отрисовки 3D моделей компьютерных персонажей. Для того, чтобы создать полнометражную компьютерную анимацию, требуется участие высоко квалифицированных художников, а также большое количество временных и вычислительных ресурсов. Поэтому развитие технологий захвата движений актера, построения трехмерных моделей сцены и объектов на ней, распознавания лиц и основных черт лица постепенно приводит к автоматизации процесса создания трехмерных моделей актеров и повышению их реалистичности.
Получение трехмерной модели лица обычно требует наличия специального устройства, как Kinect или лазерный сканер. Но такие приборы сложно использовать вне специальных лабораторий из-за трудностей в оборудовании необходимого окружения и их высокой цены. В более простом случае реконструировать 3D модель лица пытаются по одной или нескольким фотографиям. При таком подходе, как правило, используют базы шаблонных моделей для поиска максимально близких к исходному изображению ключевых областей.
Большинство ограничений в автоматических методах синтеза лиц существуют, чтобы избежать нереалистичных, непохожих на натуральное лицо, результатов. Например, некоторые методы требуют внесения ручных правок по ходу процесса генерации трехмерной модели или работают только для фронтального изображения лица. С появлением морфированной модели [1] (3D morphable model, 3DMM) стали активно развиваться новые направления автоматической генерации, реконструкции и анимации лиц. Основная идея использования морфированной модели заключается в разложении произвольной поверхности лица в линейную комбинацию базисных лиц. За счет аппроксимации произвольной модели базисными уменьшается требуемый размер заранее подготовленной базы, а высокая детализация исходных моделей позволяет синтезировать реалистичные лица. Подход линейной аппроксимации не требует высокой вычислительной мощности, поэтому применяется даже для генерации моделей в реальном времени [8] и дает реалистичные результаты при построении анимации лиц.
Реконструкция трехмерной модели лица по двухмерному изображению состоит из двух задач: построения трехмерной поверхности лица и нахождения его положения в пространстве. В соответствии с определением параметрической модели Парке [18] поверхность лица задается набором координат трехмерных вершин и множеством плоскостей, проходящих через них. Положение трехмерной модели в пространстве описывается матрицей поворота и вектором переноса камеры.
Задача определения ориентации и позиции откалиброванной перспективной камеры по n известным 3D точкам в координатах модели и их 2D проекциям на изображении (perspective-n-point problem, PnP) имеет решение при n > 3 [4, 7]. При наличии информации о более, чем 3 точках на изображении и их положении в трехмерном пространстве, глобально оптимальное решение этой задачи может быть найдено алгоритмом OPnP [26] за вычислительную сложность равную O(n).
Минимизация функции стоимости в виде нелинейных наименьших квадратов методом Левенберга-Марквардта позволяет уменьшить ошибку найденной ориентации и позиции камеры OPnP алгоритмом. Для этого в качестве весовой матрицы в методе наименьших квадратов следует взять обратную ковариационную матрицу распределения 2D точек в 3D. Алгоритм Левенберга-Марквардта помимо оптимизации параметров камеры можно в тоже время использовать для приближения параметров морфированной модели, с целью получения трехмерной поверхности лица.
Описанные положения о вычислении начального приближения параметров перспективной камеры с помощью OPnP алгоритма и использование обратной ковариационной матрицы в качестве матрицы весов при минимизации функции стоимости в виде нелинейных наименьших квадратов легли в основу предлагаемого статистического подхода.
Постановка задачи
Цель данной работы реализовать и провести апробацию нового статистического подхода по реконструкции трехмерной поверхности лица и нахождению матрицы поворота и вектора переноса перспективной камеры по одному исходному изображению повернутого лица.
В ходе работы для достижения описанной цели были поставлены следующие задачи.
1. Разработать систему сбора статистических данных, необходимых для предлагаемого алгоритма.
2. Реализовать предлагаемый подход к реконструкции 3D поверхности лица и нахождению параметров перспективной камеры.
3. Разработать систему генерации тестовых данных и проведения сравнительных экспериментов.
4. Провести сравнение с существующими алгоритмами нахождения перспективной камеры и алгоритмами реконструкции 3D поверхности лица.
5. Исследовать зависимость результатов предлагаемого подхода от изменения параметров тестовых данных.

Купить

В результате работы были выполнены следующие задачи:
• разработана система сбора статистики распределения ключевых точек в трехмерном пространстве;
• реализован статистический подход к решению задачи реконструкции трехмерного лица по изображению;
• разработана система генерации тестовых данных и проведения экспериментов;
• сравнение показало, что для задачи нахождения камеры подход точнее аналогов в 2 раза, а для задачи реконструкции поверхности лица и камеры дает ошибку по камере близкую к аналогам и в 2 раза меньшую ошибку поверхности лица;
• исследована зависимость результатов предлагаемого подхода от ковариационной матрицы и добавления Гауссовского шума на изображения лиц.
Таким образом, было получено, что предлагаемый статистический подход на базе морфированной модели дает по сравнению с аналогами наиболее стабильные результаты на разных тестовых данных, как для задачи нахождения перспективной камеры, так и для задачи реконструкции поверхности лица и камеры одновременно.
Дальнейшая работа с целью улучшения полученных результатов может быть направлена в сторону применения других алгоритмов детекции ключевых точек, а также увеличения количества используемых в алгоритме ключевых точек за счет добавления неустойчивых особых точек по краям лица и подбородка.

Купить