Введение 4
1. Обзор 6
1.1. Реконструкция лица по особым точкам 6
1.1.1. Фиксированный подход 7
1.1.2. Проблемы фиксированного подхода 8
1.1.3. Адаптивный подход 9
2. Описание решения 12
2.1. Постановка задачи 12
2.2. Алгоритм 12
3. Реализация 14
4. Эксперименты 16
4.1. Искусственные лица 18
4.2. Реальные лица 19
Заключение 22
Список литературы
В данной работе рассматривается задача реконструкции трёхмерной поверхности лица по единственной фотографии с использованием морфированной модели BFM [1]. Результатом её решения является высокополигональная трёхмерная модель, максимально соответствующая лицу реального человека. Существует масса примеров применения таких моделей на практике, начиная с использования их при анимации лиц в фильмах [3, 22], заканчивая видеомэппингом (3D mapping) [17].
Однако для того, чтобы получать такие модели в обычной ситуации необходимо дорогостоящее оборудование (лазерные сканеры, фотоаппараты, вспышки и прочее), квалифицированный персонал и специальное помещение. Далеко не все и не всегда располагают достаточными для решения этой задачи ресурсами.
К счастью, с развитием методов оптимизации и компьютерного зрения стало возможным восстановление трёхмерной геометрии лица без использования специализированной техники, а посредством анализа короткого фрагмента видео [23] или единственной фотографии [4]. Причиной этому стал сформулированный Бланцом и Веттером метод построения гладкой аппроксимированной модели лица (морфированной модели) [4] на основе большого количества трёхмерных моделей мужских и женских лиц. Такая морфированная модель позволяет генерировать новые лица, как линейную комбинацию имеющихся, благодаря чему, задача реконструкции сводится к поиску небольшого количества необходимых коэффициентов.
Для повышения скорости реконструкции в большинстве случаев подгонка трёхмерной модели к изображению осуществляется только по особым точкам, которые детектируются с помощью специальных алгоритмов [11], [16], [24]. Детекторы находят два типа точек: точки первого типа имеют малую погрешность обнаружения вне зависимости от конкретного лица и ракурса съёмки, в то время как точки второго типа детектируются не очень точно, что приводит к высоким ошибкам реконструкции при использовании их в алгоритмах восстановления модели лица.
Уже предпринимались попытки к решению этой проблемы [12, 20], однако эти подходы двухступенчатые и не предполагают оптимизации единой функции стоимости.
Поэтому целью данной работы является разработка алгоритма реконструкции трёхмерной поверхности лица по единственной фотографии, устойчивого к поворотам головы, на основе оптимизации одной функции стоимости.
В связи с этим были поставлены следующие задачи:
• реализовать алгоритм решения задачи;
• разработать среду для проведения тестирования работы алгоритма;
• провести тестирование работы алгоритма.
В результате работы были достигнуты все поставленные задачи:
• реализован адаптивный алгоритм реконструкции трёхмерной поверхности лица по единственной фотографии, устойчивый к поворотам головы на изображении;
• реализована среда для проведения тестирования работы алгоритмов реконструкции;
• протестирована работа алгоритма.
В качестве дальнейших действий предлагается рассчитать якобиан функции энергии и передать его в алгоритм Левенберга-Марквардта для ускорения работы метода. Более того, это облегчит процесс тестирования и, как следствие, поможет найти возможно более оптимальные параметры А, у, д. Также предлагается исследовать зависимость качества реконструкции лиц предложенным алгоритмом при использовании других, возможно более стабильных детекторов особых точек. Не менее важно пересмотреть процесс установки начальных значений R0, t0, p0.
