Тема: Анимация лица по эталонному видеопотоку с применением генеративно-состязательной нейронной сети

Анимация лица применяется в таких проектах, как кино, видеоигры и других подобных медиа проектах. Существует несколько способов анимирования лица, к ним относятся ручная анимация, захват движения с помощью специальных датчиков, так называемые маркерные системы, и захват движения без использования этих датчиков, так называемые безмаркерные системы [9].
Ручной анимацией в современном времени уже практически не пользуются, потому что, чтобы анимировать 1 секунду движения, нужно нарисовать около 24 кадров движения. При этом эти кадры должны быть логичны и последовательны, переходы между ними не должны вызывать чувства чужеродности, и движения в этих кадрах должны выглядеть натурально. Если говорить о часовой анимации, то такую работу уже практически невозможно выполнить [5]. Это слишком дорогостояще, поэтому в двадцатом веке начали развиваться технологии автоматической анимации. Хотя в последствии была разработана фотоперекладка, но это позволило только передать реалистичность движений, время на такую анимацию по-прежнему тратиться очень много [2].
Преимуществом маркерной системы является высокое качество итогового продукта. При этом стоимость таких систем может доходить до 250 000 долларов. Такие системы обычно арендуются, а не покупаются [4]. Они применяются в высокобюджетных проектах и совершенно не подходят для маленьких компаний.
По сравнению с маркерными системами, безмаркерные как правило основываются на системах компьютерного зрения, из-за чего могут страдать от низкого разрешения, низкой частоты кадров и тому подобное Большинство таких систем не подходят для производства медиа проектов, поэтому к ним частично добавляются компоненты маркерной системы [21]. Цена таких гибридных систем может доходить до 3000 евро. Такие расценки
уже подходят для маленьких компаний, но по-прежнему являются достаточно дорогостоящими для личного использования.
Для решения задачи безмаркерного захвата движения хорошо подходят технологии генеративно-состязательных нейронных сетей. В последние годы эта область достаточно сильно расширилась, потому стали возможны исследования в области полностью безмаркерного захвата движения. Уже существуют открытые технологии для генерации анимации лица и замены лица на фото и видео материалах. Однако данные технологии зачастую страдают от помех в кадре, низкого разрешения, низкой частоты кадров и тому подобное [14, 15, 19, 22].
Но даже с учетом всех улучшений в плане удобства использования захвата движения, эта технология по-прежнему сковывает движения актеров и заставляет по нескольку раз снимать одну и ту же сцену, чтобы захватить движения разных актеров [3]. Из-за всех недостатков современных полностью безмаркерных систем захвата движения исследования в этой области являются актуальными в современных реалиях.
Целью данной работы является улучшение качества генерирования анимации лица. Для достижения данной цели необходимо решить следующие задачи.
1. Исследование существующих подходов для решения задачи анимации лица.
2. Подборка набора данных для проведения исследований.
3. Разработка математической модели искусственной нейронной сети.
4. Оценка качества модели на экспериментальных данных.

Купить

Цель данной работы заключалась в имплементации метода генерации анимации лица и разработке его последующего улучшения. Для достижения данной цели были поставлены следующие задачи:
– рассмотрение существующих подходов для анимации лица;
– подбор данных для проведения исследований;
– разработка математической модели искусственной нейронной сети;
– проведение экспериментальных исследований.
Рассмотрение существующих технологий для генерации анимации лица показало, что на данный момент существуют.
1. Технологии захвата движения – очень дорогие, но в то же время очень качественные.
2. Сугубо узконаправленные технологии – например, Microsoft Kinect, используемая как игровой контроллер.
3. Нейросетевые подходы – не очень качественные, но активно развивающиеся технологии.
Для достижения цели работы был выбран нейросетевой подход, а именно исследовалась архитектура генеративно-состязательной нейронной сети SAFA. Была имплементирована данная архитектура и был разработан модуль постобработки для этой архитектуры. Помимо этого были проведены исследования качества этого модуля, которые показали, что предложенный метод очень хорошо восстанавливает детали лица в анимации.
Также исследования показали, что когерентность и реалистичность кадров генерируемой анимации по-прежнему очень слабы. Данные недостатки можно исправить в дальнейших работах.

Купить