ВВЕДЕНИЕ 3
1. ПОСТАНОВКА ЗАДАЧИ 5
1.1 Задачи на исследование 5
1.2 Задачи на разработку 5
2. ОБЗОРНО-АНАЛИТИЧЕСКАЯ ЧАСТЬ 6
2.1. Описание процесса работы системы 6
2.2 Движок Unreal Engine 4 6
2.3 Библиотеки компьютерного зрения 8
2.4 Оптимизация скорости работы системы 11
2.4.1 Изменение разрешения изображения 12
2.4.2 Пропуск кадров 12
2.4.3 Вывод системы в отдельный поток 13
2.5 Существующие аналоги системы 14
3. ПРОЦЕСС РАЗРАБОТКИ 15
3.1 Подключение библиотеки 15
3.2 Детектор 68 точек на лице 16
3.3 Анимация лица 23
3.3.1 Технология Morph Target 23
3.3.1.1 Преимущества и недостатки 23
3.3.1.2 Использование Morph Target анимации в проекте 24
3.3.2 Использование скелетной анимации 27
3.3.3 Сравнение Morph T arget и скелетной анимации 31
3.4 Создание многопользовательской части 33
4. ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ СИСТЕМЫ 35
ЗАКЛЮЧЕНИЕ 38
ИСПОЛЬЗОВАННЫЕ ИСТОЧНИКИ 39
ПРИЛОЖЕНИЯ 41
Актуальность: Захват мимики человека и её перенос на виртуального персонажа является серьезной проблемой среди специалистов по спецэффектам и разработчиков видеоигр.
Существует несколько способов это сделать. В основном это использование дорогостоящих камер и приклеивание светоотражающих шариков на лицо и тело. Или использование 3d камер таких как Kinect или Real Sense . Но все это оборудование слишком дорогое и сложное в использовании. Многие пользователи и инди разработчики не могут себе такого позволить.
Эта система призвана облегчить жизнь разработчикам на движке Unreal Engine 4, так как это наиболее дешевый и весьма качественный способ захвата движений, с помощью которого можно оживить своих персонажей на экране. К тому же учитывая, что у подавляющего большинства пользователей имеется обычная веб-камера, разработчики смогут смело использовать технологию, не опасаясь потери своей аудитории. А игроки смогут разнообразить и сделать более оживленнее свое общение в онлайн мире.
Цель:
Разработать систему переноса человеческой мимики с веб-камеры в игрового персонажа в реальном времени.
Основные задачи:
1. Подробный анализ и сравнение разных технологий по распознаванию лица и выбор наиболее оптимальной.
2. Исследование способов реалистичной анимации лица игрового персонажа с использованием данных, полученных c веб-камеры.
3. Подключение вспомогательных библиотек в движок.
4. Реализация системы в движке Unreal Engine 4
5. Создание онлайн режима и сборка плагина в UE4.
Теоретическая значимость:
Материалы, собранные в данном проекте, имеют особую значимость для продвижения данной технологии, так как она не так широко исследована среди разработчиков игр и приложений. Так же мало исследованы способы использования технологий компьютерного зрения в Unreal Engine 4.
Практическая значимость:
Использование разработанного инструмента в учебном процессе, наилучшим образом повлияет на изучение основ данной технологии и приобретение навыков работы с движком Unreal Engine 4, использующимся в игровой индустрии. Благодаря этой системе, игроки смогут глубже погрузиться в игровой мир общаясь друг с другом и показывая свою мимику.
Также эту систему можно будет использовать и при создании кинематографичных сцен в движке UE4 с инструментом Sequencer.
Данная дипломная работа была посвящена разработке системы для переноса человеческой мимики с веб-камеры в игрового персонажа в реальном времени, в ходе которого был создан рабочий прототип системы с использованием библиотек OpenCV, Dlib и движка Unreal Engine 4, версии
4.19.2.
Подробно были рассмотрены теоретические аспекты затрагиваемых вопросов и проведены исследования, благодаря чему удалось найти способы оптимизации, кроме того были выявлены новые возможности использования системы.
Разработанная система имеет широкие перспективы, на данный момент существует всего один проект (Star Citizen ), ещё находящийся в разработке, использующий аналогичную систему для анимации персонажей в реальном времени.
