Введение 3
Постановка задачи 5
1. Обзор предметной области 6
2. Описание исходных данных 9
3. Применение существующих моделей 12
3.1. Cycle Gan 13
3.2. Contrastive Unpaired Translation 16
3.3. UGATIT 19
3.4. AdaIn 21
3.5. StyTr2 24
4. Применение искусственных данных в задаче определения 2D позы 26
Заключение 30
Список литературы
В наши дни трудно представить себе человека, который не пользуется какими-либо электронными устройствами. Несмотря на это, нам важны не устройства сами по себе, а скорее контент, доступ к которому они предоставляют. Этот контент может принимать различные формы, однако наиболее часто он представляется в виде визуальной информации. Большую часть подобного рода информации можно отнести к тем или иным разновидностям компьютерной графики.
Производство графики представляет собой комплексный процесс. В первую очередь на свет появляются концепты и наброски, представляющие собой первое видение будущего произведения или его части. По существующим концепт-артам создаются 3D модели. 3D-художник вручную переносит содержание двумерного изображения в трехмерное пространство. На построенную модель накладываются текстуры. В зависимости от формы и содержания конечного продукта в пайплайн может добавиться труд аниматоров, скульпторов, риггеров и других специалистов.
^здание трехмерной компьютерной графики является длительным и дорогим процессом, включающем в себя труд множества людей.
В настоящее время существуют различные разновидности программного обеспечения, стремящиеся облегчить труд цифровых художников. К ним относятся пакеты для 3D моделирования, скульптинга, текстурирования и другие. Большинство из них можно настроить с помощью различных плагинов и сделать процесс работы с 3D более удобным.
В связи с быстрым развитием методов, основанных на анализе данных, логично попытаться применить их к задачам, решаемым в процессе создания компьютерной графики. В частности, попытаться внедрить нейронные сети в пайплайн создания 3D модели или анимации для того, чтобы освободить художника от рутинных задач.
Однако данный подход встречается с некоторыми трудностями на своем пути к реализации: для обучения моделей, основанных на анализе данных, требуется большое количество этих самых данных. К сожалению, для решения задач, связанных с обработкой рисунков с человекоподобными персонажами существует мало размеченных наборов данных. Это оправдано, так как для получения разметки по рисункам в большинстве случаев необходим труд профессионалов. Например в задаче реконструкции позы персонажа по рисунку для каждого элемента данных необходимо провести ручную реконструкцию позы, что, в свою очередь, является довольно трудоемким процессом, который подвластен не каждому.
Не стоит забывать, что при рисовании художники не используют точные математические измерения для ортографической или перспективной проекции, вместо этого полагаясь на свой опыт и эмпирические правила [16, 36]. В связи с этим художники часто искажают пропорции конечностей и используют нелинейную перспективу [32]. Кости персонажей часто выходят за пределы своей нормальной длины на рисунках из-за неточностей рисунка или художественной лицензии [36, 16, 34]. Все это не позволяет использовать искусственные данные в необработанном формате, сгенерированные как есть.
В данной работе мы хотим преодолеть ограничения, накладываемые на применение нейронных сетей в работе с реалистичными изображениями, путем создания искусственных данных на основе существующих 3D-моделей [2]. Эти искусственные данные должны, быть похожи на реальные рисунки, чтобы затем на них имело смысл проводить обучение нейронных сетей для решения различных задач, требующих размеченных датасетов. Для создания датасета предлагается воспользоваться современными моделями переноса стиля между изображениями [14]. Перенос стиля позволит нам использовать обширные базы с 3D моделями для создания правдоподобных набросков с соответствующими им разметками, полученными непосредственно из 3D моделей.
Предполагается исследовать применимость подобного подхода к генерации искусственных данных в задаче реконструкции 2D скелета персонажа по рисунку. В связи с тем, что персонажи на рисунках часто имеют нереалистичные или сильно искаженные пропорции также мы хотим сравнить методы переноса стиля с применением пространственных аугментаций.
Постановка задачи
Целью данной работы является поиск метода генерации искусственных данных, подражающих наброскам реальных художников. Получение правдоподобных набросков предполагается осуществлять с помощью нейросетевых моделей переноса стиля [14]. Помимо этого предполагается оценить полезность использования сгенерированных данных как аугментации при решении задачи реконструкции 2D позы по изображениям. Для достижения поставленной цели требуется решить следующие задачи.
• Изучить существующие подходы для генерации правдоподобных на-бросков.
• Собрать датасет отрендеренных 3D моделей с сохранением информации о скелете.
• Рассмотреть популярные методы переноса стиля и применить их к отрендеренным изображениям для имитации стиля набросков.
• Рабочие методы из предыдущей задачи использовать для создания да- тасета правдоподобных скетчей.
• Оценить качество полученных датасетов на задаче определения 2D позы.
В рамках работы было изучено несколько архитектур нейронных сетей, позволяющих переносить стиль между изображениями. Эксперименты показали, что генеративно состязательные сети плохо приспособлены для работы с разреженными изображениями, какими являются например наброски.
Были отобраны архитектуры, позволяющие правдоподобно переносить стиль с реальных рисунков на изображения, сгенерированные по трехмерным моделям. Такими архитектурами оказались модели, основанные на специальных слоях, осуществляющих смешивание статистик контента и стиля.
Были собраны наборы данных правдоподобных скетчей с помощью моделей AdaIN и StyTr2с использованием различных стилевых источников. На данных наборах была обучена модель для определения 2D позы персонажа по изображению, которая показала себя не лучше предобученной модели и модели обученной на данных, непосредственно сгенерированных из трехмерных моделей.
Было изучено применение пространственных аугментаций при обучении модели определения 2D позы, которые позволили превзойти качество, полученное на данных без переноса стиля.
