Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Задача трехмерной реконструкции по одиночному снимку 7
1.1. Общая постановка задачи 7
Глава 2. Методы решения 9
2.1. Критерии выбора архитектуры нейронной сети 9
2.2. Математическое определение Unet 10
2.3. Энкодер 11
2.4. Декодер 13
Глава 3. Набор данных 15
3.1. Критерии выбора обучающего набора данных 15
3.2. Обзор состава датасета 15
3.3. Ограничения датасета 18
Глава 4. Построение архитектуры нейронной сети 22
4.1. Оптимизатор 22
4.2. Инициализатор 23
4.3. Метрики качества 24
4.4. Подбор гиперпараметров 25
4.5. Программная реализация 31
Глава 5. Обучение модели 34
5.1. Доступные аппаратные средства 34
5.2. Процесс обучения 34
Глава 6. Обзор результатов 37
6.1. Визуализация предсказаний 37
6.2. Сравнение результатов 39
Глава 7. Заключение 42
Список литературы 43
В последние годы заметен возрастающий интерес к приобретению модных изделий через Интернет. Динамика онлайн-торговли в натуральном выражении продемонстрировала рост на 104% в 2021 году, на 65% в 2022 году, а для 2023 года прогнозируется увеличение рынка на 33-34% [1]. Тем не менее, несмотря на удобство интернет-шопинга, потребители зачастую испытывают опасения относительно соответствия выбранного на фотографиях товара модного предмета их размерам и стилю. В связи с этим, разработка технологии быстрой и доступной трехмерной реконструкции предметов гардероба может существенно улучшить опыт покупок, трансформировать подход к выбору одежды, а также привлечь новую клиентуру для розничных продавцов.
К тому же, данная технология обладает потенциалом расширения своего применения не исключительно в сфере электронной коммерции, но и в других областях, таких как виртуальная и дополненная реальность, а также компьютерные игры. Трехмерная реконструкция обыденного гардероба способствует оптимизации процесса наполнения открытых игровых миров реалистичными персонажами второго плана, и, в дополнение к этому, предоставляет пользователям возможность индивидуализации их визуального облика.
Ориентированность разрабатываемой технологии на скорость и дешевизну реконструкции является еще одним существенным аспектом, который делает ее привлекательной для широкого круга потенциальных пользователей и секторов применения.
Выбор предметов гардероба в качестве целевых объектов для трехмерной реконструкции в данном исследовании обусловлен несколькими причинами.
• Во-первых, эти объекты представляют собой интересный и сложный пример для реконструкции по одиночному снимку, поскольку они обычно имеют сложные формы и структуры, многовариантные фактуры и материалы.
• Во-вторых стоит отметить, что если модель успешно справляется с такой сложной задачей, как трехмерная реконструкция предметов гардероба, то ее адаптация и дообучение для работы с более простыми объектами не составит большого труда.
Постановка задачи
Целью данной работы является разработка технологии для быстрой и экономически эффективной трехмерной реконструкции элементов повседневного гардероба, с акцентом на работу с ограниченными наборами данных. Задача обладает высокой сложностью, поскольку объекты гардероба часто обладают уникальной и детализированной структурой, что делает реконструкцию особенно требовательной к объемам данных для обучения моделей. Однако, в ходе исследования будет сформулирован подход, позволяющий эффективно обучать модель даже при ограниченном объеме данных.
В ходе проделанных исследований была сформулирована и реализована архитектура нейронной сети, на основе анализа существующих эталонных методов в области трехмерной реконструкции. Разработанная модель способна успешно реконструировать объекты гардероба, обеспечивая при этом приемлемое качество исходя из поставленных задач.
К тому же, в рамках сложившихся ограничений набора данных, а в частности отсутствия в открытом доступе обучающих двумерных изображений, был разработан подход восстановления двумерных обучающих изображений по их трехмерным таргетам, что позволило минимизировать негативное влияние замены реальных данных синтетическими на разработанную модель.
Отдельно стоит отметить, что разработанный подход обладает низкими требованиями к вычислительным ресурсам, что делает его доступным для использования на широком спектре аппаратных платформ. Это открывает возможности для гибкого масштабирования и расширения целевой аудитории пользователей разработанной модели.
Несмотря на геометрическую сложность объектов гардероба, модель продемонстрировала способность к достаточно качественному их предсказанию. Это предоставляет сильный фундамент для дальнейшего обобщения разработанного подхода на другие трехмерные классы объектов.
В сравнении с аналогами, представленный подход характеризуется значительно меньшим количеством параметров, что, тем не менее, не приводит к существенной потере в качестве. Таким образом, результаты работы подтверждают эффективность и перспективность выбранной стратегии в решении задач трехмерной реконструкции.
Весь написанный код можно посмотреть в репозитории на GitHub.
