Содержание 2
Введение 3
Обзор литературы 5
Постановка задачи 9
Основная часть 10
1. Архитектура генеративных сетей 10
1.1 DC-GAN 10
1.2 WGAN 11
1.3 Conv2d 12
1.4 ConvTranspose2d 12
1.5 BatchNorm2d 13
1.6 InstanceNorm2d 14
2. Разработка средств для тестирования методов оптимизации генеративных сетей
2.1 Выбор средств 14
2.2 Трансферное обучение 15
2.3 Дистилляция знаний 16
2.4 Оценка результатов 17
3. Экспериментальное исследование методов оптимизации генеративных
сетей 19
3.1 Трансферное обучение 19
3.2 Дистилляция знаний 22
3.3 Сравнение показателей 24
Заключение 26
Список использованных источников
Купить

В современном обществе компьютер позволяет облегчить жизнь человека в многих областях. Но последние исследования показывают, что с помощью нейросетей можно не только выполнять задачи классификации, сегментации и детекции, а создавать совершенно новые объекты из целевого признакового пространства. Однако, чтобы обучать модели выполняющие данную задачу требуется огромное количество ресурсов, которые не являются общедоступными.
Так, к примеру, одна из новейших генеративных моделей ruDALL-E XXL, которая умеет генерировать изображения по текстовому запросу, имеет 12 миллиардов параметров. Только чтобы хранить данное количество параметров в четырехбайтовом типе нужно более 44 гигабайт памяти, когда большинство современных GPU не имеют подобных мощностей.
Тема генеративных сетей только начала набирать популярность,
поэтому на данный момент количество исследований и публикация по данной
теме не так велико. Большинство исследований над генеративными сетями
были проведены на датасете MNIST, содержащий рукописные цифры размером 28х28 пикселей. Однако с увеличением разрешения и количества важных деталей объекта генерации задача усложняется в разы, так как сходимость генеративных сетей еще не до конца изучена.
В данной работе будет совершен переход на исследование более крупного разрешения в 128х128 пикселей и к более сложной задаче: генерация мордочек животных.
Целью данной работы является исследование двух методов оптимизации нейросетей в применении для задачи обучения генеративно-состязательных сетей (GAN) и возможности получения качественных моделей на обычных пользовательских персональных компьютерах.

Купить