
Тип работы:	Предмет:	Язык работы:

Фундаментальная информатика и информационные технологии” ООП “Цифровые технологии и системы

Работа №	143443
Тип работы	Дипломные работы, ВКР
Предмет	информатика
Объем работы	31
Год сдачи	2022
Стоимость	4600 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено	17

Не подходит работа?

Узнай цену на написание

Содержание

Содержание 2
Введение 3
Обзор литературы 5
Постановка задачи 9
Основная часть 10
1. Архитектура генеративных сетей 10
1.1 DC-GAN 10
1.2 WGAN 11
1.3 Conv2d 12
1.4 ConvTranspose2d 12
1.5 BatchNorm2d 13
1.6 InstanceNorm2d 14
2. Разработка средств для тестирования методов оптимизации генеративных сетей 14
2.1 Выбор средств 14
2.2 Трансферное обучение 15
2.3 Дистилляция знаний 16
2.4 Оценка результатов 17
3. Экспериментальное исследование методов оптимизации генеративных
сетей 19
3.1 Трансферное обучение 19
3.2 Дистилляция знаний 22
3.3 Сравнение показателей 24
Заключение 26
Список использованных источников

Введение

В современном обществе компьютер позволяет облегчить жизнь человека в многих областях. Но последние исследования показывают, что с помощью нейросетей можно не только выполнять задачи классификации, сегментации и детекции, а создавать совершенно новые объекты из целевого признакового пространства. Однако, чтобы обучать модели выполняющие данную задачу требуется огромное количество ресурсов, которые не являются общедоступными.
Так, к примеру, одна из новейших генеративных моделей ruDALL-E XXL, которая умеет генерировать изображения по текстовому запросу, имеет 12 миллиардов параметров. Только чтобы хранить данное количество параметров в четырехбайтовом типе нужно более 44 гигабайт памяти, когда большинство современных GPU не имеют подобных мощностей.
Тема генеративных сетей только начала набирать популярность,
поэтому на данный момент количество исследований и публикация по данной
теме не так велико. Большинство исследований над генеративными сетями
были проведены на датасете MNIST, содержащий рукописные цифры
3
размером 28х28 пикселей. Однако с увеличением разрешения и количества важных деталей объекта генерации задача усложняется в разы, так как сходимость генеративных сетей еще не до конца изучена.
В данной работе будет совершен переход на исследование более крупного разрешения в 128х128 пикселей и к более сложной задаче: генерация мордочек животных.
Целью данной работы является исследование двух методов оптимизации нейросетей в применении для задачи обучения генеративно-состязательных сетей (GAN) и возможности получения качественных моделей на обычных пользовательских персональных компьютерах.

Возникли сложности?

Нужна помощь преподавателя?

Помощь студентам в написании работ!

ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ

Курсовые Статьи Диплом Рязань

Заключение

Трансферное обучение может применяться, когда имеется модель с похожим пространством признаков и позволяет добиться колоссальной экономии памяти за счет заморозки слоев. Такой метод практически всегда более эффективен чем обучение с нуля и очень часто применяется для таких задач как классификация и распознавание. Было показано, что данный метод дает хороший результат и для генеративных сетей и может применяться в таких задачах как генерация дипфейков или картин художников.
Для дистилляции знаний тоже были получены положительные результаты. Данная оптимизация позволяет значительно сократить размер самой генеративной модели, что может позволить портировать большие модели на мобильные и компактные устройства. Это может быть полезно, например при необходимости перенести одну большую модель на огромное количество смартфонов, при этом для каждого сохранив одинаковое распределение генерируемых данных.
В данной работе были рассмотрены два наиболее распространенных и востребованных метода оптимизации для современных нейронных сетей и их применение в задаче обучения генеративно состязательных сетей. Были проведены эксперименты и выполнен сравнительный анализ на основе трех параметров, а также предложены задачи для которых данные методы будут полезны.

Литература

Generative Adversarial Nets
URL - https://arxiv.org/pdf71406.2661.pdf
[2] - Wasserstein GAN
URL - https://arxiv.org/pdf/1701.07875.pdf
[3] - Improved Training of Wasserstein GANs
URL -https://arxiv.org/pdf/1704.00028.pdf
[4] - Transfer Learning for GANs
URL - https://arxiv.org/pdf/1906.11613.pdf
[5] - Distilling the Knowledge in a Neural Network
URL - https://arxiv.org/pdf/1503.02531.pdf
[6] - KDGAN: Knowledge Distillation with Generative Adversarial Networks
URL -
https://proceedings.neurips.cc/paper/2018/file/019d385eb67632a7e958e23f24bd07
d7-Paper.pdf
[7] - GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium
URL - https://arxiv.org/pdf/1706.08500.pdf
[8] - Cat Dataset - Over 9,000 images of cats with annotated facial features
URL - https://www.kaggle.com/datasets/crawford/cat-dataset
[9] - Animal Faces - 16,130 images belonging to 3 classes.
URL - https://www.kaggle.com/datasets/andrewmvd/animal-faces