📄Работа №127963
Тема: Оптимизация генеративно-состязательных сетей
Характеристики работы
Тип работы
Дипломные работы, ВКР
Предмет
Информационные системы
Объем:
31 листов
Год:
2022
Просмотров:
233
4275
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Содержание 2
Введение 3
Обзор литературы 5
Постановка задачи 9
Основная часть 10
1. Архитектура генеративных сетей 10
1.1 DC-GAN 10
1.2 WGAN 11
1.3 Conv2d 12
1.4 ConvTranspose2d 12
1.5 BatchNorm2d 13
1.6 InstanceNorm2d 14
2. Разработка средств для тестирования методов оптимизации генеративных сетей
2.1 Выбор средств 14
2.2 Трансферное обучение 15
2.3 Дистилляция знаний 16
2.4 Оценка результатов 17
3. Экспериментальное исследование методов оптимизации генеративных
сетей 19
3.1 Трансферное обучение 19
3.2 Дистилляция знаний 22
3.3 Сравнение показателей 24
Заключение 26
Список использованных источников
Введение 3
Обзор литературы 5
Постановка задачи 9
Основная часть 10
1. Архитектура генеративных сетей 10
1.1 DC-GAN 10
1.2 WGAN 11
1.3 Conv2d 12
1.4 ConvTranspose2d 12
1.5 BatchNorm2d 13
1.6 InstanceNorm2d 14
2. Разработка средств для тестирования методов оптимизации генеративных сетей
2.1 Выбор средств 14
2.2 Трансферное обучение 15
2.3 Дистилляция знаний 16
2.4 Оценка результатов 17
3. Экспериментальное исследование методов оптимизации генеративных
сетей 19
3.1 Трансферное обучение 19
3.2 Дистилляция знаний 22
3.3 Сравнение показателей 24
Заключение 26
Список использованных источников
📖 Введение
В современном обществе компьютер позволяет облегчить жизнь человека в многих областях. Но последние исследования показывают, что с помощью нейросетей можно не только выполнять задачи классификации, сегментации и детекции, а создавать совершенно новые объекты из целевого признакового пространства. Однако, чтобы обучать модели выполняющие данную задачу требуется огромное количество ресурсов, которые не являются общедоступными.
Так, к примеру, одна из новейших генеративных моделей ruDALL-E XXL, которая умеет генерировать изображения по текстовому запросу, имеет 12 миллиардов параметров. Только чтобы хранить данное количество параметров в четырехбайтовом типе нужно более 44 гигабайт памяти, когда большинство современных GPU не имеют подобных мощностей.
Тема генеративных сетей только начала набирать популярность,
поэтому на данный момент количество исследований и публикация по данной
теме не так велико. Большинство исследований над генеративными сетями
были проведены на датасете MNIST, содержащий рукописные цифры размером 28х28 пикселей. Однако с увеличением разрешения и количества важных деталей объекта генерации задача усложняется в разы, так как сходимость генеративных сетей еще не до конца изучена.
В данной работе будет совершен переход на исследование более крупного разрешения в 128х128 пикселей и к более сложной задаче: генерация мордочек животных.
Целью данной работы является исследование двух методов оптимизации нейросетей в применении для задачи обучения генеративно-состязательных сетей (GAN) и возможности получения качественных моделей на обычных пользовательских персональных компьютерах.
Так, к примеру, одна из новейших генеративных моделей ruDALL-E XXL, которая умеет генерировать изображения по текстовому запросу, имеет 12 миллиардов параметров. Только чтобы хранить данное количество параметров в четырехбайтовом типе нужно более 44 гигабайт памяти, когда большинство современных GPU не имеют подобных мощностей.
Тема генеративных сетей только начала набирать популярность,
поэтому на данный момент количество исследований и публикация по данной
теме не так велико. Большинство исследований над генеративными сетями
были проведены на датасете MNIST, содержащий рукописные цифры размером 28х28 пикселей. Однако с увеличением разрешения и количества важных деталей объекта генерации задача усложняется в разы, так как сходимость генеративных сетей еще не до конца изучена.
В данной работе будет совершен переход на исследование более крупного разрешения в 128х128 пикселей и к более сложной задаче: генерация мордочек животных.
Целью данной работы является исследование двух методов оптимизации нейросетей в применении для задачи обучения генеративно-состязательных сетей (GAN) и возможности получения качественных моделей на обычных пользовательских персональных компьютерах.
✅ Заключение
Трансферное обучение может применяться, когда имеется модель с похожим пространством признаков и позволяет добиться колоссальной экономии памяти за счет заморозки слоев. Такой метод практически всегда более эффективен чем обучение с нуля и очень часто применяется для таких задач как классификация и распознавание. Было показано, что данный метод дает хороший результат и для генеративных сетей и может применяться в таких задачах как генерация дипфейков или картин художников.
Для дистилляции знаний тоже были получены положительные результаты. Данная оптимизация позволяет значительно сократить размер самой генеративной модели, что может позволить портировать большие модели на мобильные и компактные устройства. Это может быть полезно, например при необходимости перенести одну большую модель на огромное количество смартфонов, при этом для каждого сохранив одинаковое распределение генерируемых данных.
В данной работе были рассмотрены два наиболее распространенных и востребованных метода оптимизации для современных нейронных сетей и их применение в задаче обучения генеративно состязательных сетей. Были проведены эксперименты и выполнен сравнительный анализ на основе трех параметров, а также предложены задачи для которых данные методы будут полезны.
Для дистилляции знаний тоже были получены положительные результаты. Данная оптимизация позволяет значительно сократить размер самой генеративной модели, что может позволить портировать большие модели на мобильные и компактные устройства. Это может быть полезно, например при необходимости перенести одну большую модель на огромное количество смартфонов, при этом для каждого сохранив одинаковое распределение генерируемых данных.
В данной работе были рассмотрены два наиболее распространенных и востребованных метода оптимизации для современных нейронных сетей и их применение в задаче обучения генеративно состязательных сетей. Были проведены эксперименты и выполнен сравнительный анализ на основе трех параметров, а также предложены задачи для которых данные методы будут полезны.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.