Термины и сокращения 3
Введение 5
Постановка задачи 6
Обзор литературы 7
Глава 1. Обзор методов 9
1.1. Super Resolution со сверточными нейронными сетям ... 9
1.2. Generative Adversarial Networks 9
1.3. Enhanced Super Resolution GAN 10
1.4. Knowledge Distillation 11
1.5. Основные проблемы GAN подхода 13
Глава 2. Алгоритм решения задачи 15
2.1. Датасеты 15
2.2. Метрики 16
2.3. Предложенное решение проблемы 17
2.4. Используемая функция потерь 21
Глава 3. Эксперименты и результаты 22
Выводы 25
Заключение 26
Список литературы
В наше время на смартфон делается огромное количество фотографий, также снимается много различных видео, при этом каждый пользователь хочет, чтобы все моменты были запечатлены как можно более качественно. При этом на качество изображения оказывает влияние огромное количество различных факторов, приводящих к зашумлению изображения. Поэтому сейчас большая востребованность у алгоритмов, которые могут увеличивать разрешение или качество изображения. Данная задача называется задачей Super-Resolution. Методы ее решения используются всеми современными компаниями, например: Google используют их в своем смартфоне Google Pixel, Apple в Iphone, Huawei, Samsung и многие другие. Часто она встречается именно в процессе обработки изображений при фотографировании на смартфон, именно поэтому возникает необходимость иметь быстрые алгоритмы для её решения, так как это всего лишь составляющая большой последовательности действий.
В ходе научно-исследовательской работы был реализован фреймворк, позволяющий управлять выбором составляющих функций потерь и коэффициентов при них, а также тем, во сколько раз произойдет уменьшение модели.
Были проведены эксперименты по применению метода дистилляции знаний к нейросетевой модели для решения задачи SR - ESRGAN. В результате было получено 2 конкурентоспособных модели: одна из них при размере в 2 раза меньше имеет PSNR равный 28.25 на Set14, когда оригинальная модель имеет 28.72, но визуально их отличить достаточно сложно. Вторая имеет размер в 4 раза меньше при PSNR равном 28.0. Данные эксперименты были проведены с параметрами А = 10 и и = 0. Они были подобраны экспериментальным путем и считаются оптимальными.
Более того, метод дистилляции знаний универсален, поэтому его можно применить и к другим нейросетевым решениям задачи SR. Что касается этого решения, то еще есть много вещей с которыми можно проэкспериментировать и добавить: попробовать другие составляющие функции ошибки, коэффициенты при них, способы сопоставления промежуточных представлений модели-студента и модели-учителя.
[1] Xintao Wang, Ke Yu, Shixiang Wu, Jinjin Gu, Yihao Liu, «ESRGAN: Enhanced super-resolution generative adversarial networks», 2018.
[2] M. Irani, S. Peleg, «Super resolution from image sequences», 1990.
[3] Saeed Anwar, Nick Barnes, «Densely Residual Laplacian Super- Resolution», 2019.
[4] Wanjie Sun, Zhenzhong Chen, «Learned Image Downscaling for Upscaling using Content Adaptive Resampler», 2019.
[5] Bee Lim, Sanghyun Son, Heewon Kim, Seungjun Nah, Kyoung Mu Lee, «Enhanced Deep Residual Networks for Single Image Super-Resolution», 2017.
[6] Christian Ledig, Lucas Theis, Ferenc Huszar, Jose Caballero, Andrew Cunningham, «Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network», 2017.
[7] Zibin He, Tao Dai, Jian Lu, Yong Jian, Shu-Tao Xia, «Fakd:Feature-Affinity Based Knowledge Distillation for Efficient Image Super-Resolution», IEEE International Conference on Image Processing, 2020.
[8] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, BingXu, David Warde- Farley, Sherjil Ozair, Aaron Courville and Yoshua Bengio, «Generative adversarial nets», 2014.
[9] Sergey Ioffe and Christian Szegedy, «Batch normalization:Accelerating deep network training by reducing internal covariate shift». In Proceedings of the 32nd International Conference on International Conference on Machine Learning, 2015, pp. 448-456.
[10] Karen Simonyan, Andrew Zisserman, «Very Deep Convolutional Networks for Large-Scale Image Recognition», 2015.
[11] Bevilacqua, «Low-complexity single-image super-resolution based on nonnegative neighbor embedding», 2012.
[12] Zeyde, R., Elad, M., Protter, M. «On single image scale-up using sparse-representations». International Conference on Curves and Surfaces, 2010, Springer.
[13] Geoffrey Hinton and Oriol Vinyals and Jeff Dean, «Distilling the Knowledge in a Neural Network», 2015.
[14] Agustsson, E., Timofte, R. Ntire «Dataset and study». Challenge on single image super-resolution, CVPRW, 2017.
[15] Николенко С.И., Кадурин А.А. «Глубокое обучение. Погружение в мир нейронных сетей».