Реферат 2
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ 3
ВВЕДЕНИЕ 4
1 Обзор и анализ существующих алгоритмов 7
1.1 Критерии качества изображений 7
1.2 Классические методы увеличения разрешения изображений 11
1.3 Нейросетевые методы увеличения разрешения изображений 17
1.4 Анализ инструментов для разработки 23
2 Модель увеличения разрешения изображений 29
2.1 Описание модели 29
2.2 Архитектура сети 30
2.3 Дискриминатор 34
2.4 Интерполяция 37
3 Реализация алгоритма 39
4 Обучение и тестирование модели 46
4.1 Детали обучения 46
4.2 Данные для обучения 47
4.3 Анализ результатов 49
4.4 Сравнение модели 52
4.5 Сравнение интерполяции 56
5 Проектирование и разработка 57
5.1 Структура приложения 57
5.2 Реализация интерфейса пользователя 57
5.3 Реализация функций предобработки 71
ЗАКЛЮЧЕНИЕ 73
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 75
Приложение А - Листинг программы 78
Приложение Б - Презентация 100
Актуальность темы. Методы повышения качества цифровых изображений направлены на улучшение восприятия изображения технической или художественной картины человеком. При этом понятие «повышение качества» связывается как с характером передаваемой зрителю посредством этого изображения информации, так и со спецификой человеческого зрения. В связи с этим обработка цифрового изображения, необходимая для улучшения его качества, в зависимости от указанных специфик может значительно варьироваться, чтобы соответствовать вытекающим из них весьма различным целям [1].
Одной из важных задач обработки изображений является улучшение качества изображения, которое включает в себя изменение его пространственного разрешения для улучшения возможности различения определенных деталей. Под пространственным разрешением обычно понимают количество пикселей, которыми изображение формируется. В некоторых случаях, например, для визуальной передачи простой информации, достаточно использовать изображения очень низкого разрешения, что обеспечит и высокую скорость ее восприятия. В других случаях, например, для восприятия большого количества мелких деталей картинки или схемы, требуется высокое пространственное разрешение цифрового изображения. Может оказаться, что пространственное разрешение, которое может обеспечить детектирующая матрица, недостаточно для получения требуемой детализации изображения. Это означает, что нужное цифровое изображение не может быть получено в течение одной экспозиции. В этом случае возникает задача его синтеза на основе группы изображений одной и той же картинки, имеющих более низкое разрешение, то есть так называемая задача «сверхразрешения».
Проблема получения изображения высокого разрешения исследуется в течение последних двадцати лет. Для решения этой задачи предложены различные классические подходы, которые можно классифицировать по разным критериям. Но они не являются универсальными и, в большинстве случаев, необходимо человеческое вмешательство для определения перечня применяемых алгоритмов и их параметров [2].
В связи с этим в настоящий момент всё большую популярность набирает нейросетевой подход в обработке изображений. На текущий момент широко используются разнообразные алгоритмы на основе нейронных сетей, которые умеют принимать для обработки не только наборы чисел, но и объекты, имеющие некоторые дополнительные, главным образом геометрические, свойства, такие как изображения (такие алгоритм учитывают не только значения пикселей, но и их взаимное расположение), аудио, видео и тексты. Они были обучены определять, что находится на картинке и, в случае возникновения необходимости, «дорисовывать» недостающие фрагменты. Нейронные сети используют различные методы обработки изображений, преследуя цель увеличить расширение изображения. Обычно это проходит в несколько этапов и в конце представляется уже улучшенная картинка в качестве результата. Сфера применения данных технологий довольно обширна и программных продуктов, предоставляющих такие услуги, со временем становится только больше [3].
С учетом вышесказанного, тема исследования, связанная с разработкой нейросетевой модели направленной на увеличение разрешения изображения, является актуальной.
Цели и задачи исследования. Целью диссертационной работы является исследование нейросетевых алгоритмов и методов увеличения разрешения изображения и разработка приложения, включающего нейросетевую модель для задачи повышения качества изображения.
Для достижения поставленной цели необходимо решить следующие основные задачи:
- обзор и анализ существующих исследований и алгоритмов, применяемых и направленных на увеличение разрешения изображения, основанных на нейронных сетях,
- разработка нейросетевой модели для увеличения разрешения изображения,
- обучение модели для увеличения разрешения изображения,
- тестирование и сравнение полученной модели с аналогами,
- разработка функционала приложения,
- тестирование и отладка разработанного приложения.
Объектом исследования являются нейросетевые алгоритмы методы, увеличивающие разрешение изображении...
В ходе выполнения данной работы было исследовано и проанализировано использовании искусственного интеллекта для обработки изображений и улучшения их качества посредством увеличения разрешения изображения, проанализированы существующие классические и нейросетевые методы решения данной проблемы, выявлены их преимущества и недостатки.
В результате выполнения данной выпускной квалификационной работы были достигнуты следующие результаты:
- проанализированы существующие нейросетевые модели, способные обрабатывать изображения и увеличивать их разрешение, сравнены и выявлены сильные и слабые стороны текущих решений,
- разработана нейросетевая модель для увеличения разрешения изображения,
- произведено обучение разработанной модели для увеличения разрешения изображения,
- реализовано тестирование и сравнение полученной модели с аналогами,
- разработан функционал приложения, направленного на обработку изображений и увеличение его качества,
- реализовано тестирование и отладка разработанного приложения,
- показана применимость разработанной нейросетевой модели и приложения с использованием различных входных данных.
Определена актуальность данной темы и поставлены цели выполнения для дальнейшего выполнения научно-исследовательской работы. Также была проанализирована архитектура нейросетевой модели из семейства ESRGAN. Была реализована, разработана и обучена нейросетевая модель для решения задачи увеличения разрешения и обработки качества изображений. Изучены и добавлены методы оптимизации алгоритма. Нейросетевая модель была протестирована на корректность обработки, было реализовано сравнение с похожими нейросетевыми методами и моделями, сделаны выводы по уровню и качеству работы.
Дальнейшее развитие нейросетевых решений для проблемы улучшения качества изображений посредством увеличения разрешения изображения может включать в себя расширение возможностей нейросетевой модели и приложения следующим образом:
- исследованием новых архитектур нейронных сетей для улучшения качества изображений,
- развитие потенциала для увеличения скорости обработки графических изображений и оптимизации использования ресурсов устройств,
- расширение функционала системы, добавление возможности обработки видео и других типов графических и медиафайлов.
1. Афанасьев, А. А. Цифровая обработка сигналов / А. А. Афанасьев, А. А. Рыболовлев, А. П. Рыжков. - М.: Горячая линия - Телеком, 2017.
2. Цифровая обработка изображений / Р. Гонсалес, Р. Вудс. - М.: Техносфера, 2012. - 1104 с.
3. Wang, Z., Image quality assessment: From error visibility to structural similarity / Z Wang [et. all] // IEEE Trans. Image Processing. - 2004. -V. 13, № 4, April. - P. 600-612.
4. Xu, L.Visual Quality Assessment by Machine Learning / L. Xu, W. Lin, C. Kuo. Springer, 2015.Wang, Z. Modern Image Quality Assessment / Z. Wang, A. Bovik. Morgan and Claypool Publishing Company, 2006.
5. Макаров А.О. Алгоритмы увеличения пространственного разрешения и обработки мультиспектральных спутниковых изображений: А.О. Макаров. - Минск, 2006. - 156 с.
6. Xintao Wang, Liangbin Xie, Chao Dong, Ying Shan. / Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data.
7. Wang, Xintao, et al. “Esrgan: Enhanced super-resolution generative adversarial networks.” Proceedings of the European Conference on Computer Vision (ECCV) Workshops. 2018.
8. Ledig, Christian, et al. “Photo-realistic single image super-resolution using a generative adversarial network.” Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
9. Jolicoeur-Martineau, Alexia. “The relativistic discriminator: a key element missing from standard GAN.” arXivpreprint arXiv: 1807.00734 (2018).
10. Lim, Bee, et al. “Enhanced deep residual networks for single image super-resolution.” Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2017.
11. CAMBRIDGE in COLOUR. A learning community for photographers. Интерполяция цифрового изображения.
12. Тихонов, В. И. Статический анализ и синтез радиотехнических устройств и систем связи / В. И. Тихонов, В. Н. Харисов. - М.: Радио и связь, 2004. - 608 с.
13. Клочко, В. К. Методы восстановления изображений и оценивания аппаратной функции по прореженной матрице наблюдений / В. К. Клочко, В. П. Кузнецов // Автометрия. - 2016. - Т. 52. - №6. - С. 12-20. - DOI: 10.15372/AUT20160602.
14. Zhang, J. Quantile analysis of image sensor noise distribution / J.
Zhang, K. Hirakawa, X. Jin // ICASSP. - 2015. - DOI: 10.1109/
ICASSP.2015.7178240.
15. Xiao-Jiao, M. Image Restoration Using Very Deep Convolutional Encoder-Decoder Networks with Symmetric Skip Connections / M. Xiao-Jiao, S. Chunhua, Y. Yubin // NIPS. - 2016. 8. Deya, B. SEM image denoising with Unsupervised Machine Learning for better defect inspection and metrology / B. Deya, S. Haldera, K. Khalil // SPIE Advanced Lithography. - 2021. - DOI: 10.1117/12.2584803...28