🔍 Поиск готовых работ

🔍 Поиск работ

Разработка нейросетевого алгоритма восстановления изображений лиц

Работа №203614

Тип работы

Магистерская диссертация

Предмет

информатика

Объем работы98
Год сдачи2023
Стоимость4885 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
18
Не подходит работа?

Узнай цену на написание


Введение 9
1. Теоретический обзор решаемой проблемы 11
1.1. Проблема суперразрешения 11
1.2. Обзор методов 14
1.3. Оценка качества моделей 15
1.4. Решаемая задача 17
2. Обзор реализуемой модели 18
2.1. Общий обзор реализуемой модели 18
2.2. Модуль удаления деградаций 20
2.3. Генеративный модуль 22
2.4. Модуль пространственного преобразования 24
2.5. Функционал качества модели 27
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение.. 38
5.1. Предпроектный анализ 38
5.1.1. Потенциальные потребители результатов исследования 38
5.1.2. Анализ конкурентных технических решений с позиции
ресурсоэффективности и ресурсосбережения 40
5.1.3. SWOT-анализ 43
5.1.4. Оценка готовности проекта к коммерциализации 44
5.1.5. Методы коммерциализации результатов научно-технического
исследования 46
5.2. Инициация проекта 46
5.2.1. Цели и результат проекта 46
5.3. Планирование управления научно-техническим проектом 47
5.3.1. Иерархическая структура работ проекта 47
5.3.2. План проекта 48
5.3.3. Бюджет научного исследования 49
5.4. Определение ресурсной (ресурсосбережение), финансовой
эффективности исследования 54
5.4.1. Оценка сравнительной эффективности исследования 54
5.5. Вывод 57
ЗАДАНИЕ ДЛЯ РАЗДЕЛА 58
«СОЦИАЛЬНАЯ ОТВЕТСТВЕННОСТЬ» 58
6. Социальная ответственность 60
6.1. Введение 60
6.2. Производственная безопасность 60
6.2.1. Вредные производственные факторы 60
6.2.2. Опасные производственные факторы 68
6.3. Экологическая безопасность 72
6.4. Безопасность в чрезвычайных ситуациях 73
Заключение 75
Список использованной литературы 76
Приложение А 81
1. METHODS OVERVIEW 82
2. OVEWIEW OF ARCHITECTURE USED BY MODEL 83
2.1. Developing model brief overview 83
2.2. Degradation removal module 85
Приложение Б 94


Восстановление лиц является одним из частных случаев проблемы увеличения разрешения изображений. Проблема решает следующую задачу: имеется изображение, содержащее лицо человека, пострадавшее по неизвестным причинам, таким как: уменьшение разрешения изображения вследствие физических ограничений захватывающего устройства, размытие, полученное при получении изображения, артефакты сжатия и так далее; данное изображение далее используется для получения высококачественного изображения лица человека. Задача ещё более усложняется применительно к изображениям, полученным из аналоговых источников таких, как например плёночные фотоаппараты, вследствие более сложной деградации.
В предыдущих работах была использована генеративно состязательная сеть, которая занималась комплексным решением задачи увеличения разрешения изображений. Применительно к изображениям лиц, данная модель также показывала хорошие результаты, однако она была вычислительно сложной, вследствие своей более обобщённой задачи. Было принято решение рассмотреть более частный случай увеличения разрешения изображений, и перейти к задаче восстановления лиц. Это сложная обратная задача, так как существует большое количество возможных отображений деградировавших изображений лиц в высококачественные. Восстановление лиц также, как и увеличение разрешения изображений имеет множество применений.
В настоящее время было предложено большое количество методов, позволяющих получить высококачественное изображение лица из пострадавшего вследствие неизвестных деградаций [21, 22, 23, 24, 25, 26, 27]. Задача восстановления является частным случаем более общей: увеличение разрешения изображений. В предыдущих работах было использовано решение на основе генеративно состязательной сети. Предложенное в рамках данной работы программное решение будет основано на схожих с предыдущими работами принципах.
В данной работе представлен обзор некоторых методов восстановления изображений лиц, а также описана общая теория и концепции, используемые при решении данной задачи.
Представлена реализация генеративно-состязательной сети по реализации восстановления лиц.
Целью данной работы является реализация генеративно¬состязательной модели для повышения разрешения изображений лиц.
Для достижения поставленной цели, в настоящей работе решаются следующие задачи:
1. изучение проблемы восстановления лиц;
2. изучение метрик, используемых в задаче сверхразрешения;
3. изучение методов восстановления лиц на изображении;
4. изучение проблем производительности методов;
5. реализация генеративно-состязательной сети.


Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!


В работе был приведён обзор методов позволяющих увеличить разрешение лиц на изображениях, а также восстанавливать деградировавшие изображения. Все рассмотренные в работе методы используют модели глубокого обучения. Различаются подходы, которые они используют в модели обучения, так некоторые из них используют те детали, которые можно извлечь непосредственно из деградировавших изображений, другие же используют наработки других исследователей в области компьютерного зрения, в виде априорных знаний о структуре лиц.
В работе была реализована комплексная модель глубокого обучения, которая в своей основе представляет из себя генеративно состязательную сеть. В работе была подробно рассмотрена архитектура предложенной модели, а также детали её реализации. Кроме того, были рассмотрены технические детали структурных элементов реализованной модели. Также было дано теоретическое обоснование, того почему модель должна справляться со своей задачей. Результаты показали, что генеративно¬состязательные сети имеют существенный недостаток - их очень сложно обучать. Поэтому для получения хороших результатов необходимо провести достаточно большее число эпох обучения. Изображения, полученные на выходе модели, получились, на субъективный взгляд, относительно неплохими. Для оценки качества изображений были рассчитаны метрики PSNR и SSIM, которые показали, что обученная модель конкурентоспособна со своими аналогами DeblurGANv2, HiFaceGAN, DFDNet.
Был проведен анализ финансовой и ресурсной эффективности рассматриваемого проекта, который показал, что проект конкурентоспособен и эффективен в коммерциализации.
Выявлены возможные негативные факторы, которые могут возникнуть во время производства, и пути их решения.



1. Jianchao Yang, Thomas Huang. Image super-resolution: Historical overview and future challenges. siteseerx. URL: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.309.1145&rep=rep1&type=pdf (дата обращения 21.12.2021)
2. Жан М. Рабаи, Ананта Чандракасан, Боривож Николич. Цифровые интегральные схемы. Методология проектирования = Digital Integrated Circuits. — 2-е изд. — М.: «Вильямс», 2007. — С. 912. — ISBN 0-13-090996-3
3. Интерполяция и дискретизация, зачем они нужны при
проективном преобразовании изображения? Habr. URL: https: //habr.com/ru/company/smartengines/blog/500576/ (дата
обращения 9.01.2022)
4. Liang-Chieh Chen, George Papandreou. Rethinking Atrous Convolution for Semantic Image Segmentation. [Text] // google inc. 2017. - 14c.
5. Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao. Learning Enriched Features for Real Image Restoration and Enhancement. [Text] // Google Research. 2020. - 20c.
6. Zhihao Wang, Jian Chen, Steven C.H. Hoi. Deep Learning for Image Super-resolution: A Survey. [Text] // Cornell University archive. 2019. - 24c.
7. Younghyun Jo, Sejong Yang, Seon Joo Kim, Yonsei University. Investigating Loss Functions for Extreme Super-Resolution. [Text] // Computer Vision Foundation. 2020. - 8c.
8. Jaejun Yoo, Namhyuk Ahn, Kyung-Ah Sohn. Rethinking Data Augmentation for Image Super-resolution: A Comprehensive Analysis and a New Strategy. [Text] // Google Research survey. 2020. - 18c.
9. Justin Johnson, Alexandre Alahi, Li Fei-Fei. Perceptual Losses for Real-Time Style Transfer and Super-Resolution. [Text] // Cornell University archive. 2016. - 18c.
10. Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. Image Style Transfer Using Convolutional Neural Networks. [Text] // Computer Vision Foundation archive. 2014. - 10c.
11. Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky. Deep Image Prior. [Text] // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2018, pp. 9446-9454
12. X. Jia F. Li and D. Fraser. Universal HMT based super resolution for remote sensing images. In IEEE International Conference on Image Processing, pages 333-336, 2008.
13. J. Maintz and M. Viergever. A survey of medical image registration. Medical Image Analysis, 2(1): 1-36, 1998.
14. R. Y. Tsai and T. S. Huang. Multipleframe image restoration and registration. In Advances in Computer Vision and Image Processing, pages 317-339. Greenwich, CT: JAI Press Inc., 1984.
15. M. S. Alam, J. G. Bognar, R. C. Hardie, and B. J. Yasuda. Infrared image registration and high-resolution reconstruction using multiple translationally shifted aliased video frames. IEEE Transactions on Instrumentation and Measurement, 49(5):915-923, 2000.
16. S. Baker and T. Kanade. Limits on super-resolution and how to break them. IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(9): 1167-1183, 2002.
17. Sean Borman and Robert L. Stevenson. Super-resolution from image sequences A review. In Proceedings of the 1998 Midwest Symposium on Circuits and Systems, pages 374-378, 1998.
18. Burger, H.C., Schuler, C.J., Harmeling, S.: Image denoising: Can plain neural networks compete with bm3d? In: CVPR, pp. 2392-2399 (2012).
19. Johnson, J., Alahi, A., Fei-Fei, L.: Perceptual losses for real-time style transfer and super-resolution. In: ECCV. pp. 694-711. Springer (2016).
20. VGG16 and VGG19. URL: https://keras.io/api/applications/vgg/(дата обращения 22.06.22)
21. Yu Chen, Ying Tai, Xiaoming Liu, Chunhua Shen, and Jian Yang. Fsrnet: End-to-end learning face super-resolution with facial priors. In CVPR, 2018.
22. Xin Yu, Basura Fernando, Bernard Ghanem, Fatih Porikli, and Richard Hartley. Face super-resolution guided by facial component heatmaps. In ECCV, pages 217-233, 2018.
23. Chaofeng Chen, Xiaoming Li, Lingbo Yang, Xianhui Lin, Lei Zhang, and Kwan-Yee K. Wong. Progressive semantic-aware style transformation for blind face restoration. arXiv:2009.08709, 2020.
24. Xiaoming Li, Ming Liu, Yuting Ye, Wangmeng Zuo, Liang Lin, and Ruigang Yang. Learning warped guidance for blind face restoration. In ECCV, 2018.
25. Xiaoming Li, Wenyu Li, Dongwei Ren, Hongzhi Zhang, Meng Wang, and Wangmeng Zuo. Enhanced blind face restoration with multi¬exemplar images and adaptive spatial feature fusion. In CVPR, 2020.
26. Berk Dogan, Shuhang Gu, and Radu Timofte. Exemplar guided face image super-resolution without facial landmarks. In CVPRW, 2019
27. Tero Karras, Samuli Laine, Miika Aittala, Janne Hellsten, Jaakko Lehtinen, and Timo Aila. Analyzing and improving the image quality of stylegan. In CVPR, 2020
28. Olaf Ronneberger, Philipp Fischer, and Thomas Brox. U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015
29. Jinjin Gu, Yujun Shen, and Bolei Zhou. Image processing using multi-code gan prior. In CVPR, 2020
30. Xingang Pan, Xiaohang Zhan, Bo Dai, Dahua Lin, Chen Change Loy, and Ping Luo. Exploiting deep generative prior for versatile image restoration and manipulation. In ECCV, 2020
31. Xintao Wang, Ke Yu, Chao Dong, and Chen Change Loy. Recovering realistic texture in image super-resolution by deep spatial feature transform. In CVPR, 2018
32. Xiaoming Li, Chaofeng Chen, Shangchen Zhou, Xianhui Lin, Wangmeng Zuo, and Lei Zhang. Blind face restora- tion via deep multi-scale component dictionaries. In ECCV, 2020
33. Taesung Park, Ming-Yu Liu, Ting-Chun Wang, and Jun-Yan Zhu. Semantic image synthesis with spatially-adaptive normalization. In CVPR, 2019
34. Justin Johnson, Alexandre Alahi, and Li Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In ECCV, 2016.
35. Kaiming He, Georgia Gkioxari, Piotr Doll ar, and Ross Girshick. Mask r-cnn. In ICCV, 2017
36. Xiaoming Li, Chaofeng Chen, Shangchen Zhou, Xianhui Lin, Wangmeng Zuo, and Lei Zhang. Blind face restoration via deep multi-scale component dictionaries. In ECCV, 2020.
37. СанПиН 2.2.4.548-96. Гигиенические требования к микроклимату производственных помещений.
38. ГОСТ Р 12.1.019-2009. Электробезопасность. Общие требования и номенклатура видов защиты.
39. ГОСТ 12.4.123-83. Средства коллективной защиты от инфракрасных излучений. Общие технические требования.
40. [8] ГОСТ Р 12.1.019-2009. Электробезопасность. Общие требования и номенклатура видов защиты.
41. ГОСТ 12.1.030-81. Электробезопасность. Защитное заземление. Зануление.
42. ГОСТ 12.1.004-91. Пожарная безопасность. Общие требования.
43. ОСТ 12.2.037-78. Техника пожарная. Требования безопасности.
44. СанПиН 2.1.6.1032-01. Гигиенические требования к качеству атмосферного воздуха.
45. ГОСТ 30775-2001. Ресурсосбережение. Обращение с отходами. Классификация, идентификация и кодирование отходов.
46. СНиП 21-01-97. Противопожарные нормы.
47. ГОСТ 12.4.154. Система стандартов безопасности труда.
Устройства, экранирующие для защиты от электрических полей промышленной частоты. Общие технические требования, основные параметры и размеры.


Работу высылаем на протяжении 30 минут после оплаты.




©2025 Cервис помощи студентам в выполнении работ