📄Работа №200679

Тема: Шумоподавление в цифровых изображениях на основе исходных RAW кадров с использованием нейронных сетей

📝
Тип работы Дипломные работы, ВКР
📚
Предмет Программирование
📄
Объем: 92 листов
📅
Год: 2024
👁️
Просмотров: 42
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
ℹ️ Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.

📋 Содержание

АННОТАЦИЯ 2
ВВЕДЕНИЕ 5
1 СОВРЕМЕННЫЕ МЕТОДЫ ОБРАБОТКИ ФОТОИЗОБРАЖЕНИЙ
RAW ФОРМАТА 7
1.1 RAW формат цифровых фотоизображений 8
1.2 Классические форматы цифровых фотоизображений 11
1.3 Алгоритмические методы обработки фотоизображений 15
1.4 Нейросетевые методы обработки фотоизображений 18
1.5 Анализ возможных решений по обработке фотоизображений
RAW формата
20
1.6 Выводы по первому разделу 22
2 ЗАДАЧА ШУМОПОДАВЛЕНИЯ В ФОТОИЗОБРАЖЕНИЯХ 24
2.1 Постановка задачи шумоподавления 24
2.2 Процесс демозаизации 26
2.3 Структура генеративно-состязательных нейронных сетей 28
2.4 Основные компоненты генеративно-состязательной сети 30
2.5 Подготовка данных для задачи шумоподавления 36
2.6 Выводы по второму разделу 38
3 АРХИТЕКТУРА СИСТЕМЫ ШУМОПОДАВЛЕНИЯ 40
3.1 Нейронная сеть для обработки сигнала фотоизображения 40
3.2 Предобработка сигнала фотоизображения 42
3.3 Архитектура разрабатываемой нейронной сети 44
3.4 Обучение системы шумоподавления 47
3.5 Система удаления шума на фотоизображении RAW формата .... 49
3.6 Выводы по третьему разделу 51
4 РАЗРАБОТКА МОДУЛЕЙ И ИССЛЕДОВАНИЕ РЕЗУЛЬТАТОВ ... 53
4.1 Разработка спроектированных модулей 53
4.2 Выбор методик исследования результатов 57
4.3 Анализ полученных результатов 59
4.4 Сравнение решения с существующими системами 65
4.5 Выводы по четвертому разделу 67
ЗАКЛЮЧЕНИЕ 68
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 69
ПРИЛОЖЕНИЯ
ПРИЛОЖЕНИЕ 1 ИСХОДНЫЙ КОД 73
П1.1 Файл «basicModule.py» 73
П1.2 Файл «HQSNet.py» 75
П1.3 Файл «main.py» 76
П1.4 Файл «noiseExtract.py» 83
П1.5 Файл «process_raw_data.py» 85
П1.6 Файл «read_data.py» 88
П1.7 Файл «reconstruct.py» 90

📖 Введение

Фотоизображения, хранимые на локальных носителях или на онлайн серверах и платформах уже достаточно давно используются для самых различных целей. Они включают в себя передачу каких-либо данных, схем, документов, запоминание важных личных и исторических моментов, а также используются в профессиональных сферах, таких как медицина, производство, обработка материалов или фотография. Но иногда для съемки фотоизображений необходимо использовать достаточно высокие значения настроек по меркам современных сенсоров, из-за которых на фотоизображениях могут появляться шумы различного рода.
Одним из способов бороться с шумами является съемках данных кадров в формате RAW. Данный формат позволяет сохранять намного больше сырой информации полученной фотокамерой с её сенсора, что дает возможность в последующем специалистам использовать эти данные для того, чтобы попытаться снизить уровни шума на фотоизображении. Но данный процесс неминуемо приводит к тому, что теряются световые или цветовые детали фотоизображения, ради получения элементов, которые ранее было тяжело или невозможно заметить на фотоизображении.
Но уже достаточно давно в области обработки изображений существуют математические и нейросетевые методы обработки фотоизображений, для решения задачи шумоподавления на них. Среди существующих методов удаления шумов на фотоизображениях лидируют нейросетевые методы, так как они позволяют сохранять наибольшее количество деталей получаемого фотоизображения. Чаще всего центральным элементов таких методов выступает генеративно-состязательная нейронная сеть.
Генеративно-состязательная нейронная сеть - это разновидность архитектуры глубокого обучения входящая в семейство порождающих моделей и построенная на комбинации двух нейронных сетей, генеративной и дискриминативной. Данные сети соревнуются друг с другом в генерации новых изображений и распознавании сгенерированных и реальных кадров.
В последние годы нейросетевые технологии шумоподавления улучшают своё качество работы, но не так много решений существует в теме удаления шумов на фотоизображениях RAW формата. Решение данной задачи на RAW кадрах позволяет нам сохранять намного больше полезной информации и уже после процесса шумоподавления использовать её для дополнительного редактирования и улучшения качества получаемого фотоизображения.
Целью данной работы является разработка нейросетевой модели, которая способна решать задачу шумоподавления для исходных RAW кадров с использование нейронных сетей. Для достижения данной цели необходимо решить следующе задачи:
1) исследовать существующие подходы шумоподавления;
2) провести обзор существующих решений для шумоподавления на исходных RAW кадрах;
3) проанализировать существующие архитектуры нейросетевых методов и выбрать наиболее оптимальную;
4) проанализировать и подготовить исходные данные;
5) разработать нейросетевую модель;
6) обучить полученную модель на подготовленных данных;
7) провести тестирование полученной модели и сравнить результаты с уже существующими похожими решениями.

Возникли сложности?

Нужна качественная помощь преподавателя?

👨‍🎓 Помощь в написании

✅ Заключение

Цель данной работы заключалась в разработке генеративно-состязательной нейронной сети для решения задачи шумоподавления на фотоизображениях RAW формата.
В ходе выполнения работы была сформулирована задача шумоподавления, рассмотрены математические и нейросетевые подходы к её решению. Был выбран нейросетевой подход, заключающийся в комбинации элементов нейронной сети UNet и методов предобработки сигнала HQSNet.
Был разработан подход к обработке фотоизображения и разработана архитектура нейронной сети для решения задачи шумоподавления. Также был доработан алгоритм обучения генеративно-состязательной нейронной сети, чтобы включить используемые элементы выбранных нейронных сетей.
Для обучения и тестирования разработанной нейросетевой модели был подготовлен набор данных, содержащий 2540 пар зашумленных и не зашумленных фотоизображений. Собранные данные собирались вручную, из открытых источников, а также путем искусственной генерации с помощью разработанного модуля.
Разработанный подход был реализован на языке программирования Python 3.10 с применением библиотек машинного обучения Pytorch и MegEngine, а также с использованием Jupyter Notebook для тестирования.
В результате, цель была достигнута, а поставленные задачи полностью решены. Целью дальнейшей работы может быть исследование возможностей объединения процесса шумоподавления и демозаизации, как единого процесса обработки RAW фотоизображения.

Нужна своя уникальная работа?
Срочная разработка под ваши требования
Рассчитать стоимость
ИЛИ

📕 Список литературы

1 Abhiram, Gnanasambandam Exposure-Referred Signal-to-Noise Ratio
for Digital Image Sensors / Abhiram Gnanasambandam, Stanley H. Chan // arXiv. - 2021. - URL: https://arxiv.org/abs/2112.05817 (дата обращения
22.05.2023).
2 Alan Q, Wang Neural Network-based Reconstruction in Compressed Sensing MRI Without Fully-sampled Training Data / Alan Q. Wang, Adrian V. Dalca, Mert R. Sabuncu // arXiv. - 2020. - URL: https://arxiv.org/abs/2007.14979 (дата обращения 20.12.2023).
3 Amir, Gholami A Survey of Quantization Methods for Efficient Neural Network Inference // arXiv. - 2021. - URL: https://arxiv.org/abs/2103.13630 (дата обращения 20.12.2023).
4 Aysen, Degerli Compressively Sensed Image Recognition / Aysen Degerli, Sinem Aslan, Mehmet Yamac, Bulent Sankur, Moncef Gabbouj // arXiv. - 2018. - URL: https://arxiv.org/abs/1810.06323 (дата обращения 20.12.2023).
5 Ben, Mildenhall NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images / Ben Mildenhall, Peter Hedman, Ricardo Martin-Brualla, Pratul Srinivasan, Jonathan T. Barron // arXiv. - 2021. - URL: https://arxiv.org/abs/2111.13679 (дата обращения: 16.12.2022).
6 Bhishman, Desai Study on Image Filtering - Techniques, Algorithm and
Applications / Bhishman Desai, Manish Paliwal, Kapil Kumar Nagwanshi // arXiv. - 2022. - URL: https://arxiv.org/abs/2207.06481 (дата обращения
16.12.2022) .
7 Bingchen, Liu Towards Faster and Stabilized GAN Training for High-
fidelity Few-shot Image Synthesis // arXiv. - 2021. - URL:
https://arxiv.org/abs/2101.04775 (дата обращения: 20.12.2023).
8 Chen, Chen Learning-to-See-in-the-Dark / Chen Chen, Qifeng Chen, Jia
Xu // GitHub. - 2019. - URL: https://github.com/cchen156/
Learning-to-See-in-the-Dark - Загл. с экрана. (дата обращения: 16.12.2022).
9 Feng, Zhang Towards General Low-Light Raw Noise Synthesis and
Modeling / Feng Zhang, Bin Xu, Zhiqiang Li, Xinran Liu, Qingbo Lu, Changxin Gao, Nong Sang // arXiv. - 2023. - URL:
https://arxiv.org/abs/2307.16508 (дата обращения 29.04.2024).
10 Hossein, Gholamalinezhad Pooling Methods in Deep Neural Networks / Hossein Gholamalinezhad, Hossein Khosravi // arXiv. - 2020. - URL: https://arxiv.org/abs/2009.07485 (дата обращения: 25.05.2023).
11 lonut Cosmin, Duta Convolution: Rethinking Convolutional Neural Networks for Visual Recognition / Suman Shrestha // arXiv. - 2020. - URL: https://arxiv.org/abs/2006.11538 (дата обращения 25.05.2023).
12 Jacob, John Discrete Cosine Transform in JPEG Compression /
Jacob John // arXiv. - 2021. - URL: https://arxiv.org/abs/2102.06968
(дата обращения 20.12.2023).
13 Jiaming, Liu Learning Raw Image Denoising with Bayer Pattern Unification and Bayer Preserving Augmentation / Jiaming Liu, Chi-Hao Wu, Yuzhi Wang, Qin Xu, Yuqian Zhou, Haibin Huang // arXiv. - 2019. - URL: https://arxiv.org/abs/1904.12945 (дата обращения: 16.12.2022).
14 Jonathan, Long Fully Convolutional Networks for Semantic Segmentation / Jonathan Long, Evan Shelhamer, Trevor Darrell // arXiv. - 2015. - URL: https://arxiv.org/abs/1411.4038 (дата обращения 20.12.2023).
15 Jun, Lu Gradient Descent, Stochastic Optimization, and Other Tales /
Jun Lu // arXiv. - 2022. - URL: https://arxiv.org/abs/2205.00832
(дата обращения: 28.05.2023)...36

🖼 Скриншоты

🛒 Оформить заказ

Работу высылаем в течении 5 минут после оплаты.

©2026 Cервис помощи студентам в выполнении работ