Тема: Шумоподавление в цифровых изображениях на основе исходных RAW кадров с использованием нейронных сетей
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
📋 Содержание
ВВЕДЕНИЕ 5
1 СОВРЕМЕННЫЕ МЕТОДЫ ОБРАБОТКИ ФОТОИЗОБРАЖЕНИЙ
RAW ФОРМАТА 7
1.1 RAW формат цифровых фотоизображений 8
1.2 Классические форматы цифровых фотоизображений 11
1.3 Алгоритмические методы обработки фотоизображений 15
1.4 Нейросетевые методы обработки фотоизображений 18
1.5 Анализ возможных решений по обработке фотоизображений
RAW формата
20
1.6 Выводы по первому разделу 22
2 ЗАДАЧА ШУМОПОДАВЛЕНИЯ В ФОТОИЗОБРАЖЕНИЯХ 24
2.1 Постановка задачи шумоподавления 24
2.2 Процесс демозаизации 26
2.3 Структура генеративно-состязательных нейронных сетей 28
2.4 Основные компоненты генеративно-состязательной сети 30
2.5 Подготовка данных для задачи шумоподавления 36
2.6 Выводы по второму разделу 38
3 АРХИТЕКТУРА СИСТЕМЫ ШУМОПОДАВЛЕНИЯ 40
3.1 Нейронная сеть для обработки сигнала фотоизображения 40
3.2 Предобработка сигнала фотоизображения 42
3.3 Архитектура разрабатываемой нейронной сети 44
3.4 Обучение системы шумоподавления 47
3.5 Система удаления шума на фотоизображении RAW формата .... 49
3.6 Выводы по третьему разделу 51
4 РАЗРАБОТКА МОДУЛЕЙ И ИССЛЕДОВАНИЕ РЕЗУЛЬТАТОВ ... 53
4.1 Разработка спроектированных модулей 53
4.2 Выбор методик исследования результатов 57
4.3 Анализ полученных результатов 59
4.4 Сравнение решения с существующими системами 65
4.5 Выводы по четвертому разделу 67
ЗАКЛЮЧЕНИЕ 68
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 69
ПРИЛОЖЕНИЯ
ПРИЛОЖЕНИЕ 1 ИСХОДНЫЙ КОД 73
П1.1 Файл «basicModule.py» 73
П1.2 Файл «HQSNet.py» 75
П1.3 Файл «main.py» 76
П1.4 Файл «noiseExtract.py» 83
П1.5 Файл «process_raw_data.py» 85
П1.6 Файл «read_data.py» 88
П1.7 Файл «reconstruct.py» 90
📖 Введение
Одним из способов бороться с шумами является съемках данных кадров в формате RAW. Данный формат позволяет сохранять намного больше сырой информации полученной фотокамерой с её сенсора, что дает возможность в последующем специалистам использовать эти данные для того, чтобы попытаться снизить уровни шума на фотоизображении. Но данный процесс неминуемо приводит к тому, что теряются световые или цветовые детали фотоизображения, ради получения элементов, которые ранее было тяжело или невозможно заметить на фотоизображении.
Но уже достаточно давно в области обработки изображений существуют математические и нейросетевые методы обработки фотоизображений, для решения задачи шумоподавления на них. Среди существующих методов удаления шумов на фотоизображениях лидируют нейросетевые методы, так как они позволяют сохранять наибольшее количество деталей получаемого фотоизображения. Чаще всего центральным элементов таких методов выступает генеративно-состязательная нейронная сеть.
Генеративно-состязательная нейронная сеть - это разновидность архитектуры глубокого обучения входящая в семейство порождающих моделей и построенная на комбинации двух нейронных сетей, генеративной и дискриминативной. Данные сети соревнуются друг с другом в генерации новых изображений и распознавании сгенерированных и реальных кадров.
В последние годы нейросетевые технологии шумоподавления улучшают своё качество работы, но не так много решений существует в теме удаления шумов на фотоизображениях RAW формата. Решение данной задачи на RAW кадрах позволяет нам сохранять намного больше полезной информации и уже после процесса шумоподавления использовать её для дополнительного редактирования и улучшения качества получаемого фотоизображения.
Целью данной работы является разработка нейросетевой модели, которая способна решать задачу шумоподавления для исходных RAW кадров с использование нейронных сетей. Для достижения данной цели необходимо решить следующе задачи:
1) исследовать существующие подходы шумоподавления;
2) провести обзор существующих решений для шумоподавления на исходных RAW кадрах;
3) проанализировать существующие архитектуры нейросетевых методов и выбрать наиболее оптимальную;
4) проанализировать и подготовить исходные данные;
5) разработать нейросетевую модель;
6) обучить полученную модель на подготовленных данных;
7) провести тестирование полученной модели и сравнить результаты с уже существующими похожими решениями.
✅ Заключение
В ходе выполнения работы была сформулирована задача шумоподавления, рассмотрены математические и нейросетевые подходы к её решению. Был выбран нейросетевой подход, заключающийся в комбинации элементов нейронной сети UNet и методов предобработки сигнала HQSNet.
Был разработан подход к обработке фотоизображения и разработана архитектура нейронной сети для решения задачи шумоподавления. Также был доработан алгоритм обучения генеративно-состязательной нейронной сети, чтобы включить используемые элементы выбранных нейронных сетей.
Для обучения и тестирования разработанной нейросетевой модели был подготовлен набор данных, содержащий 2540 пар зашумленных и не зашумленных фотоизображений. Собранные данные собирались вручную, из открытых источников, а также путем искусственной генерации с помощью разработанного модуля.
Разработанный подход был реализован на языке программирования Python 3.10 с применением библиотек машинного обучения Pytorch и MegEngine, а также с использованием Jupyter Notebook для тестирования.
В результате, цель была достигнута, а поставленные задачи полностью решены. Целью дальнейшей работы может быть исследование возможностей объединения процесса шумоподавления и демозаизации, как единого процесса обработки RAW фотоизображения.





