Введение 4
Постановка задачи 8
Обзор литературы 9
Глава 1. Архитектура LFIEM 14
1.1. Генератор параметров 15
1.2. Преобразования изображений 16
1.3. Функция потерь с регуляризацией согласованности 21
Глава 2. Постановка экспериментов 22
2.1. Набор данных 22
2.2. Метрики качества 23
2.3. Детали реализации 24
Глава 3. Анализ полученных результатов 25
3.1. Анализ фильтров 26
3.2. Влияние регуляризации согласованности 27
3.3. Сравнительный анализ с другими методами 28
Глава 4. Интеграции LFIEM в комбинированные архитектуры клас­сификации изображений 30
4.1. Задача классификации изображений в сложных условиях 30
4.2. Интеграция LFIEM в комбинированный классификатор удо­стоверений личности 31
4.3. Интеграция LFIEM в комбинированный классификатор фо­тографий фасадов коммерческих зданий 32
4.4. Анализ результатов интеграции 32
Заключение 33
Список литературы 34
Купить

В настоящее время, функционал для ретуши фотографий интегри­руются во все большее число мобильных приложений. Многие современ­ные подходы, основанные на механизмах машинного обучения, улучшают цветовую гамму изображений с помощью тяжеловесных моделей на осно­ве сверточных нейронных сетей, где результат получается непосредственно из выходных данных нейронной сети. Подобные методы могут приводить к появлению артефактов в результирующих изображениях. Более того, архи­тектура подобных моделей, как правило сложно интерпретируема, требует длительного и трудоемкого процесса обучения, а также занимает много места в памяти устройств и требует много времени при обработке фото­графий.
В последние годы фотография стала неотъемлемой частью жизни многих людей, и объем создаваемых изображений неуклонно растет. Сним­ки самых разнообразных объектов выполняются в различных условиях окружающей среды с использованием различных устройств. Это может привести к появлению артефактов на изображениях, ухудшающих визу­альное восприятие фотографий. Поскольку качественная ручная постоб­работка изображений требует от фотографа значительных усилий и спе­циальных навыков, автоматическое улучшение изображений (см. Рис. 1) становится все более актуальным.
Задача автоматического улучшения изображений еще не решена в общем виде из-за большого количества факторов, таких как яркость, кон­траст, локальные артефакты изображения, размытость и другие аспекты, влияющие на восприятие изображения человеческим глазом. В настоящее время существует несколько типов подходов к решению задачи автомати­ческого улучшения изображений.
Рис. 1: Пример автоматического улучшения цветовой гаммы изображения с помощью модели, разработанной в ходе выполнения данной работы (LFIEM [1]). Оригинальное изображение получено из набора данных Adobe FiveK dataset. (Слева) расположено исходное изображение. (Справа) расположено изображение, полученное с помощью LFIEM [1] из исходного. LFIEM [1] не порождает артефактов и показывает хорошие результаты на изображениях с высокой степенью детализации.
Существует категория подходов, которые, прогнозируют параметры фильтров для последовательной обработки изображений [2,3]. Однако, отсутствие всестороннего сравнительного анализа изображений порождает вопрос о наиболее оптимальном стеке фильтров для улучшения изображе­ний. Более того, несмотря на то, что обработка изображений непостред- ственно на мобильных устройствах является весьма прогрессивным подхо­дом, поскольку не требует передачи данных или дополнительных зависимо­стей на сервер, чем облегчает обработку информации в реальном времени, подавляющее число методов улучшения цветовой гаммы изображений не подходят для использования на мобильных устройствах.
Как было отмечено ранее, многие подходы основаны на получении ре­зультата улучшения изображения непосредственно из выходов нейронной сети [4-6]. Недостатком таких методов является то, что они могут при­вести к неестественному искажению результирующего изображения, кото­рое обычно вызвано разницей в разрешении между обрабатываемым изоб­ражением и выборками из обучающего набора. Кроме того, большинство "чистых"моделей на основе только CNN не могут быть развернуты на мо­бильных платформах, поскольку такие модели довольно тяжеловесны.
Для решения вышеупомянутых проблем, в рамках данной работы создана облегченная модель автоматического улучшения цветовой гаммы изображений (Lightweight Filter based Image Enhancement Model - LFIEM [1]), которая подходит для использования на мобильных устройствах. Кроме того, к в рамках данного исследования, предлагается комплексный срав­нительный анализ фильтров для построения наиболее оптимального мето­да цветокоррекции и проведения сравнительного анализа представленного решения с другими моделями. Таким образом, в рамках данной работы произведено исследование применения подхода к коррекции цветовой гам­мы изображений на основе фильтров, решающего описанные выше пробле­мы. При разработке данного решения был сделан акцент на создании лег­ковесного метода, подходящего для использования на мобильных устрой­ствах. Значительное повышение производительности было достигнуто за счет адаптации и применения регуляризации согласованности, используе­мой в обучении с частичным привлечением учителя. Предлагаемая модель может быть использована на мобильных устройствах и обеспечивает кон­курентоспособные результаты по сравнению с известными подходами.
Таким образом, разработанная модель (LFIEM [1]) обладает следую­щими характеристиками:
1. Предложенная модель легковесна и может использоваться на мобиль­ных устройствах. По сравнению с моделями с аналогичными значе­ниями метрик качества на наборе данных MIT Adobe FiveK [7], пред­ложенная модель содержит значительно меньше весов. Более того, небольшой размер предлагаемой модели приводит к высокой скорости работы, что расширяет возможности развертывания.
2. Разработанное решение не склонно к генерации артефактов, в отли­чие от большинства моделей на основе CNN [4,6], которые получают результирующее изображение непосредственно из выходов сверточ­ной нейросетевой архитектуры.
3. Так как для разработки предложенной модели было проведено об­ширное исследование обучаемых преобразований изображений, сре­ди многочисленных аналогов, была выбрана оптимальная стратегия улучшения изображений, согласно всестороннему сравнительному ана­лизу обучаемых фильтров цветовой гаммы изображений.
4. Разработанная модель обучена с помощью адаптированного и спе­циально реализованного метода регуляризации согласованности, ис­пользуемого в обучении моделей с частичным привлечением учителя [8,9], что позволило добиться лучших значений метрик качества.
Также следует отметить, что коррекция цветовой гаммы изображе­ний способствует улучшению качества последующего анализа изображе­ний. Данный эффект достигается путем коррекции недостаточного осве­щения объекта, избыточного освещения запечатленной сцены, коррекции областей засвета и других артефактов, возникающих при получении циф­рового снимка. Для исследования применимости разработанной модели для улучшения качества работы различных классификаторов изображе­ний [10-14], разработанная модель была интегрирована в стек разработотанных автором комбинированных нейросетевых классификаторов [10-14]. Данная интеграция позволила улучшить качество классификации изобра­жений различного рода в составе различных комбинированных классифи­каторов, что описано в данной работе. Таким образом, помимо прямого применения разработанного механизма улучшения цветовой гаммы для улучшения пользовательских фотографий, предлагаемое решение позво­ляет улучшать качество работы некоторых классификаторов путем пред­варительной обработки анализируемых изображений.
Купить