Введение.
Постановка задачи.
Обзор литературы.
Глава 1. Методология
1.1 Стили живописи
1.2 Визуальные характеристики
1.2.1 Classemes
1.2.2 PiCoDes
1.2.3 HOG
1.2.4 GIST
1.2.5 SSIM
1.2.6 SIFT.
1.3 Определение понятия «стиль».
Глава 2. Программная реализация
2.1 Составление коллекции картин
2.2 Выделение визуальных характеристик
2.3 Обработка векторов характеристик
2.4 Классификация и нейронные сети
Глава 3. Эксперименты
3.1 Сравнение с другими известными решениями
Глава 4. Прототип приложения
Выводы
Заключение
Список использованной литературы
В течение последних нескольких лет число оцифрованных картин,
которые находятся в свободном доступе, увеличивается все более быстрыми
темпами. В связи с этим возрастает и потребность в разработке систем для
хранения и обработки данной информации. Оцифрованные коллекции содержат
классические (Wikiart, Arkyves, BBC Yourpainting) и современные (Artsy,
Behance, Artnet) произведения искусства. Обычно данные коллекции, особенно
самые первые, содержат метадату в форме аннотаций о художнике, стиле, дате
и т.д. Для онлайн галерей, выставляющих современную живопись, высока
потребность в разработке автоматической рекомендательной системы,
способной выделить «похожие» картины, которые пользователь с большой
вероятностью захочет приобрести [1]. Данный факт подчеркивает
необходимость исследования различных метрик «похожести» картин.
Область компьютерного зрения находит свое применение в распознавании
и категоризации объектов и сцен на картинах и видео [1]. Однако когда человек
смотрит на картину, он не только распознает объекты, но также выделяет
различные культурные и исторические аспекты [2]. Эксперт или даже
непрофессионал может сделать предположение о стиле и жанре картины,
художнике, написавшем ее. Возможность понимания сложной визуальной
концепции является впечатляющей особенностью человеческого восприятия
Художники используют различные подходы к описанию картины.
Например, стилистические элементы, такие как пространство, текстура, форма,
цвет, линии. Другие принципы включают в себя движение, единство, гармонию,
баланс, контраст, пропорции. К этому могут быть добавлены физические
атрибуты, например, мазки [4].5
Для задачи анализа произведений искусства исследователи разработали
различные визуальные характеристики, которые кодируют некоторые
принципы. Цвет и мазки кодируются низкоуровневыми характеристиками,
такими как статистика текстуры и цветовые гистограммы ([4], [5]). Цвет и
текстура склонны к изменениям во время оцифровки картины [6]. Это
подчеркивает необходимость в разработке визуальных характеристик,
подходящих для анализа картин.
Очевидно, что разработка визуальных характеристик, кодирующих
каждый художественный принцип, является сложнейшей задачей. Последние
достижения в области компьютерного зрения показали преимущества
«обучения» характеристик на данных по сравнению с их разработкой [1].
Принимая во внимание вышеупомянутые проблемы в разработке и
обучении визуальных характеристик, была поставлена задача исследования
различных современных подходов к решению данной проблемы. Затем,
используя нейронные сети и методы классификации, определяется стиль картины.
Таким образом, цель данной работы – исследование возможностей
автоматического определения стиля картины.
Актуальность работы заключается в следующем:
1. Автоматическая классификация картин способствует организации и
структурированию больших коллекций.
2. Нет возможности дать математическое определение понятию «стиль» картины.
3. Необходимость разработки рекомендательной системы.
4. Возможность замены «живого» эксперта, что увеличивает скорость
классификации картин.
5. Возможность получения новой информации о неизвестной картине,
используя уже существующую базу картин.
6. В недавних разработках точность определения стиля около 60% [1].
7. В связи с повсеместным использованием смартфонов, появилась
потребность в разработке приложения, способного автоматически
идентифицировать картину для туризма и музеев [2].
8. Отсутствие приложений, решающих поставленную задачу.
9. В России нет исследований, посвященных данной тематике.
Одной из сложностей поставленной задачи является отсутствие
публичной базы картин. В связи с этим, важным этапом является поиск
источника оцифрованных произведений искусства.
Исследование показало, что посредством применения различных методов
классификации, можно успешно определять стиль картины. Данный процесс
происходит полностью автоматически, что позволяет обрабатывать большие
объемы данных за малый промежуток времени.
Для дальнейшего исследования выделены следующие направления:
1. Разработка метода извлечения характеристик из изображения. Как
можно заметить, наибольшая точность достигается при комбинации
низкоуровневых характеристик. Однако полученный вектор имеет
довольно большую размерность. Исследование других возможностей
перевода изображения в вектор, может дать выигрыш не только в
точности, но и в скорости работы.
2. Изучение возможности классификации картин по другим
характеристикам: жанр, художник, временной период. Не смотря на то,
что множество работ посвящено определению художника, данное
направление остается не до конца проработанным. Точность в
определении художника составляет ≈ 60% в работе [1].
3. Доработка разработанного веб-приложения и его апробация.
Создание такого программного комплекса может стать объектом диссертации
