Введение 3
Постановка задачи 5
Обзор литературы 6
Глава 1. Исследование алгоритмов индексации изображений 7
1.1. Метод цветовых гистограмм 8
1.1.1. Разбиение RGB-цветов по прямоугольным
параллелепипедам 8
1.1.2. Виды метрик схожести гистограмм 9
1.1.3. Модификация с использованием квадродеревьев 10
1.2. Матрицы переходов как текстурный признак сравнения 11
1.3. Сравнение изображений с помощью перцептивных хешей 14
1.4. Реализация и тестирование алгоритмов 15
Глава 2. Применение индексации для задачи синхронизации видеопотоков 20
2.1. Постановка задачи 21
2.2. Варианты реализации 21
2.2.1.Алгоритм прямого сравнения кадров видеопотоков 22
2.2.2. Алгоритм сравнения кадров внутри видеопотоков 26
2.3. Реализация и тестирование алгоритмов 28
Заключение 32
Список литературы и источников 33
В современном мире информационные технологии играют всё большую роль. Их область распространения затрагивает новые сферы человеческой жизни, что позволяет ставить и решать новые задачи. Если раньше компьютерные вычисления использовались только для решения математических вычислений, то сейчас процессоры используют даже для того, чтобы выбрать себе обед.
Не отстает в развитии и сфера распознавания изображений. Широкое распространение гаджетов позволяет людям снимать огромное количество событий с самых разных ракурсов, увеличивая базу изображений с невиданной скоростью. Благодаря столь стремительному росту появляются новые задачи, решение которых может внести очередной вклад в упрощение жизни человека. Происходит переход от простых задач сравнения изображений к более сложным задачам распознавания каких-то конкретных образов и обработки видеопотоков.
Особый интерес представляет область обработки видеопотоков. Видеофайлы имеют некую двойственную структуру. С одной стороны, это лишь последовательность изображений, и для решения многих задач можно использовать алгоритмы, которые применяются к обычным изображениям. В то же время, видеопотоки имеют некоторые отличительные особенности, например, связность, которые позволяют решать задачи с помощью эффективных алгоритмов, основывающихся на этих особенностях. Актуальность задачи обработки видеопотока и перечисленные выше особенности несут в себе необходимость более внимательного изучения способов его обработки. В данной работе рассматриваются методы индексирования видеофайлов и их применение в практических задачах работы с видеопотоками: поиске схожих кадров и синхронизации.
Чтобы рассматривать методы индексирования изображений, стоит ввести определения индексации и индекса. Индексирование в данной сфере подразумевает под собой описательную характеристику изображения - индекс, которую можно использовать потом для быстрого поиска картинки. Выделяют две больших группы методов индексирования: текстовое описание и визуальное содержание.
Текстовое описание подразумевает в виде индекса набор строк, которые наиболее точно описывают изображение, например набор тэгов. Однако такой подход не всегда дает эффективный результат, потому что даже при ручном составлении индекса не все изображения поддаются словесному описанию, а автоматически это делать намного тяжелее. Поэтому рассматривать стоит вторую категорию методов индексирования - по визуальному содержанию.
Главный принцип использования индексирования видепотоков заключается в том, что результат этого процесса может многократно использоваться после окончания программы. В результате обработки видеопотока каждый кадр получает свой индекс, который можно сохранить в некотором файле, и при запуске новой задачи обработки видеопотока, например, поиске определенного кадра, использовать имеющиеся индексы для быстрого решения задачи.
В данной работе рассматриваются и анализируются принципы индексирования видеопотоков, а также тестируется их применение для задач поиска схожих кадров и синхронизации. С практическим результатом в виде кода можно ознакомиться по ссылке: https://github.com/ksander14/VKRSafiulin
Постановка задачи
Целью данной работы является исследование различных методов индексирования изображений для поиска схожих кадров в видеопотоке, а также применение этих методов в практической задаче синхронизации видеопотоков.
Для достижения данной цели в работе будут решены следующие задачи:
1. Изучение предметной области.
2. Реализация алгоритмов индексирования изображения для
поиска схожих кадров.
3. Практическое тестирование рассмотренных алгоритмов.
4. Поиск, разработка и тестирование алгоритмов синхронизации видеопотоков.
Рассмотренные в работе алгоритмы могут быть использованы для самых различных задач обработки видеопотоков: методы поиска схожих кадров могут быть использованы для поиска определенного объекта в множестве видеопотоков, а синхронизация видеопотоков позволяет эффективно работать с двумя видеопотоками.
В представленной работе автором было проведено изучение методов индексации изображений и рассмотрено их применение для задач поиска схожих изображений и синхронизации. Благодаря проведенным тестированиям удалось сравнить между собой методы индексирования изображений путем определения скорости работы и качества результата, а также оценить алгоритмы синхронизации видеопотоков. К основным выводам относится результат тестирования алгоритмов индексирования изображений, продемонстрировавший заметное преимущество в скорости метода цветовых гистограмм перед методом матриц переходов при одинаковом качестве сравнения, а также оптимальность по качеству и времени алгоритма сравнения кадров внутри видепотоков с использованием метода перцептивных хешей.
Работа может быть продолжена путем усовершенствования и применения других модификаций к рассмотренным методам индексирования. Для задачи синхронизации могут быть ослаблены начальные условия, что позволит использовать представленные алгоритмы синхронизации для более широкого класса видеопотоков, например, имеющих разную частоту кадров или меньшую область пересечения.
