Задача сопоставления изображений используется следующих целей: Создание панорам, стереопары, воссоздание SD-модели какого-либо объекта по его нескольким двумерным изображениям, распознавание изображений и нахождение на них объектов по каким-либо критериям слежение за движущимися объектами. Для их сопоставления необходимо применить методы поиска точек, которые являются общими на обоих изображениях, а также поиск дескрипторов (описаний) этих точек. Нужно учитывать, что на сегодняшний день нет полноценного универсального метода, который подошел бы под текущие задачи. Нельзя забывать о том, что существуют разные методы для разных изображений: характер сцены, разные предпочтения, тип объектов и т.д.
Человек по изображению может интуитивно понять, что на нем находится. Для компьютера же любое изображение - ничем не говорящий набор данных. Необходимо определить, как же все-таки компьютер определяет изображение.
У каждого изображения есть некие особые точки. Что это такое? Особые точки - такие точки, по которым можно классифицировать изображение, распознать его, некая особенность изображения, уникальность. Как правило - это угловые точки, либо те, где резко меняется цвет, яркость, и т.д. Нужно выбирать такие точки, которые вносят некий вклад в характеристику изображения, также необходимо считать особыми такие точки, которые с большой вероятностью будут найдены на другом изображении. Каждый метод обнаружения особых точек должен гарантировать инвариантность относительно любых преобразований изображения.
Осталось понять, каким образом компьютер понимает - какие ключевые точки разных изображений соответствуют друг другу. Ведь у каждой точки на разных изображениях разные координаты, каким образом идет их сопоставление? Для этого каждой особой точке необходимо присвоить описание, которое будет одинаковым на разных изображениях.
Дескриптор - идентификатор особой точки, который делает её уникальной относительно остальных особых точек. Разумеется, используя дескрипторы, нельзя забывать об инвариантности относительно преобразования изображений.
В итоге получается следующая инструкция по сопоставлению изображений:
1. На изображениях находятся особые точки и их дескрипторы
2. По дескрипторам среди этих точек выявляются пары соответствующих точек
3. По этим парам идет построение модели преобразования изображений
В нашем случае будет подробно рассматриваться первый пункт инструкции. Ниже перечислено несколько преобразований, относительно которых нужно получить инвариантность:
1. Изменение яркости
2. Изменение размера (масштабирование)
3. Изменение положения камеры
4. Вращение
5. Смещение
На сегодняшний день существует множество программ по построению панорам. Известно, что при работе большинства из них в процессе склейки изображений на протяжении всей панорамы использовался один метод и дескриптор. Но что если на панораме будет несколько типов изображений? Рассмотрим ситуацию: пользователь фотографирует пейзаж, на кадре появляется портрет, после портрета идет макросъемка, а далее на кадре присутствует какой-либо документ. Большинство программ будет склеивать все одним способом. Проведенные исследования могут послужить для написания более универсальной программы, где при фотосъемке панорамы изначально будет определяться тип фотографии методом распознавания изображения (с использованием сегментаций, к примеру), затем будет подбираться метод нахождения точек и их описания, после чего произойдет сопоставление кадров с минимальными ошибками.
