Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Склейка панорамы 6
1.1 Нахождение особых точек и их прослеживание 7
1.2 Вычисление гомографии 8
1.3 Content-preserving warping 9
Глава 2. Построение скелетных графов 16
2.1 Бинаризация изображений 16
2.2 Нахождение топологического скелета области 18
2.3 Обработка скелетных графов 21
Глава 3. Наложение двух скелетных графов 23
3.1 Вычисление признаков 23
3.2 Нахождение соответствий между вершинами 24
3.3 Нахождение возможных ориентаций 25
3.4 Вычисление оставшихся параметров 25
Глава 4. Эксперименты 28
Анализ Результатов 34
Заключение 35
Список литературы 36
Приложение А 38
Приложение Б 39
В настоящее время спутниковые карты постоянно совершенствуются и представляют всё больше и больше информации пользователям. В связи с этим остро встает проблема, которая состоит в том, что карты необходимо постоянно обновлять для того, чтобы они содержали как можно более актуальную информацию о местности. Также очень часто возникает задача привязки движения некоторого летательного объекта к карте, например в ситуациях, когда данные GPS могут быть недоступны. В связи с этими двумя вышеописанными проблемами возникает задача сопоставления видеопотока с цифровыми изображениями земной поверхности.
Данная задача интересна тем, что условия, в которых производится видеосъемка местности, существенно отличаются от условий, в которых получено изображение карты, поэтому стандартные методы на основе ключевых точек к ней неприменимы. Кроме того, изображение карты может быть схемой, что еще больше усложняет задачу, поскольку невозможно напрямую пользоваться информацией об яркости изображения.
Данную задачу можно разбить на две подзадачи. Первая подзадача — это склейка кадров видеопотока в одну общую панораму. Два возможных метода решения этой задачи рассмотрены в главе 1. Вторая подзадача — наложение двух различных изображений друг на друга. В данной работе она решается путем нахождения преобразования между скелетными графами дорог обоих изображений. В главе 2 рассмотрен алгоритм построения скелетного графа, а в главе 3 описан метод нахождения преобразования подобия между двумя графами.
В ходе данной работы была разработана и реализована на языке C++ система сопоставления кадров видеопотока с цифровыми изображениями земной поверхности. В процессе её разработки были рассмотрены два способа построения панорамного изображения из множества кадров видеопотока, а также рассмотрен и реализован алгоритм нахождения топологического скелета бинарного изображения. Предложен алгоритм нахождения преобразования подобия между двумя скелетными графами, нечувствительный к разрывам и локальным искажениям ребер. Алгоритм рассматривает граф как набор локальных особенностей, поэтому его можно адаптировать к использованию также информации не только о дорогах, но и о зданиях и других объектах.
[1] Tian L., Kamata L., Ueshige Y., Kuroki Y. An automatic image-map registration algorithm using modified partial hausdorf distance // Proc. IEEE International Geoscience and Remote Sensing Symposium. 2005. Vol. 5. P. 3534-3537.
[2] Tian L., Kamata S. An automatic image-map alignment algorithm based on mutual information and Hilbert scan // Signal Processing Conference, 2008 16th European. IEEE, 2008. P. 1-5.
[3] Hild H. Automatic image-to-map-registration of remote sensing data, PhotogrammetrischeWoche // URL: http://elib. uni-stuttgart. de/opus/volltexte/2001/966. 2001.
[4] Fischler M. A., Bolles R. C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. Vol. 24, No 6. P. 381 - 395.
[5] Liu F., Gleicher M., Jin H., Agarwala A. Content-preserving warps for 3D video stabilization // ACM Transactions on Graphics (TOG). 2009. Vol. 28. No. 3. P. 44.
[6] Zhang F., Liu F. Parallax-tolerant image stitching // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2014. P. 3262-3269.
[7] Shi J., Tomasi C. Good features to track // Computer Vision and Pattern Recognition, 1994. Proceedings CVPR’94., 1994 IEEE Computer Society Conference on. IEEE, 1994. P. 593-600.
[8] OpenCV. http://opencv.org (дата обращения: 20.04.17).
[9] Bouguet J. Y. Pyramidal implementation of the affine lucas kanade feature tracker description of the algorithm // Intel Corporation. 2001. Vol. 5. No. 1-10. P. 4.
[10] Hartigan J. A., Wong M. A. Algorithm AS 136: A k-means clustering algorithm // Journal of the Royal Statistical Society. Series C (Applied Statistics). 1979. Vol. 28, No 1. P. 100-108.
[11] Bradley D., Roth G. Adaptive thresholding using the integral image // Journal of graphics, gpu, and game tools. 2007. Vol. 12, No 2. P. 13-21.
[12] Telea A., van Wijk J. J. An augmented Fast Marching Method for computing skeletons and centerlines // Data Visualization 2002. Proc. Eurographics - IEEE TCVG Symposium / Ed. by D. Ebert, P. Brunet, I. Navazo. New York: ACM, 2002. P. 251-259.
[13] Яндекс.Карты. https://yandex.ru/maps/ (дата обращения: 24.04.17).
[14] Google Карты. https://www.google.ru/maps (дата обращения: 24.04.17).
[15] Brown Univ Large Binary Image Database (Ben Kimia). http://vision.lems.brown.edu/sites/default/files/99db.tar.gz (дата обращения: 24.04.17).