ВВЕДЕНИЕ
ОСНОВНАЯ ЧАСТЬ 6
1. ПОСТАНОВКА ЗАДАЧИ 6
2. ОБЗОР СОВРЕМЕННЫХ АЛГОРИТМОВ 9
2.1 Признаки изображения 9
2.1.1 Обнаружение особых точек 10
2.1.2 Выделение границ и градиента изображения 11
2.1.3 Вейвлеты 16
2.2 Методы обнаружения и локализации объектов на изображении 17
2.2.1 Методы, построенные на вычислении признаков 18
2.2.2 Методы, основанные на сопоставлении шаблонов 19
2.2.3 Методы выделения регионов движения 19
2.3 Методы, отслеживания объектов 19
2.3.1 Отслеживание особых точек 20
2.3.1.1 Алгоритм Лукаса - Канаде 21
2.3.2 Методы отслеживания на основе компонент 21
2.3.3 Методы отслеживания на основе силуэтов 21
2.4 Методы классификации 22
2.4.1 Дискриминативные модели 22
2.4.1.1 Метод опорных векторов 22
2.4.1.2 AdaBoost 23
2.5 Подавление не-максимумов (Non-Maximum Suppression) 24
2.6 Оптический поток 25
2.6.1 Алгоритм Гуннара Фарнебека 26
2.7 Обзор существующих систем 26
3. ГИСТОГРАММА НАПРВЛЕННЫХ ГРАДИЕНТОВ 29
3.1 Блоки дескрипторов 33
3.2 Имплементация и производительность 34
4. РАЗРАБОТКА СИСТЕМЫ ПОСТРОЕНИЯ КАРТЫ ИНТЕНСИВНОСТИ МАРШРУТОВ
ПЕРЕДВИЖЕНИЯ ЛЮДЕЙ В ЗАКРЫТЫХ ПОМЕЩЕНИЯХ 37
4.1 Обзор используемых компонентов 37
4.2 Описание схемы работы системы 39
4.3 Описание используемых модулей библиотеки OpenCV 42
4.4 Обучение классификатора задаче распознавания 48
4.5 Описание алгоритма обнаружения человека 54
4.6 Описание алгоритма моделирования карты интенсивности маршрутов 56
5. ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ СИСТЕМЫ
5.1 Производительность и качественная оценка работы системы 61
6. ВОЗМОЖНЫЕ УЛУЧШЕНИЯ И ДАЛЬНЕЙШИЕ ПЕРСПЕКТИВЫ РАБОТЫ
СИСТЕМЫ 63
ЗАКЛЮЧЕНИЕ 64
СПИСОК ЛИТЕРАТУРЫ 66
ПРИЛОЖЕНИЕ А 70
ПРИЛОЖЕНИЕ B 79
История развития техники фото- и видеоизображений берет свое начало в первой половине девятнадцатого века, когда человек научился фиксировать изображение на бумаге, пропитанной хлористым серебром. С тех пор прошло много времени, и люди изобрели более эффективные способы создания и хранения изображений. При помощи современных технологий человек может делать фотографии и снимать видео, получая результат непосредственно в цифровой форме, однако, за задачей создания фотографий и видеозаписей лежит более сложная задача - проблема автоматического распознавания того, что изображено на фотографии. То, что человек воспринимает, как привычное изображение на экране, для компьютера является массивом целых чисел, представляющих из себя комбинации значений интенсивности составных цветов. Таким образом, задача распознавания объектов на изображении сводится к поиску некоторой функции, способной соотнести фрагменты исходных данных к тому или иному классу объектов. Такая функция представляет собой композицию признаков, найденных в последовательности чисел, характеризующих и отличающих этот класс объектов от другого.
Компьютерное (машинное) зрение - это научная и технологическая дисциплина разработки вычислительных систем для извлечения высокоуровневой информации из изображений или видео. Компьютерное зрение представляет значительный интерес в виду широкого спектра возможных применений. Алгоритмы компьютерного зрения применяются для автоматизации различных процессов, таких как управление движением транспорта, обработки результата исследования в медицинской диагностике и многих других. Подобные системы обрабатывают потоки изображений, распознавая объекты и возникающие события, для последующего использования в процессе принятия решения. Иными словами, компьютерное зрение подразумевает собой использование вычислительных возможностей компьютера для имитации зрительного восприятия человека.
Сегодня, благодаря прорыву в технологиях (повышение мощности вычислительных устройств и развитие технологий фототехники) появилось множество новых методов и алгоритмов, позволяющих выполнять даже такую задачу, как обнаружение и отслеживание объектов на видео в реальном времени.
В настоящее время значительный рост интереса демонстрируют технологии компьютерного зрения, алгоритмы машинного обучения, а также анализ данных, доступ к которым возможен только при условии наличия автоматизированных процессов. Интеграция данных подходов и технологий дает синергический эффект и позволяет значительно расширить рынок применения технологий машинного зрения за счет таких преимуществ автоматизации процессов, как экономия времени, устранение ручного труда и повышения эффективности на каждом этапе работы системы за счет отсутствия влияния человеческих факторов.
В рамках данной работы был представлен новый метод анализа интенсивности потоков перемещения людей в помещениях, визуализируемый при помощи двух- и трехмерных тепловых карт. Ввиду трудоемкости и, в некоторых случаях, невозможности оценить интенсивность движения людей, анализ тепловых карт позволяет не только автоматизировать данный процесс, но и получить информацию нового характера, недоступную ранее.
Разработка системы включала в себя несколько подзадач. Задача предварительного обнаружения и локализации человека была решена с использованием алгоритмов HOG и SVM. Для отслеживания обнаруженных людей использовался метод вычисления плотного оптического потока, вычисляемый алгоритмом Гуннара Фарнебека. Для построения тепловой карты использовались данные, получаемые в результате взаимодействия данных алгоритмов, описанного программной логикой.
Тестирование разработанной системы производилось на основе видеозаписей, полученных при помощи камер видеонаблюдения в одном из торговых центров города Казани.
Стоит отметить, что разработанная система может иметь более широкий круг применения, помимо использования в рамках торговых центров, и потенциально может быть использована в любых областях, где может возникать необходимость оценки потоков перемещения тех или иных объектов, наблюдаемых стационарной камерой видеонаблюдения.
1. Feature detection and extraction [Электронный ресурс] / MATLAB documentation — Режим доступа — URL: https://www.math-
works.com/help/vision/ug/local-feature-detection-and-extraction.html
2. Bradski G., Kaehler A. Learning OpenCV: Computer vision with the OpenCV library. - " O'Reilly Media, Inc.", 2008.
3. Canny algorithm [Электронный ресурс] / OpenCV documentation — Режим доступа — URL: https://docs.opencv.org/master/da/d22/tutorial py canny.html
4. Sobel operator [Электронный ресурс] / OpenCV documentation — Режим доступа — URL: https://docs.opencv.org/3.4/d2/d2c/tutorial sobel deriva- tives.html
5. Viola P. et al. Rapid object detection using a boosted cascade of simple features //CVPR (1). - 2001. - Т. 1. - С. 511-518.
6. Amit Y. 2D object detection and recognition: Models, algorithms, and networks. - MIT Press, 2002. - С. 325.
7. Shotton J., Blake A., Cipolla R. Contour-based learning for object detection //Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1. - IEEE, 2005. - Т. 1. - С. 503-510.
8. Dalal N., Triggs B. Histograms of oriented gradients for human detection //international Conference on computer vision & Pattern Recognition (CVPR'05). - IEEE Computer Society, 2005. - Т. 1. - С. 886--893.
9. Torralba A. et al. Context-based vision system for place and object recognition. - 2003.
10. Felzenszwalb P. F. et al. Object detection with discriminatively trained part- based models //IEEE transactions on pattern analysis and machine intelligence. - 2009. - Т. 32. - №. 9. - С. 1627-1645.
11. Hilario C. H. et al. Pyramidal image analysis for vehicle detection //IEEE Proceedings. Intelligent Vehicles Symposium, 2005. - IEEE, 2005. - С. 8893.
12. Sonka M., Hlavac V., Boyle R. Image processing, analysis, and machine vision. - Cengage Learning, 2014. - C. 866.
13. Li M. et al. A survey of video object tracking //International Journal of Control and Automation. - 2015. - Т. 8. - №. 9. - С. 303-312.
14. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход. - М.
: ИД Вильямс, 2004. - С. 465
15. J. Shi and C. Tomasi. Good features to track. In IEEE International Conference on Computer Vision and Pattern Recognition, 1994. - С. 593-600.
16. Comaniciu D., Ramesh V., Meer P. Real-time tracking of non-rigid objects using mean shift //Proceedings IEEE Conference on Computer Vision and Pattern Recognition. CVPR 2000 (Cat. No. PR00662). - IEEE, 2000. - Т. 2.
- С. 142-149.
17. Exner D. et al. Fast and robust CAMShift tracking //2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition-Workshops. - IEEE, 2010. - С. 9-16.
18. Rothe R., Guillaumin M., Van Gool L. Non-maximum suppression for object detection by passing messages between windows //Asian Conference on Computer Vision. - Springer, Cham, 2014. - С. 290-306.
19. Farneback G. Two-frame motion estimation based on polynomial expansion //Scandinavian conference on Image analysis. - Springer, Berlin, Heidelberg, 2003. - С. 363-370.
20. Janert P. K. Gnuplot in action: understanding data with graphs. - Manning, 2010.
21. Bing-Bing W. et al. Pedestrian detection based on the combination of HOG and background subtraction method //Proceedings 2011 International Conference on Transportation, Mechanical, and Electrical Engineering (TMEE).
- IEEE, 2011. - С. 527-531.
22. Siji Joseph, Arun Pradeep. Object Tracking using HOG and SVM [Журнал] //International Journal of Engineering Trends and Technology (IJETT) - 2017 г.
23. Bilinski P., Bremond F., Kaaniche M. B. Multiple object tracking with occlusions using HOG descriptors and multi resolution images. - 2009.
24. Rosten E., Drummond T. Machine learning for high-speed corner detection //European conference on computer vision. - Springer, Berlin, Heidelberg,
2006. - С. 430-443.
25. Chih-Chung Chang and Chih-Jen Lin. Libsvm: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology (TIST), 2(3):27, 2011.
26. Schneider N., Gavrila D. M. Pedestrian path prediction with recursive bayesian filters: A comparative study //German Conference on Pattern Recognition. - Springer, Berlin, Heidelberg, 2013. - С. 174-183.
27. Real R., Vargas J. M. The probabilistic basis of Jaccard's index of similarity //Systematic biology. - 1996. - Т. 45. - №. 3. - С. 380-385.
28. Золотых Н. Ю., Кустикова В. Д., Мееров И. Б. Обзор методов поиска и сопровождения транспортных средств на потоке видеоданных //Вестник Нижегородского университета им. НИ Лобачевского. - 2012. - №.
5- 2.
29. Harris C. G. et al. A combined corner and edge detector //Alvey vision conference. - 1988. - Т. 15. - №. 50. - С. 10-5244.
30. Harris Corner Detection [Электронный ресурс] / OpenCV documentation — Режим доступа — URL: https://docs.opencv.org/3.0-beta/doc/py tutori- als/py feature2d/py features harris/py features harris.html
31. Image Filtering [Электронный ресурс] / OpenCV documentation — Режим доступа — URL: https://docs.opencv.org/2.4/mod-
ules/imgproc/doc/filtering.html
32. Zhao F., Huang Q., Gao W. Image matching by normalized cross-correlation //2006 IEEE International Conference on Acoustics Speech and Signal Processing Proceedings. - IEEE, 2006. - Т. 2. - С. II-II.
33. Lucas B. D. et al. An iterative image registration technique with an application to stereo vision. - 1981.
34. Ng A. Y., Jordan M. I. On discriminative vs. generative classifiers: A comparison of logistic regression and naive bayes //Advances in neural information processing systems. - 2002. - С. 841-848.
35. Dalal N. Finding people in images and videos : дис. - Institut National Polytechnique de Grenoble-INPG, 2006.
36. Non-Maximum Suppression for Object detection in Python [Электронный ресурс] / OpenCV tutorial — Режим доступа — URL: https://www.pyimagesearch.com/2014/11/17/non-maximum-suppression- obj ect-detection-python/
37. Horn B. K. P., Schunck B. G. Determining optical flow //Artificial intelligence. - 1981. - Т. 17. - №. 1-3. - С. 185-203.