ВВЕДЕНИЕ 3
ГЛАВА 1. ОБРАБОТКА ИЗОБРАЖЕНИЙ 5
1.1 ПРЕДОБРАБОТКА ИЗОБРАЖЕНИЙ 5
1.2 ПОСТОБРАБОТКА ИЗОБРАЖЕНИЙ 6
1.3 МАТЕМАТИЧЕСКАЯ МОРФОЛОГИЯ 7
ГЛАВА 2. МЕТОДЫ ОБНАРУЖЕНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ 9
2.1 ОБЗОР МЕТОДОВ ОБНАРУЖЕНИЯ ДВИЖУЩЕГОСЯ ОБЪЕКТА 9
2.2 МЕТОДЫ ОБНАРУЖЕНИЯ ОБЪЕКТОВ, ОСНОВАННЫЕ НА ВЫЧИТАНИИ И
УСРЕДНЕНИИ ФОНА 10
2.3 МЕТОДЫ ОБНАРУЖЕНИЯ ОБЪЕКТОВ, ОСНОВАННЫЕ НА ОЦЕНКЕ ОПТИЧЕСКОГО
ПОТОКА 29
2.3.1 Оценка оптического потока 30
2.3.2 Методы определения оптического потока 32
ГЛАВА 3. МЕТОДЫ СОПРОВОЖДЕНИЯ ОБЪЕКТОВ 37
3.1 КЛАССИФИКАЦИЯ МЕТОДОВ СОПРОВОЖДЕНИЯ 37
3.2 МЕТОДЫ СОПРОВОЖДЕНИЯ ОСОБЫХ ТОЧЕК 39
ГЛАВА 4. РАЗРАБОТКА АЛГОРИТМОВ ОБНАРУЖЕНИЯ
ПОДВИЖНЫХ ОБЪЕКТОВ 45
ГЛАВА 5. ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОБНАРУЖЕНИЯ ПОДВИЖНЫХ ОБЪЕКТОВ 54
5.1 КОНЦЕПТУАЛЬНЫЕ ОСНОВЫ ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЙ 54
5.2 ПЛАНИРОВАНИЕ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ 56
5.3 ОПИСАНИЕ РЕЗУЛЬТАТОВ ВЫЧИСЛИТЕЛЬНЫХ ЭКСПЕРИМЕНТОВ 58
ГЛАВА 6. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ 63
ЗАКЛЮЧЕНИЕ 66
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 68
ПРИЛОЖЕНИЕ А
Компьютерное зрение, обработка изображений и распознавание образов являются обширной областью науки и широко применяются в таких направлениях, как дистанционное зондирование, медицинская диагностика, взаимодействие человек-компьютер и т.д. Также компьютерное зрение нашло применение в видеоаналитике.
Видеоаналитика представляет собой технологию, которая использует методы компьютерного зрения для автоматизированного получения различных данных с видеокамер. Данные формируются на основе анализа последовательности изображений, поступающих в режиме реального времени или из архивных записей. Видеоаналитика определяется, как программное обеспечение для работы с видеоконтентом [1]. Данное программное обеспечение основано на множестве алгоритмов машинного зрения, позволяющих вести видеомониторинг и производить анализ данных без прямого участия человека.
Видеоаналитика автоматизирует функции средств охраны:
• обнаружение;
• слежение;
• распознавание;
• прогнозирование.
Обнаружение движущихся объектов из видеопоследовательностей является ключевым вопросом системы визуального наблюдения. Важно качественно сегментировать области движения для дальнейшего распознавания, отслеживания, а также понимания поведения объекта.
Из-за повышения требований к точности измерений при сборе аналитической информации в системах видеоаналитики должна повышаться достоверность обнаружения подвижных объектов при определении их местоположения. Это говорит о том, что задача эффективного обнаружения движущихся объектов является актуальной.
Целью данной выпускной квалификационной работы является исследование методов вычитания фона для задачи обнаружения движущихся объектов и оценка их показателей качества.
Основные задачи, решаемые в выпускной квалификационной работе, для достижения поставленной цели:
• Произвести обзор современных методов обнаружения движущихся объектов на видео-данных;
• Произвести выбор методов обнаружения движущихся объектов на видео-данных;
• Произвести разработку алгоритмов для выбранных методов;
• Произвести их реализацию в виде программного комплекса;
• Произвести экспериментальные исследования выбранных методов;
• Произвести оценку полученных результатов вычислительных экспериментов.
В ходе выполнения выпускной квалификационной работы были получены следующие результаты:
1. Рассмотрены существующие методы обнаружения движущихся объектов в системах видеоаналитики. В результате чего выбраны наиболее популярные из них для последующего анализа.
2. Разработаны следующие алгоритмы обнаружения подвижных объектов:
• алгоритм вычитания фона;
• Vibe;
• алгоритм вычитания фона, использующий смесь Гауссовых
распределений (GMM) для моделирования фонового изображения;
• алгоритм Лукаса-Канаде.
3. Проведены исследования разработанных алгоритмов на предмет
оценки эффективности их работы при появлении на видеопоследовательности различных нестабильностей, таких как условия плохой погоды, нестационарная камера, динамический фон, тень, дрожание камеры.
4. Разработана программная поддержка исследуемых алгоритмов обнаружения движущихся объектов на видео-данных.
Основные результаты выпускной квалификационной работы апробированы в 4 печатных работах, двух конкурсах ПАО «Ростелеком» и на следующих конференциях:
1. Ежегодная межвузовской научно-технической конференции студентов, аспирантов и молодых специалистов имени Е.В. Арменского, Московский институт электроники и математики им. А.Н. Тихонова НИУ ВШЭ 17.02.2017г.-01.03.2017г.
2. VI Конгресс молодых ученых, Санкт-Петербургский национальный исследовательский университете информационных технологий, механики и оптики (Университет ИТМО) 18-21 апреля 2017г.
3. I Молодежная научно-практическая конференция с международным участием «Естественнонаучные, инженерные и экономические исследования в технике, промышленности, медицине и сельском хозяйстве», НИУ «БелГУ», 20.04.2017г.-21.04.2017г.
1. Видеоаналитика. Машинное зрение [Электронный ресурс] / www.tadviser.ru- российский интернет-портал и аналитическое агентство / URL:http://www.tadviser.ru/index.php/Статья:Видеоаналитика_(машинное_зре ние) (дата обращения 25.05.2018)
2. Radke, R.J. Image Change Detection Algorithms: A systematic survey / R.J. Radke, S. Andra, O. Al-Kofahi, B. Roysam // IEEE Transactions on Image Processing. - 2005. - V. 14(3). - P. 294-307.
3. Dai, X. The effects of image misregistration on the accuracy of remotely sensed change detection / X. Dai, S. Khorram // IEEE Trans. Geoscience Remote Sensing. - 1998. - V. 36(5). - P. 1566-1577.
4. Lillestrand, R. Techniques for change detection // IEEE Trans. On Computers. - 1972. - V. 21(7). - P. 654-659.
5. Li, J. A Video-based Algorithm for Moving Objects Detection at Signalized Intersection / J. Li, C. Shao, C. Dong, D. Zhao, Y. Liu // World Academy of Science, Engineering and Technology. International Journal of Computer, Electrical, Automation, Control and Information Engineering. - 2010. -
V. 4(6). - P. 1081-1086.
6. Stojkoska, B. N-Queens-based Algorithm for Moving Object Detection in Distributed Wireless Sensor Networks / B. Stojkoska, D. Davcev, V. Trajkovik // Journal of Computing and Information Technology - CIT 16. - 2008. - V. 4. - P. 325-332.
7. Vu, T.D. Grid-based localization and local mapping with moving object detection and tracking / T.D. Vu, J. Burlet, O. Aycard // Journal of information Fusion. -2010. - P. 58-62.
8. Vargas, M. An Enhanced Background Estimation Algorithm for Vehicle Detection in Urban Traffic Scenes / M. Vargas, J.M. Milla, S.L. Toral, F. Barrero // Vehicular Technology, IEEE Transactions. - 2010. - V. 59(8). - P. 3694-3709.
9. Evans A.N. Digital video preprocessing with multi-dimensional attribute morphology / N.Young and A.N. Evans // Proceedings IEE Visual Information Engineering Conference (VIE) July 2003. - Guildford, Surrey, UK, 2003. - pp.89 - 92.
10. Морфологические операции на бинарных изображениях
[Электронный ресурс] / www.wiki.technicalvision.ru- профессиональный Wiki ресурс «Техническое зрение» / URL:
http://wiki.technicalvision.ru/index.php/Морфологические_операции_на_бинар ных_изображениях (дата обращения 20.04.2018)
11. Rosin P. Thresholding for change detection / P. Rosin // Sixth International Conference. 04 Jan 1998-07 Jan 1998 - Bombay, 1998. - P. 274-279.
12. Veit T. A maximality principle applied to a contrario motion detection / Veit T., Cao F., Bouthemy P. // IEEE International Conference on Image Processing. 14 Sept. 2005. - Genova, 2005.
13. Скрипкина, А.А. Обзор методов обнаружения движущегося объекта по видеоизображениям [Текст] / А.А. Скрипкина // Перспективы развития информационных технологий. - 2011. - № 3-1. - C. 126-127.
14. Toreyin, B.U. Moving Object Detection in Wavelet Compressed Video / B.U. Toreyin, A. Enis Cetin, A. Aksay, M.B. Akhan // Signal Processing: Image Communication, EURASIP. - 2005. - V. 20. - P. 255-264.
15. Bagci, M. Moving object detection using adaptive subband decomposition and fractional lower order statistics in video sequences / M. Bagci, Y. Yardimci, A.E. Cetin // Signal Process. International Journal of Signal Processing. - 2002. - P. 1942-1947.
16. Nister D. Preemptive RANSAC for live structure and motion estimation / D.Nister // Nince IEEE International Conference on Computer Vision 13-16 Oct. 2003. - Nice, 2003. - P.199-206.
17. Cucchiara, R. Detecting moving objects, ghosts, and shadows in video streams / R. Cucchiara, C. Grana, M. Piccardi, A. Prati // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 25(10). - 2003. - P. 1337-1342.
18. Bouwmans, T. Recent Advanced Statistical Background Modeling for Foreground Detection / T. Bouwmans // A Systematic Survey. - Recent Patents on Computer Science. - 4(3). - 2011. - P. 147-176.
19. Форсайт Д., Понс Ж. Компьютерное зрение. Современный подход [Текст] / Д. Форсайт, Ж. Понс. - М.: Изд. д. Вильямс, 2004. - 465с.
20. Brutzer, S. Evaluation of background subtraction techniques for video surveillance / S. Brutzer, B. Hoferlin, G. Heidemann // IEEE International Conference on Computer Vision and Pattern Recognition (CVPR) 20-25 June 2011. - Providence, RI, USA. - P. 1937-1944.
21. Hofmann, M Background Segmentation with Feedback: The Pixel-Based Adaptive Segmenter / M. Hofmann, P. Tiefenbacher, G. Rigoll // IEEE Computer Society Conference 16-21 June 2012. - Providence, RI, USA. - P. 28¬43.
22. Jodoin, P-M Statistical Background Subtraction Using Spatial Cues / P.-M. Jodoin, M. Mignotte, J. Konrad // IEEE Transactions on Circuits and Systems for Video Technology. - 17(12). - 2007. - P. 1758-1763.
23. Haritaoglu, I. W4: Who? When? Where? What? A real time system for detecting and tracking people / I. Haritaoglu, D. Harwood, LS. Davis // Third Face and Gesture Recog Conf. 14-16 Apr 1998. - Nara, 1998. - P. 222-227.
24. Bouwmans, T Statistical Background Modeling for Foreground Detection: A Survey / T. Bouwmans, F. El Baf, B. Vachon // In Handbook of Pattern Recognition and Computer Vision (volume 4). - World Scientific Publishing. - January 2010. - P. 181-199.
25. Stauffer, C. Adaptive background mixture models for real-time tracking / Chris Stauffer, W. Eric L. Grimson // Conference on Computer Vision and Pattern Recognition 23-25 June 1999. - Ft. Collins, CO, USA, 1999. - P. 2246-2252.
26. Kim, K Real-time foreground-background segmentation using codebook model / K. Kim, T. Chalidabhongse, D. Harwood, L. Davis // Real-Time Imaging. - 11(3) - 2005. - P. 172-185.
27. Barnich, O. ViBe: Auniversal background subtraction algorithm for video sequences / O. Barnich, M. V. Droogenbroeck // IEEE Transactions on Image Processing. June 2011 - 2011. P.1709-1724.
28. Lee, P.H. Real-time pedestrian and vehicle detection in video using 3D cues / P.H. Lee, T.H. Chiu, Y.L. Lin, Y.P. Hung // IEEE international conference on Multimedia and Expo. June 28 2009-July 3 2009. - New York, 2009. - P. 614-617.
29. Bouwmans, T. Background Modeling using Mixture of Gaussians for Foreground Detection / T. Bouwmans, F. El Baf, B. Vachon // A Survey Recent Patents on Computer Science. - 2008. - V. 1(3). - P. 219-237.
30. Stauffer, C Adaptive background mixture models for real-time tracking / C. Stauffer, E. Grimson // IEEE International Conference on Computer Vision and Pattern Recognition (CVPR). - 1999. - V. 2. - P. 246-252.
31. Parks, D Evaluation of Background Subtraction Algorithms with Post-Processing / D. Parks, S. Fels // IEEE International Conference on Advanced Video and Signal Based Surveillance. - 2008 - P. 192-199.
32. Porikli, F Bayesian Background Modeling for Foreground Detection / F. Porikli, O. Tuzel // ACM international workshop on Video surveillance & sensor networks. - 2005. - P. 55-58.
33. Lin H.-H. Learning a Scene Background Model via Classification / H.-H. Lin, T.-L. Liu, J.-C. Chuang / IEEE Signal Processing Magazine. - 2009. - V. 57(5). - P. 1641-1654.
34. Sun, L Multimode Spatiotemporal Background Modeling for Complex Scenes / L. Sun, Q. De Neyer, C. De Vleeschouwer // European Signal Processing Conference (EUSIPCO) 27-31 Aug. 2012. - Bucharest, Romania. - P. 165-169.
35. Elgammal, A. Non-parametric Model for Background Subtraction / A. Elgammal, D. Harwood, L. Davis // Proceedings of the 6th European Conference on Computer Vision. - Part II. -2000. - P. 751-767.
36. Droogenbroeck, M. ViBe: A Disruptive Method for Background Subtraction. In Background Modeling and Foreground Detection for Video Surveillance / M. Van Droogenbroeck, O. Barnich // Chapman and Hall/CRC. - July 2014. - P. 7.1-7.23.
37. Manzanera, A. A new motion detection algorithm based on S-A background estimation / A. Manzanera, J. Richefeu // Pattern Recognition Letters - V. 28(3). - 2007. - P. 320-328.
38. Barnich, O. ViBe: A universal background subtraction algorithm for video sequences / O. Barnich, M. Van Droogenbroeck // In IEEE Transactions on Image Processing. - 20(6). - 2011. - P. 1709-1724.
39. Manzanera, A. Local Jet Feature Space Framework for Image Processing and Representation / A. Manzanera // International Conference on Signal Image Technology & Internet-Based Systems 28 Nov.-1 Dec. 2011. - Dijon, France. - P. 261-268.
40. Schick, A. Improving Foreground Segmentation with Probabistic Superpixel Markov Random Fields / A. Schick, M. Bauml, R. Stiefelhagen // IEEE Computer Society Conference 16-21 June 2012. - Providence, RI, USA. - P. 27 - 31.
41. Droogenbroeck, M. Background Subtraction: Experiments and Improvements for ViBe / M. Van Droogenbroeck, O. Paquot // IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops 16¬21 June 2012. - Providence, Rhode Island, USA. - P. 32-37.
42. Srivastava, A. On Advances in Statistical Modeling of Natural Images / A. Srivastava, A. Lee, E. Simoncelli, S.-C. Zhu // Journal of Mathematical Imaging and Vision. - V. 18(1). - 2003. - P. 17-33.
43. Shoushtarian, B. A practical adaptive approach for dynamic background subtraction using an invariant colour model and object tracking / B. Shoushtarian, H. Bez // Pattern Recognition Letters. - V. 26(1). - 2005. - P. 5-26.
44. Wren, C. Pfinder: Real-Time Tracking of the Human Body / C. Wren, A. Azarbayejani, T. Darrell, A. Pentland // IEEE Transactions on Pattern Analysis and Machine Intelligence. - V. 19(7). - 1997. - P. 780-785.
45. Wang, H. A consensus-based method for tracking: Modelling background scenario and foreground appearance / H. Wang, D. Suter // Pattern Recognition. - V. 40(3). - 2007. - P. 1091-1105.
46. Barnich, O. ViBe: a powerful random technique to estimate the background in video sequences / O. Barnich, M. Van Droogenbroeck. // In International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2009), 19-24 April 2009. - Taipei, Taiwan. - P. 945-948.
47. Visual background extractor [Текст]: пат. EP 2 015 252 B1 Europe: G06T 7/20 / авторы и заявители M. Van Droogenbroeck, O. Barnich; заявл. 2007-07-08; опубл. 17-Feb-2010.
48. Benezeth, Y. Review and evaluation of commonly-implemented background subtraction algorithms / Y. Benezeth, P. Jodoin, B. Emile, H. Laurent, C. Rosenberger // IEEE International Conference on Pattern Recognition (ICPR) 16 Dec 2008. - Tampa, United States. - P. 35-38.
49. Kryjak, T. Real-time Implementation of the ViBe Foreground Object Segmentation Algorithm / T. Kryjak, M. Gorgon // Proceedings of the Federated Conference on Computer Science and Information Systems (FedCSIS) 8-11 Sept. 2013. - Krakow, Poland. - P. 591-596.
50. Visual background extractor [Текст]: пат. JP 2011 4699564 B2 Japan: G06T1/00, G06T7/20 / авторы и заявители M. Van Droogenbroeck, O. Barnich; заявл. 2010-11-14; опубл. 15-Jun-2011.
51. Dike, A. K. ViBe: A Universal Background Subtraction Algorithm for Video Sequences / Aarti K Dike, D.R.Deshmukh // International Journal of Advance Engineering and Research Development (IJAERD). - Volume 4. - Issue 7. - July-2017. - P. 2348-6406.
52. Liao, S. Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes / S. Liao, G. Zhao, V. Kellokumpu, M. Pietikainen, S. Li // In IEEE Int. Conf. on Computer Vision and Pattern Recognition 13-18 June 2010. - San Francisco, CA, USA. - P. 1301-1306.
53. Bilodeau, G.-A. Change detection in feature space using local binary similarity patterns / G.-A. Bilodeau, J.-P. Jodoin, N. Saunier // In Int. Conf. on Computer and Robot Vision 28-31 May 2013. - Regina, SK, Canada. - P. 106— 112.
54. Xue, G. Hybrid center-symmetric local pattern for dynamic background subtraction / G. Xue, L. Song, J. Sun, M. Wu // In IEEE International Conference on. on Multimedia and Expo 11-15 July 2011. — Barcelona, Spain. — P. 1—6.
55. Xue, G. Dynamic background subtraction based on spatial extended center-symmetric local binary pattern / G. Xue, L. Song, J. Sun // In IEEE International Conference on Multimedia and Expo 19-23 July 2010. - Suntec City, Singapore. - P. 1050-1054.
56. Silva, C. An extended Center-Symmetric Local Binary Pattern for Background Modeling and Subtraction in Videos / C. Silva, T. Bouwmans, C. Frelicot // International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, VISAPP 2015. - Mar 2015. - Berlin, Germany. -P. 33-40.
57. Fleet, D. J. Optical flow estimation / David J. Fleet, Y. Weiss // Mathematical Models in Computer Vision: The Handbook - 2005. - C. 15 - P. 239-258.
58. Оптический поток [Электронный ресурс] / www.ru.wikipedia.org-
свободная энциклопедия / URL:
https://ru.wikipedia.org/wiki/Оптический_поток (дата обращения 22.04.2018)
59. Performance of optical flow techniques / J. L. Barron, D. J. Fleet, S. S. Beauchemin, T. A. Burkitt // IEEE Computer Society Conference 15-18 Jun 1992. - Champaign, 1992 - P. 236 - 242.
60. Lucas, B. D. An Iterative Image Registration Technique with an Application to Stereo Vision / B. D. Lucas, T. Kanade // Proc. of 7th International Joint Conference on Artificial Intelligence, August 1981. - Vancouver, 1981. - P. 674-679.
61. Yilmaz, A. Object tracking: A survey / A.Yilmaz, O.Javed, M. Shah // ACM Computing Surveys. - 2006. - V. 38. - № 4. - P. 33-37.
62. Veenman, C. Resolving motion correspondence for densely moving points / C. Veenman, M. Reinders, E. Backer // IEEE Trans. Pattern Analysis Machine Intelligence. - 2001. - V.23. - № 1. - P. 54-72.
63. Salarpour, A. Vehicle tracking using Kalman filter and features / A. Salarpour, A. Salarpour, M. Fathi, Dezfoulian MirHossein // Signal & Image Processing: An International Journal (SIPIJ). - 2011. - V.2. - №2. - P. 44-48.
64. Dan, S. A Tracking Algorithm Based on SIFT and Kalman Filter / S. Dan, Zh Baojun, T. Linbo // In Proceedings The 2nd International Conference on Computer Application and System Modeling. - 2012. - P.1563-1566.
65. Isard, M. Condensation - conditional density propagation for visual tracking / M. Isard, A. Blake // Int. J. Computer Vision. - 1998. - V.29. - № 1. - P. 5-28.
66. Gustafsson, F. Particle Filters for Positioning, Navigation and Tracking / F. Gustafsson, F. Gunnarsson, N. Bergman, U. Forssell, Jonas Jansson, R. Karlsson, P.J. Nordlund // IEEE Transactions on Signal Processing. - 2002. - V.2. - Issue 2. - P. 425-437.
67. Comaniciu, D. Real-time tracking of non-rigid objects using mean shift / D. Comaniciu, V. Ramesh, P. Meer // In Proceedings of the CVPR’00. - 2000. - V.2. - P. 142-149.
68. Exner, D. Fast and robust CAMShift tracking / D. Exner, E. Bruns, D. Kurz, A. Grundhofer // In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. - 2010. - P. 9-16.
69. Gauglitz, S. Evaluation of Interest Point Detectors and Feature Descriptors for Visual Tracking / S. Gauglitz, T. Holerer, M. Turk // Int J Computer Vision. - 2011. - P. 335-360.
70. Sonka, M. Image Processing, Analysis and Machine Vision / M. Sonka, V. Hlavac, R. Boyle // 3rd Edition. — Thomson. - 2008. - XXV. - P. 829.
71. Almeida, A. Real-Time Tracking of Moving Objects Using Particle Filters / A. Almeida, J. Almeida, R. Araujo // IEEE ISIE 2005. - 20-23 June 2005. - Dubrovnik, Croatia. - P. 1327-1332.
72. Isard, M. Condensation - conditional density propagation for visual tracking / M. Isard, A. Blake // International Journal of Computer Vision. - August 1998. - V. 29. - Issue 1. - P. 5-28.