Введение
Цель, постановка задачи, возможности использования
Глава 1. Определение требований и выбор подхода
1.1. Исследование существующих решений
1.2. Ограничения и требования
1.3. Выбор метода нахождения и построения локальных особенностей. „. 17
Глава 2. Сравнение изображений и видео
2.1. Описание кадров
2.2. Составление словаря “визуальных слов
2.3. Классификатор
2.3.1. Метод опорных векторов
2.3.2. Метод релевантных векторов
2.3.3. Сравнение методов опорных и релевантных векторов
Глава 3. Поиск областей движения
3.1. Выбор метода поиска движущихся объектов
3.2. Вычитание фона
2.2.1. Нерекурсивные методы построения модели фона
2.2.2. Рекурсивные методы построения модели фона. ViBe
3.2.3. Рекурсивные методы построения модели фона. MOG
3.3. Удаление шума
3.3.1. Размытие по Гауссу
3.3.2. Математическая морфология
Глава 4. Выделение движущихся объектов
4.1. Сопоставление особых точек
4.1.1. Простые фильтры
2.1.2. Итеративные фильтры. RANSAC
4.2. Использование алгоритмов трекинга
4.3. Оптический поток
4.4. Сравнение подходов и вывод
4.4.1. Сравнение качества работы
4.4.2. Сравнение времени работы
4.4.3. Выводы
Глава 5. Архитектура прототипа и его тестирование
5.1. Архитектура решения
5.1.1. Работа в режиме реального времен
5.1.2. Индексирование
5.1.3. Данные, вводимые пользователем
5.2. Тестирование прототипа
5.2.1. Результаты профилирования второго этапа
5.2.2. Анализ полученных результатов и выводы
Заключение
Список литературы и источников
Приложение. Рекомендуемые электронные ресурсы
Современный мир невозможно представить без информационных
технологий, проникших во все сферы нашей жизни: тогда как первые
вычислительные системы имели огромный размер и были применимы только
для численного решения научных задач, сегодня их миниатюрные аналоги
широко используются в быту и сопровождают нас повсеместно.
После создания в 70-ых годах XX-го века первых цифровых камер, а
также с учётом интенсивного роста вычислительных мощностей
компьютерные вычисления стали активно применяться для цифровой
обработки изображений, что в итоге привело к необходимости решения
задачи распознавания изображений при помощи компьютерного зрения. С
каждым днём количество задач, которые решаются с его помощью,
неуклонно растёт, и его технологии используются всё чаще ввиду
удешевления и повышения доступности не только устройств фото- и
видеозаписи (например, оснащение смартфонов камерами высокого
разрешения), что послужило причиной небывалому расширению базы
изображений и видео, но и устройств хранения и обработки данных.
Компьютерное зрение также применяется для обработки видеопотоков,
которые, хотя и могут быть представлены как последовательность
изображений, из-за чего можно применять к ним все используемые при
работе с изображениями алгоритмы, в то же время имеют дополнительные
присущие им свойства. Это позволяет решать не только те же задачи, что и
для изображений, с использованием более эффективных учитывающих эти
свойства алгоритмов, но и некоторые новые. Например, помимо
обнаружения и классификации объектов компьютерное зрение позволяет
также отслеживать эти объекты, для чего используется свойство связности
изображений в видеопотоке.
4Так как человеку для анализа цифровой информации может
потребоваться немалое количество времени, а её объём неуклонно растёт,
возникает необходимость в способе обработки и представления данных
таким образом, чтобы повысить скорость их визуального восприятия. Если
эти данные представлены в виде коллекции видео, на которых присутствуют
мешающие восприятию движущиеся объекты, для этого можно использовать
специальную систему, основанную на машинном обучении и компьютерном
зрении, которая будет автоматически переключаться между элементами коллекции.
В данной работе будут рассмотрены существующие наработки,
которые могут приблизить к решению данной проблемы, а также будет
предложен один из способов построения такой системы. Конечным
результатом работы является прототип программного обеспечения.
Таким образом, в рамках представленной работы:
● После изучения публикаций и существующих решений была
спроектирована архитектура комплекса, позволяющего объединять
технологии построения виртуального видеопотока и видеоаналитики.
При этом был проведён анализ следующих методов:
- сравнения изображений и видео;
- поиска областей движения;
- выделения движущихся объектов.
● Был проведён эксперимент, который позволил полностью подтвердить
выдвинутую гипотезу, установив, что существуют средства и методы,
позволяющие построить виртуальный видеопоток с использованием
данных о движущихся объектах без высоких затрат на приобретение
дорогостоящего оборудования и программного обеспечения. В ходе
эксперимента для уменьшения времени работы программы в режиме
реального времени формировались и использовались файлы со
специальной структурой.
● В результате эксперимента было получено решение, представленное в
виде прототипа программного обеспечения. Ссылку на репозиторий
можно найти в приложении.
Всё вышеперечисленное позволило существенно приблизиться к
поставленной цели, и, что самое главное, получить бесценный опыт решения
задач машинного обучения и компьютерного зрения, а также проектирования
и разработки программного обеспечения.
1. Продукты Kipod // Synesis URL:
http://synesis.ru/products (дата обращения: 12.01.2017)
2. Производство прямых трансляций // Sony URL:
http://www.sony.ru/pro/products/solutions-live-production (дата
обращения: 11.01.2017).
3. B&H Photo Video Digital Cameras, Photography, Camcorders URL:
http://www.bhphotovideo.com (дата обращения: 04.04.2016).
4. WTS Broadcast: Broadcast and Production URL:
http://shop.wtsbroadcast.com (дата обращения: 04.04.2016).
5. LensFrame (Video Stitching Software) // Coherent Synchro URL:
http://www.coherentsynchro.com/portfolios/seo-optimization/ (дата
обращения: 12.01.2017).
6. Джгаркава Г.М., Лавров Д.Н. Использование метода Surf для
обнаружения устойчивых признаков изображения при создании
сферических панорамных снимков // Математические Структуры и
Моделирование, №1 (22), С. 96-99, 2011.
7. E. Rublee, V. Rabaud, K. Konolige, G. Bradski. ORB: an efficient
alternative to SIFT or SURF // Proceedings of 13th International Conference
on Computer Vision, pp. 2564-2571 , 2011.
8. E. Rosten, T. Drummond. Machine learning for high speed corner detection
// 9th European Conference on Computer Vision, Vol. 1, pp. 430–443, 2006.
9. M. Calonder, V. Lepetit, C. Strecha, P. Fua. BRIEF: Binary Robust
Independent Elementary Features // 11th European Conference on Computer
Vision (ECCV), Heraklion, Crete. LNCS Springer, 2010.
10. Волков А.Г., Семёнов С.В., Севрюков С.Ю. Оценка влияния размера
словаря «Мешка визуальных слов» и компрессии кадра на скорость и
74точность классификации видео // Процессы управления и
устойчивость, Т. 3 (19), С. 362-366, 2016.
11. J. MacQueen. Some Methods for Classification and Analysis of Multivariate
Observations // Proc. Fifth Berkeley Symp. Math. Statistics and Probability,
vol. 1, pp. 281-296, 1967.
12. E. Forgey. Cluster Analysis of Multivariate Data: Efficiency vs.
Interpretability of Classification // Biometrics, vol. 21, p. 768, 1965.
13. Costantino Grana, Daniele Borghesani, Marco Manfredi, Rita Cucchiara. A
fast approach for integrating orb descriptors in the bag of words model //
Proc. of IS&T/SPIE Electronic Imaging: Multimedia Content Access:
Algorithms and Systems, vol. 8667, pp. 091-098, San Francisco, California,
US, Feb 2013.
14. C. Cortes, V. Vapnik. Support-vector networks // Machine Learning, vol.
20(3), pp. 273-297, 1995.
15. J. Zhang, M. Marszalek, S. Lazebnik, C. Schmid. Local features and kernels
for classification of texture and object categories: A comprehensive study //
International Journal of Computer Vision, vol. 73(2), pp. 213-238, 2007.
16. T.-F. Wu, C.-J. Lin, R. C. Weng. Probability estimates for multiclass
classification by pairwise coupling // Journal of Machine Learning Research,
vol. 5, pp. 975-1005, 2004.
17. M.E. Tipping, A.C. Faul. Fast marginal likelihood maximisation for sparse
Bayesian models // In C. M. Bishop and B. J. Frey (Eds.), Proceedings of the
Ninth International Workshop on Artificial Intelligence and Statistics, Key
West, FL, Jan 3-6, 2003.
18. V. Ayumi, M.I. Fanany. A Comparison of SVM and RVM for Human
Action Recognition // Internetworking Indonesia Journal, vol. 8, No. 1, pp.
29-33, 2016.
7519. M. Rafi and M. S. Shaikh. A comparison of SVM and RVM for Document
Classification // Procedia Computer Science, vol. 00, pp. 3-8, 2013.
20. S. Jeeva, M. Sivabalakrishnan. Survey on Background Modeling and
Foreground Detection for Real Time Video Surveillance // Procedia
Computer Science, vol. 50, pp. 566-571, 2015.
21. R. Collins, A. Lipton, T. Kanade, H. Fijiyoshi, D. Duggins, Y. Tsin, D.
Tolliver, N. Enomoto, O. Hasegawa, P. Burt, L. Wixson. A system for video
surveillance and monitoring // Proceedings of the IEEE, Vol. 89, pp.
1456-1477, 2001.
22. M. Van Droogenbroeck, O. Barnich. Vibe: A disruptive method for
background subtraction. // In T. Bouwmans, F. Porikli, B. Hoferlin, A.
Vacavant, editors, Background Modeling and Foreground Detection for
Video Surveillance, chapter 7. Chapman and Hall/CRC, pages 7.1-7.23, July
2014.
23. P. Kaewtrakulpong, R. Bowden. An improved adaptive background mixture
model for real-time tracking with shadow detection // Video-Based
Surveillance Systems, pp. 135-144. Springer, 2002.
24. Z. Zivkovic, F. Heijden. Efficient adaptive density estimation per image
pixel for the task of background subtraction // Pattern recognition letters,
Vol. 27(7), pp. 773-780, 2006.
25. L. Shapiro, G. Stockman. Computer Vision // Prentice Hall, 2001.
26. S. Suzuki, K. Abe. Topological Structural Analysis of Digitized Binary
Images by Border Following // Computer Vision, Graphics, And Image
Processing, Vol. 30, pp. 32-46, 1985.
27. S. Gauglitz, T. Hollerer, M. Turk. Evaluation of Interest Point Detectors and
Feature Descriptors for Visual Tracking // International Journal of Computer
Vision, Vol. 94, pp. 335-360, 2011.
7628. L. Yu , Z. Yu, Y. Gong. An Improved ORB Algorithm of Extracting and
Matching Features // International Journal of Signal Processing, Image
Processing and Pattern Recognition, Vol. 8, No. 5, pp. 117-126, 2015.
29. M. Fischler, R. Bolles. Random Sample Consensus: A Paradigm for Model
Fitting with Applications to Image Analysis and Automated Cartography //
Communications of the ACM, vol. 24, pp. 381–395, 1981.
30. O. Chum, J. Matas. Matching with PROSAC - Progressive Sample
Consensus // Proceedings of Conference on Computer Vision and Pattern
Recognition, Vol. 1, pp. 220-226, 2005.
31. R. Raguram, JM. Frahm, M. Pollefeys. A Comparative Analysis of
RANSAC Techniques Leading to Adaptive Real-Time Random Sample
Consensus // D. Forsyth, P. Torr, and A. Zisserman (Eds.): ECCV 2008, Part
II, LNCS 5303, pp. 500-513, 2008.
32. J. Henriques, R. Caseiro, P. Martins, J. Batista. High-Speed Tracking with
Kernelized Correlation Filters // IEEE Transactions on Pattern Analysis and
Machine Intelligence, Vol. 37, No. 3, pp. 583-596, 2014.
33. JY. Bouguet. Pyramidal Implementation of the Affine Lucas Kanade Feature
Tracker Description of the Algorithm // Intel Corporation, Vol. 5, pp. 1-10,
2001.