ВВЕДЕНИЕ 4
1. ОПИСАНИЕ СИСТЕМЫ И ПРЕДЛАГАЕМЫЕ МЕТОДЫ РЕШЕНИЯ 6
1.1. Описание системы 6
1.2. Методы построения переднего плана 8
1.3. Методы выделения и классификации движущихся объектов 11
1.4. Методы классификации объектов 14
1.5. Алгоритмы слежения за объектами 15
1.6. Адаптивные методы распознавания образов и классификации 18
1.7. Выводы по первому разделу 20
2. СИСТЕМА УЧЕТА ТРАФИКА, ОПРЕДЕЛЕНИЯ ТРАНСПОРТНЫХ
СРЕДСТВ И ИХ ТРЕКИНГА 21
2.1. Адаптивные системы управления дорожным движением (АСУДД)
2.2. Выбор методов анализа будущей системы 22
2.2.1. Требования к разрабатываемой системе 22
2.2.2. Выбор методов 24
2.2.3. Выбор инструментов для реализации 25
2.3. Метод Кросс - корреляции 27
2.3.1. Идея 27
2.3.2. Разбиение кадра на сегменты 28
2.3.3. Быстрое преобразование Фурье (БПФ или FFT) 29
2.3.4. Идея применения 32
2.3.5. Алгоритм сумм абсолютных разностей 35
2.4. Метод Разности кадров 35
2.4.1. Идея 35
2.4.2. Попиксельное вычитание кадров 36
2.4.3. Сглаживание 37
2.4.4. Пороговая фильтрация 37
2.4.5. Сопоставление движущихся областей 38
2.4.6. Определение вектора смещения кадра/ячейки 38
2.5. Сравнение характеристик реализованной системы 38
ЗАКЛЮЧЕНИЕ
ИСТОЧНИКИ 48
Приложения должны быть в работе, но в данный момент отсутствуют
В свете быстрого развития систем видеонаблюдения и стремительного роста популярности интеллектуальных систем анализа видеоданных, во многих сферах жизни и деятельности человека стали применяться подобные технологии. Не стала исключением и сфера транспортная. Безоговорочными тому причинами послужили, в первую очередь, возможности таких систем. За последние годы в распоряжении служб транспортного контроля, в частности ГИБДД, появились довольно мощные инструменты сбора необходимых сведений и их дальнейшего анализа. Но, несмотря на это, данная область до сих пор нуждается в работе над развитием подобных систем. В первую очередь, такое требование обусловлено обширностью транспортной сферы и сложностью анализа ситуаций, возникающих в ней.
Несмотря на высокую производительность и широкую известность адаптивных систем управления дорожным движением, используемые на сегодняшний день, стоит заметить, что подобные системы требуют немалых вложений на установку и техническое обслуживание. Следовательно, справедливо предположить невозможность оборудования подобными системами всех участков дорог, требующих автоматизацию процессов учета трафика, определения, классификации и трекинга объектов. Необходимость снабжения автоматизированными системами анализа дорожного движения каждого сложного участка дорог и невозможность обеспечения ими, за счет немалой финансовой составляющей АСУДД, в совокупности являются большой проблемой в транспортной сфере, решение которой весьма актуальна. Отсюда и возникло решение разработать альтернативную систему, которой будет по силам решать различные задачи продиктованные ситуациями, возникающими на дорогах каждый день.
Цель дипломной работы заключается в описании общей структуры систем видеоаналитики, методов и алгоритмов, используемых на каждом этапе анализа, выборе наилучших методов и обосновании правильности выбора и реализации прототипа системы учета городского трафика, определения и трекинга транспортных средств, на основе методов, получивших предпочтение
Таким образом, в ходе выполнения дипломной деятельности были разобраны и описаны наиболее известные методы и алгоритмы для решения задач видеоаналитики, в частности в вопросах, затрагивающие транспортную сферу. Были выделены основные проблемы, возникающие при анализе видеопотока, и рассмотрены варианты их решения.
В ходе изучения привычных методологий данной области были сделаны следующие выводы:
1. Для выделения фона кадра чаще всего используют методы вычитания фона, вероятностные методы, методы временной разности и метод оптического потока. Но наиболее мощные и точные системы используют взаимодействие нескольких методов для достижения наилучшего результата. Также был представлен метод, использующий нейронные сети и являющийся еще развивающийся отраслью, требующий изучения, но обладающий хорошими перспективами.
2. Были изучены методы выделения и классификации объектов видеопотока, предлагаемые, как основные в решении задач видеоаналитики и описаны варианты их взаимодействия с целью улучшения системы и исключения наиболее встречаемых недочетов из нее.
3. Рассмотрены виды отслеживания за объектами в видеопотоке, а также преимущества и недостатки каждого из методов трекинга.
Дипломная работа включает в себя описание и структуру системы, решающей поставленные на этапе планирования задачи. В качестве альтернативы адаптивным системам управления дорожным движением, рассматриваемым как аналог разрабатываемой системе, были предложены две различные реализации системы, с использованием двух совершенно разных методов: метод кросс - корреляции, являющийся точным методом и позволяющий системе, работающей при помощи данного метода, показывать высокую точность обнаружения движущихся объектов и определения их вектора смещения; метод разности кадров, который позволяет достаточно точно определять границы движущихся объектов в кадре и обладающий высокой скоростью обработки входных данных, что обеспечивает реализованной при помощи данного метода системе показывать очень высокую производительность. Обе реализации описаны во второй главе выпускной квалификационной работы.
Также было проведено сравнение обеих реализаций и выбран дальнейший вектор развития разрабатываемой системы с использованием метода разности кадров (таблица 1 в параграфе 2.5). Были выявлены ограничения данной реализации и предложено решение для устранения возникающих недостатков, в виде попытки совмещения обоих реализованных методов, продолжая соблюдать позицию компромисса между производительностью и точностью системы (таблица 2 в параграфе 2.5).
Предложенная реализация полностью удовлетворяет требованиям к быстродействию и точности на данном этапе разработки и не выходит за рамки ограничений по аппаратной части системы. Вдобавок, имеется предложение по улучшению и доработки системы.
Основными отличиями данной реализации от аналогов, в том числе от адаптивных систем управления дорожным движением, являются:
1. Использование только данных с видеокамеры (без дополнительных датчиков).
2. Положение камеры в пространстве относительно дорожного полотна не имеет значения (обрабатывается любой ракурс).
3. Независимость от оборудования (подходит любой тип камер с любой архитектурой процессора блока обработки: x86, ARM).
Новизной предложенной системы является использование методов и алгоритмов, позволяющих в реальном времени обрабатывать кадры видеопотока независимо от ракурса расположения камеры, а также точность системы, не требующая наличия различных вспомогательных датчиков, используемых в АСУДД на сегодняшний день.
1. С. Н. Ярышев. Цифровые методы обработки видеоинформации и видеоаналитика: научная статья [Текст] — Санкт-Петербург — 2011.
2. Лукьяница А.А. Цифровая обработка изображений. [Текст] / Лукьяница А.А., Шишкин А.Г. // М.: Ай-Эс-Эс Пресс, 2009. - 518 с.
3. Шлихт. Г. Ю. Цифровая обработка цветных изображений. [Текст] - М.:ЭКОМ, 1997. - 336 с.
4. Кудрявцев Л. Д. Краткий курс математического анализа. Т. 2. Дифференциальное и интегральное исчисления функций многих переменных. Гармонический анализ: Учебник. [Текст] — 3-е изд., перераб. — М.: ФИЗМАТЛИТ, 2005. — 424 с
5. Тропченко А.Ю. Методы сжатия изображений, аудиосигналов и видео. Учебное пособие по дисциплине «Теоретическая информатика» [Текст] /Тропченко А.Ю., Тропченко А.А. // - Санкт-Петербург: , 2009. — 108 с.
6. Нуссбаумер Г. Быстрое преобразование Фурье и алгоритмы вычисления сверток: Пер. с англ. [Текст] — М.: Радио и связь, 1985. — 248 с.
7. Кругль Г. Профессиональное видеонаблюдение. Практика и технологии аналогового и цифрового CCTV. [Текст] - 2-е изд. - М.: Секьюрити Фокус, 2010.
8. Сиднев А.А. Образовательный комплекс «Параллельные численные методы». Фильтрация изображений. Быстрое преобразование Фурье: лабораторная работа [Электронный ресурс]. / Режим доступа: https://software.intel.eom/sites/default/files/m/d/4/1/d/8/LW FFT doc.pdf- свободный.
9. Фаворская М. Н. Методы поиска движения в видеопоследовательностях [Электронный ресурс] / Фаворская М. Н., Пахирка А.И., Шилов А. С., Дамов М. В. // Режим доступа:http://cyberleninka.ru/article/n/metody-poiska-dvizheniya-v-videoposledovatelnostyah- свободный.
10. Поляков Д.Б. Блочные алгоритмы оценки движения: научная работа [Электронный ресурс] / Режим доступа:http://www.tvs-mtuci.ru/attachments/article/19/Blochnye%20algoritmy%20ocenki%20dvizhenija.pdf- свободный.
11. Голубков А.С. Адаптивное управление дорожным движением на базе системы микроскопического моделирования транспортных потоков [Электронный ресурс] / Голубков А.С., Царев В. А. // Режим доступа: http://cyberleninka.ru/article/n/adaptivnoe-upravlenie-dorozhnym-dvizheniem-na-baze-sistemy-mikroskopicheskogo-modelirovaniya-transportnyh-potokov- свободный.
12. Токарев В. Л.Построение системы видеоаналитики. [Электронный ресурс] / Токарев В. Л., Абрамов Д. А. // Режим доступа: http://cyberleninka.rU/article/n/postroenie-sistemy-videoanalitiki
13. Верещагин Н. Ю.Система распознания объектов по сигналам камер видеонаблюдения. [Электронный ресурс] / Режим доступа: http://elibrary.ru/item.asp?id=25094659
14. Швидченко С. А. Методы и алгоритмы выделения контуров изображений в радиотехнических системах с использованием дискретной вейвлет- фильтрации. [Электронный ресурс] / Режим доступа: http://dlib.rsl.ru/01006605665
15. Кузнецов М. К.Методы цифровой обработки видеосигналов. [Электронный ресурс] / Режим доступа: http://cyberleninka.ru/article/n/metody-tsifrovoy-obrabotki-videosignalov
16. Поляков Д.Б.Разработка методов и устройств компенсации пространственно-временных искажений в системах цифрового телевидения. [Электронный ресурс] / Режим доступа: http://dlib.rsl.ru/01004264387
17. Заботин И.Н.Стереоскопическая информационно-измерительная система определения параметров движущихся объектов. [Электронный ресурс] / Режим доступа:http://dlib.rsl.ru/01003416303
18. Аносов А. В. Разработка и исследование методов передачи стереотелевизионных сигналов по каналам со сжатием цифрового потока. [Электронный ресурс] / Режим доступа:http://dlib.rsl.ru/01003300824
19. Фраленко В. П. Методы и алгоритмы обработки потоков данных в многопроцессорных вычислительных комплексах командно- измерительных систем на основе моделей нейронных сетей.
[Электронный ресурс] / Режим доступа:http://dlib.rsl.ru/01005377589
20. Дрюченко М. А. Статистические и нейросетевые алгоритмы синтеза и анализа стеганографически скрытой информации в аудио- и графических данных. [Электронный ресурс] / Режим доступа: http://dlib.rsl.ru/01004920700
21. БелоножкоД.Ф.Физический вестник Ярославского государственного университета им. П.Г. Демидова: Сборник научных трудов.
[Электронный ресурс] / Режим доступа:http://rucont.ru/efd/206827
22. Попов А. В.Временная психофизиологическая избыточность в видеоинформационных сигналах видеоконференцсвязи. [Электронный ресурс] / Режим доступа:http: //cyberleninka.ru/article/n/vremennaya-psihofiziologicheskaya-izbytochnost-v-videoinformatsionnyh-signalah-videokonferentssvyazi
23. Рубина И. С. Разработка и исследование методов и алгоритмов устранения избыточности видеопоследовательностей на основе сегментации видеоданных. [Электронный ресурс] / Режим доступа: http: //dlib .rsl .ru/01006596176
24. Пьянков Д. И. Метод пространственно-временной обработки несинхронизированных видеопоследовательностей в системах стереовидения. [Электронный ресурс] / Режим доступа: http://dlib.rsl.ru/01006614368