Задача стабилизации видеопотока камеры видеонаблюдения
|
Введение 3
1.1 Актуальность темы 3
1.2 Степень разработанности темы в литературе 3
1.3 Цель, и объект исследования 7
2 Основная часть 8
2.1 Допущения 8
2.2 Общие соображения 8
2.3 Разностный метод 9
2.4 Метод особых точек 10
2.5 Конструирование сети 14
2.6 Краткий отчет по проделанной в рамках научного исследования работе 16
3 Выводы 17
3.1 Формулировка результатов 17
3.2 Рекомендации по применению результатов 17
3.3 Дальнейшие направления исследований в данной области . . 17
3.4 Список литературы 17
4 Приложение A
1.1 Актуальность темы 3
1.2 Степень разработанности темы в литературе 3
1.3 Цель, и объект исследования 7
2 Основная часть 8
2.1 Допущения 8
2.2 Общие соображения 8
2.3 Разностный метод 9
2.4 Метод особых точек 10
2.5 Конструирование сети 14
2.6 Краткий отчет по проделанной в рамках научного исследования работе 16
3 Выводы 17
3.1 Формулировка результатов 17
3.2 Рекомендации по применению результатов 17
3.3 Дальнейшие направления исследований в данной области . . 17
3.4 Список литературы 17
4 Приложение A
1.1 Актуальность темы
Методы улучшения качества видео привлекают в последние годы все больший интерес. Видеосъемка и видеофиксация становятся все более и более вездесущими за счет снижения стоимости и порога вхождения. Однако неожиданные колебания в видеопоследовательности значительно ослабляют полезность видеофиксации. Устранением подобных недочётов видео и занимается задача предобработки данных, которая, таким образом, первична о области видеоаналитики. Устранением данных колебаний видео-последовательности занимается задача стабилизации. В последние десятилетия многочисленные исследования были проведены в области стабилизации видео. Ее основная цель заключается в удалении нежелательной вибрации движения, вызванной лицом, держащим камеру, или вследствие механического дрожания, и синтезу новой видеопоследовательности, с учетом стабилизации положения/траектории движения камеры.
1.2 Степень разработанности темы в литературе
Причину дрожания камеры чаще всего связывают либо с тряской рук (тележки, движимого объекта), либо с порывами ветра (стационарная камера). Проблема решается несколькими способами:
• Механическая стабилизация:
— Укрепление камеры жёстким обтекаемым каркасом, что в значительной степени нивелирует порывы ветра.
— Утяжеление всей конструкции, смещение центра тяжести вниз.
— Использование стабилизирующего карданова подвеса по образу Steadicam [3].
• Оптическая стабилизация: дрожание измеряется с помощью гироскопа и акселерометра, и затем изменяется путь световых лучей в камере. Выполнятся либо в объективе, либо на матрице. Каждая компания запатентовала свою технологию оптической стабилизации, отчего в области возникла некоторая путаница с названиями, например выделяют Vibration Reduction (VR), Image Stabilizer (IS), AntiShake (AS), IBIS, Optical SteadyShot (OSS), MegaOIS, PowerOIS, SteadyShot (SS), Super SteadyShot (SSS), SteadyShot INSIDE (SSI), Optical Stabilization (OS), Vibration Compensation (VC), Shake Reduction (SR), PureView, UltraPixel. Как видно, некоторые из названий совпадают с целым классом технологий. В таком виде, как класс, в дальнейшем их и следует понимать. Все эти технологии объединяет то, что изображение стабилизируется до того, как изображение с сенсора будет преобразовано в цифровые данные. Можно выделить:
— Стабилизирующий элемент объектива, подвижный ортогонально оптической оси, по команде с сенсоров отклоняется так, чтобы проекция изображения полностью компенсировала колебания.
— Сервоприводы, перемещают грани заполненной жидкостью призмы, расположенная на пути света, и, как следствие, изменяется положение изображения на матрице[4]. (например, применялось в Canon XL1, Sony VX1000 ).
— Матрица смещается так, чтобы противодействовать движению камеры. Когда камера поворачивается, вызывая угловую ошибку, матрица смещается, чтобы поддерживать проекцию изображения на плоскости матрицы, также используются данные о фокусном расстоянии объектива (впервые применялось в Dimage A1 в 2003 г., технология называлась «Anti-Shake»). Преимущество заключается в возможности использовать различные объективы, в том числе без встроенной стабилизации.
• Цифровая стабилизация: анализ получаемого из камеры изображения и его деформирование с целью стабилизации. Иногда встраивается в саму камеру, которая при этом оснащается большей матрицей, часть которой и отрезается цифровой стабилизацией.
После передачи видео с видеокамеры в цифровом виде, возможна внешняя цифровая стабилизация. В зависимости от решаемой задачи и разрабатываемой системы, стабилизация может выполняться в режиме реального времени, или с некоторой задержкой, в том числе и финальная обработка уже готового видео. Именно внешняя цифровая стабилизация видеопотока в режиме реального времени исследуется в данной работе. На практике же часто используется цифровая стабилизация вместе с укреплением каркаса.
В различных публикациях описаны различные подходы к оценке движения:
• рекурсивные растровые алгоритмы
• Глобальная оценка движений
— фазовый метод корреляции
— использующие для работы особые точки;
— алгоритмы компенсации движения;
• методы соответствия блоков
Алгоритмы из каждой группы имеют характерные сильные и слабые стороны.
Рекурсивные растровые алгоритмы используют итеративное совершенствование оценки движения для отдельных элементов растра, выполняемое градиентными методами, для предсказания рекурсивного смешения каждого элемента растра от его соседних элементов. Эти алгоритмы имеют большую вычислительную сложность и меньше поддаются настройке, поэтому их трудно использовать в аппаратных средствах [6].
Одним из методов стабилизации является определение общего движения кадра. Существующие алгоритмы определения общего движения кадра также используются для сжатия, и обработки видеоматериалов, например в задачах построения панорамного изображения. Метод соответствует допущениям, указанным в 2.1, и применим для данной задачи [5].
Фазовый метод корреляции на основе преобразования Фурье может быть расширен на определение поворота и масштабирования, путём преобразования изображения в логарифмические полярные координаты. Известен тем, что является телевизионным стандартом конвертирования, т.к. оставляет наименьшее количество артефактов [6].
Применение аппарата особых точек требует значительных временных затрат на выбор особых точек и на их отслеживание, но при этом специфика окрестностей особых точек позволяет говорить о более высокой надёжности определения смещений. Как пример использования особых точек для определения глобального движения, можно привести алгоритм 2D Ridge Motion [5].
Использование алгоритмов компенсации движения (векторов движения) дает более низкую надежность определения смещений, чем особые точки. Но у таких алгоритмов есть большое преимущество — высокая скорость. Аппарат векторов движения давно и очень активно используется для решения задач, связанных с обработкой и компрессией видео. Основное преимущество этого подхода перед другими - его простота. Существенная помеха при использовании векторов движения заключается в наличии ошибочных векторов, их особенно часто можно видеть на монотонных областях кадра. Одна из основных проблем программного обеспечения для стабилизации видео - это отсутствие участков изображения, появляющееся в стабилизированных видео в связи с компенсацией траектории движения, как показано на рисунке.
Алгоритмы соответствия блоков оценивают движение на основании прямоугольных блоков и вычисляют один вектор движения для каждого блока, предполагая, что вектор движения одинаков для некоторого блока пикселей. Эти алгоритмы отличаются настраиваемостью и простотой [7]. В базовом методе сопоставления блоков каждый кадр разделен на блоки яркости. Для каждого блока на текущем кадре осуществляется поиск соответствующего блока на следующем кадре и записывается его смещение. Однако яркость сцены может изменяться по времени. поэтому некоторые модели учитывают изменение яркости. Подобная корректировка может улучшить результат стабилизации, если не принимать во внимание таких локальных изменений яркости, как тени.
1.3 Цель, и объект исследования
Цель исследования - создать модуль стабилизации для комплекса видео-аналитики, который бы работал в случае стационарных камер, в режиме реального времени, без видимых искажений, и гасил отклонения видео, для дальнейшей работы других модулей с видео. Это могут быть как алгоритмы слежения, верификации, фрагментации, так и наблюдение за объектом человеком. Считать производительные ресурсы ограниченными стационарным бюджетным IBM-PC-совместимым компьютером
Методы улучшения качества видео привлекают в последние годы все больший интерес. Видеосъемка и видеофиксация становятся все более и более вездесущими за счет снижения стоимости и порога вхождения. Однако неожиданные колебания в видеопоследовательности значительно ослабляют полезность видеофиксации. Устранением подобных недочётов видео и занимается задача предобработки данных, которая, таким образом, первична о области видеоаналитики. Устранением данных колебаний видео-последовательности занимается задача стабилизации. В последние десятилетия многочисленные исследования были проведены в области стабилизации видео. Ее основная цель заключается в удалении нежелательной вибрации движения, вызванной лицом, держащим камеру, или вследствие механического дрожания, и синтезу новой видеопоследовательности, с учетом стабилизации положения/траектории движения камеры.
1.2 Степень разработанности темы в литературе
Причину дрожания камеры чаще всего связывают либо с тряской рук (тележки, движимого объекта), либо с порывами ветра (стационарная камера). Проблема решается несколькими способами:
• Механическая стабилизация:
— Укрепление камеры жёстким обтекаемым каркасом, что в значительной степени нивелирует порывы ветра.
— Утяжеление всей конструкции, смещение центра тяжести вниз.
— Использование стабилизирующего карданова подвеса по образу Steadicam [3].
• Оптическая стабилизация: дрожание измеряется с помощью гироскопа и акселерометра, и затем изменяется путь световых лучей в камере. Выполнятся либо в объективе, либо на матрице. Каждая компания запатентовала свою технологию оптической стабилизации, отчего в области возникла некоторая путаница с названиями, например выделяют Vibration Reduction (VR), Image Stabilizer (IS), AntiShake (AS), IBIS, Optical SteadyShot (OSS), MegaOIS, PowerOIS, SteadyShot (SS), Super SteadyShot (SSS), SteadyShot INSIDE (SSI), Optical Stabilization (OS), Vibration Compensation (VC), Shake Reduction (SR), PureView, UltraPixel. Как видно, некоторые из названий совпадают с целым классом технологий. В таком виде, как класс, в дальнейшем их и следует понимать. Все эти технологии объединяет то, что изображение стабилизируется до того, как изображение с сенсора будет преобразовано в цифровые данные. Можно выделить:
— Стабилизирующий элемент объектива, подвижный ортогонально оптической оси, по команде с сенсоров отклоняется так, чтобы проекция изображения полностью компенсировала колебания.
— Сервоприводы, перемещают грани заполненной жидкостью призмы, расположенная на пути света, и, как следствие, изменяется положение изображения на матрице[4]. (например, применялось в Canon XL1, Sony VX1000 ).
— Матрица смещается так, чтобы противодействовать движению камеры. Когда камера поворачивается, вызывая угловую ошибку, матрица смещается, чтобы поддерживать проекцию изображения на плоскости матрицы, также используются данные о фокусном расстоянии объектива (впервые применялось в Dimage A1 в 2003 г., технология называлась «Anti-Shake»). Преимущество заключается в возможности использовать различные объективы, в том числе без встроенной стабилизации.
• Цифровая стабилизация: анализ получаемого из камеры изображения и его деформирование с целью стабилизации. Иногда встраивается в саму камеру, которая при этом оснащается большей матрицей, часть которой и отрезается цифровой стабилизацией.
После передачи видео с видеокамеры в цифровом виде, возможна внешняя цифровая стабилизация. В зависимости от решаемой задачи и разрабатываемой системы, стабилизация может выполняться в режиме реального времени, или с некоторой задержкой, в том числе и финальная обработка уже готового видео. Именно внешняя цифровая стабилизация видеопотока в режиме реального времени исследуется в данной работе. На практике же часто используется цифровая стабилизация вместе с укреплением каркаса.
В различных публикациях описаны различные подходы к оценке движения:
• рекурсивные растровые алгоритмы
• Глобальная оценка движений
— фазовый метод корреляции
— использующие для работы особые точки;
— алгоритмы компенсации движения;
• методы соответствия блоков
Алгоритмы из каждой группы имеют характерные сильные и слабые стороны.
Рекурсивные растровые алгоритмы используют итеративное совершенствование оценки движения для отдельных элементов растра, выполняемое градиентными методами, для предсказания рекурсивного смешения каждого элемента растра от его соседних элементов. Эти алгоритмы имеют большую вычислительную сложность и меньше поддаются настройке, поэтому их трудно использовать в аппаратных средствах [6].
Одним из методов стабилизации является определение общего движения кадра. Существующие алгоритмы определения общего движения кадра также используются для сжатия, и обработки видеоматериалов, например в задачах построения панорамного изображения. Метод соответствует допущениям, указанным в 2.1, и применим для данной задачи [5].
Фазовый метод корреляции на основе преобразования Фурье может быть расширен на определение поворота и масштабирования, путём преобразования изображения в логарифмические полярные координаты. Известен тем, что является телевизионным стандартом конвертирования, т.к. оставляет наименьшее количество артефактов [6].
Применение аппарата особых точек требует значительных временных затрат на выбор особых точек и на их отслеживание, но при этом специфика окрестностей особых точек позволяет говорить о более высокой надёжности определения смещений. Как пример использования особых точек для определения глобального движения, можно привести алгоритм 2D Ridge Motion [5].
Использование алгоритмов компенсации движения (векторов движения) дает более низкую надежность определения смещений, чем особые точки. Но у таких алгоритмов есть большое преимущество — высокая скорость. Аппарат векторов движения давно и очень активно используется для решения задач, связанных с обработкой и компрессией видео. Основное преимущество этого подхода перед другими - его простота. Существенная помеха при использовании векторов движения заключается в наличии ошибочных векторов, их особенно часто можно видеть на монотонных областях кадра. Одна из основных проблем программного обеспечения для стабилизации видео - это отсутствие участков изображения, появляющееся в стабилизированных видео в связи с компенсацией траектории движения, как показано на рисунке.
Алгоритмы соответствия блоков оценивают движение на основании прямоугольных блоков и вычисляют один вектор движения для каждого блока, предполагая, что вектор движения одинаков для некоторого блока пикселей. Эти алгоритмы отличаются настраиваемостью и простотой [7]. В базовом методе сопоставления блоков каждый кадр разделен на блоки яркости. Для каждого блока на текущем кадре осуществляется поиск соответствующего блока на следующем кадре и записывается его смещение. Однако яркость сцены может изменяться по времени. поэтому некоторые модели учитывают изменение яркости. Подобная корректировка может улучшить результат стабилизации, если не принимать во внимание таких локальных изменений яркости, как тени.
1.3 Цель, и объект исследования
Цель исследования - создать модуль стабилизации для комплекса видео-аналитики, который бы работал в случае стационарных камер, в режиме реального времени, без видимых искажений, и гасил отклонения видео, для дальнейшей работы других модулей с видео. Это могут быть как алгоритмы слежения, верификации, фрагментации, так и наблюдение за объектом человеком. Считать производительные ресурсы ограниченными стационарным бюджетным IBM-PC-совместимым компьютером
По соображениям необходимого быстродействия, удобству использования абстракций, и наличию открытых библиотек, для реализации был выбран язык программирования С++’11. Для реализации использовалась библиотека OpenCV.
Пользователь выбирает необходимый алгоритм стабилизации и видит результат в окне настроек (см. Приложение A). После подтверждения, модуль включается в общую последовательность действий, и используется для модулей распознавания номеров вагонов [12], слежения за объектами, детектирования толпы, распознавания движения [11], автоматического детектирования нарушений на пешеходном переходе [13].
Пользователь выбирает необходимый алгоритм стабилизации и видит результат в окне настроек (см. Приложение A). После подтверждения, модуль включается в общую последовательность действий, и используется для модулей распознавания номеров вагонов [12], слежения за объектами, детектирования толпы, распознавания движения [11], автоматического детектирования нарушений на пешеходном переходе [13].