Стабилизация видео с помощью SD-моделирования сцены

Введение 4
1. Существующие решения 7
2. Постановка задачи 11
3. Модификация алгоритма генерации соответствий и их
фильтрации 12
3.1. Анализ и модификация алгоритма фильтрации ложных
соответствий 13
3.2. Изменение алгоритма генерации соответствий для характерных точек пары изображений 16
4. Создание искусственных примеров и метрики 19
4.1. Создание искусственного примера с помощью аффинного
преобразования 19
4.2. Создание искусственной сцены с известными параметрами 21
4.3. Сравнение результатов работы алгоритма на разных этапах 23
Заключение 25
Список литературы 26
Купить

Почти всегда при съемке с движением камеры по сцене наблюдается тряска, обусловленная сложностью плавного перемещения камеры и возникающей из-за этого скачкообразной траектории движения и ориентации камеры.
Тряска затрудняет просмотр видеофрагмента и негативно воспринимается человеком, из-за чего её с момента зарождения кинематографа старались избежать.
В эпоху немого кино камера на протяжении всей сцены почти всегда оставалась неподвижной и меняла положение только со сменой дубля, а вся сцена получалась позже во время монтажа склейкой исходных записей [21]. Причиной этому были громоздкие размеры киноаппаратуры и отсутствие автоматического привода, из-за чего для приведения в движение грейфера, обтюратора и лентопротяжного механизма оператору приходилось вручную вращать ручку во время съемки сцены.
С дальнейшим развитием киноаппаратуры, уменьшением её размера и становлением кино как нового вида изобразительного искусства появилась возможность перемещения камеры непосредственно во время съемки дубля. Для этого начали использовалась операторскую тележку, перемещаемую по заранее смонтированным рельсам, а позже и операторский кран [16].
В дальнейшем, в конце 1950-ых и начале 1960-ых, с появлением более мобильных камер, стало возможным переносить её без использования специального оборудования. Так как использование операторской тележки или крана было очень трудоемко и требовало большой предварительных работ по прокладке рельсов или установке крана, а также ограничивало подвижность камеры из-за того, что рельсы можно проложить далеко не везде и приходилось избегать их попадания в кадр, а при съёмке с рук или с плеча тряска была неизбежна, что могло сделать запись непригодным для дальнейшего использования, к 1977 году была создана и запантетована система стедикам [19] — носимая система стабилизации съёмочной камеры для видеосъёмки в движении.
С приходом любительской и цифровой кинокамеры появились также встроенные системы стабилизации, такие как SteadyShot [11], Vibration Reduction [14], Image Stabilizer [2] и другие, основанные на компенсации тряски либо с использованием «плавающей» линзы в объективе, либо с применением смещения оптического сенсора, либо комбинацией двух этих технологий. В случае же, если на необходимом видеофрагменте, снятом без использования упомянутых ранее технологий стабилизаций или недостаточно ими стабилизированным, применяют методы цифровой стабилизации на постобработке.
Стандартные методы стабилизации на постобработке, такие как Warp Stabilizer VFX [1], ReelSteady [18], Mercalli [22], Deshaker [3] и другие, заключаются в слежении за положением характерных точек [10] на кадрах видеофрагмента и последующей их фиксации или сглаживании, то есть выравнивание скорости и траектории их движения. Таким образом, характерные точки на кадре становятся неподвижными или их траектории станут достаточно гладкими и предсказуемыми.
Эти методы демонстрируют приемлемые результаты для видео с незначительным перемещением по сцене. В случае же съемки в движении возникает эффект параллакса. Из-за этого характерные точки двигаются относительно друг друга, и сглаживание положения конкретной или средней точки приводит к очень сильному искажению геометрии видеофрагмента. Также, из-за движения, точки постепенно выходят за границы кадра, и появляется необходимость в поиске новых характерных точек, из-за чего непрерывный стабилизированный видеофрагмент может прерваться. А появление на сцене движущихся объектов может заставить алгоритм интерпретировать его как часть сцены, и он пытаться сгладить его движение относительно остальной сцены. По этим причинам такой метод стабилизации является неприемлемым для определенных видеофрагментов.
В последнее время широкую популярность приобрела техника съемки hyperlapse — метод замедленной киносъемки в движении, названный по аналогии с timelapse — статичной замедленной киносъемкой. Из- за ускорения видеофрагмента проблема стабилизации встает наиболее остро, так как из-за более быстрого перемещения камеры тряска многократно усиливается, что делает этот видеофрагмент непригодным для использования без постобработки.
Техника hyperlapse может использоваться в аэросъемке и в автомобильных регистраторах. Но основная область применения этой техники является интерактивное искусство. Например, видеофрагменты, снятые с применением hyperlapse, используются в телевидении как фон для прогноза погоды [25]. Особенно данная методика популярна при съемке архитектуры, так как hyperlapse позволяет быстро дать представление о форме здания любого размера. Поэтому на видеохостингах можно найти hyperlapse видео почти любого города мира, знакомящее зрителя с основными его достопримечательностями.
Цель настоящей работы заключается в улучшении метода стабилизации видеофрагмента с помощью реконструкции SD-сцены, позволяющего получать видео в технике hyperlapse на постобработке без использования специальных техник съемки. При этом подразумевается, что исходный видеофрагмент снят со стандартной кадровой частотой (24¬60 кадров в секунду), и после обработки будет значительно ускорен (с сохранением кадровой частоты, но уменьшением продолжительности видеоролика) для создания эффекта hyperlapse, для съемки которого, обычно, исходный видеофрагмент изначально обладает небольшим количеством исходных кадров со значительными промежутками между ними. Улучшения будут сконцентрированы в методе построения и фильтрации соответствий характерных точек, с помощью которых производится реконструкция SD-сцены с вычислением положения камеры в каждом кадре для дальнейшего сглаживания траектории движения камеры и склейки результирующих кадров по информации о геометрии сцены.

Купить