ПРОПОРЦИИ ВИДЕО И ПРОБЛЕМЫ ИХ ИЗМЕНЕНИЯ

АННОТАЦИЯ 4
| ВВЕДЕНИЕ 6
1 Обзор литератур^ 8
2 Структура алгоритм^ 14
2.1 Вычисление карты значимости 15
2.1.1 Выбор датасет^ 15
2.1.2 Обучение нейронной сети 16
2.2 Предварительные границы области обрезки] 18
2.3 Движение окна обрезки внутри сцены| 21
2.4 Обнаружение сцен| 22
2.5 Скачок внутри текущей сцены| 23
3 Настраиваемые параметры] 25
4 Сравнений 27
4.1 Исследование значимости разных модулей алгоритма] 27
4.1.1 Необходимость взвешенных сумм| 27
4.1.2 Необходимость адаптивной скорости окна обрезки] 28
4.1.3 Необходимость применения метода моментов 29
4.1.4 Необходимость учитывать скорость кадра в будущем при |
вычислении скорости окна обрезки] 29
4.1.5 Необходимость возводить значения вероятностей в карте |
значимости в степень 30
4.2 Сравнение с альтернативными работами] 31
4.2.1 Сравнение с Adobe Premiere Pro 31
4.2.2 Сравнение с Multimedia 3 32
4.2.3 Сравнение с Google AutoFlip[4]| 33
(^ЗАКЛЮЧЕНИЕ 35
|=СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ . . 36
ПРИЛОЖЕНИЕ А Границы области обрезки для одного кадра с | применением взвешенных сумм| 39
ПРИЛОЖЕНИЕ Б Границы области обрезки для одного кадра без ~|
применения взвешенных сумм| 41
ПРИЛОЖЕНИЕ В Кэширование 42

Купить

Сегодня для каждой социальной сети требуется, чтобы соотношения сторон загруженных видео соответствовали установленным для данной платформы правилам: для Instagram это — 4:5, для TikTok — 9:16, а для YouTube — 16:9, и более того, на разных смартфонах эффективное соотношение сторон показываемого видео может отличаться. Чтобы профессионально кадрировать видео под конкретное соотношение, нужен специалист, который будет этим заниматься. Это долгий и энергозатратный процесс, а если учитывать растущее количество разных устройств, для каждого из которых надо адаптировать видеоконтент, процесс становится непосильным.
Есть два наиболее популярных способа решения данной проблемы, предоставляемые многими бесплатными онлайн ресурсами. Первый способ — добавление черных полей по краям до нужного соотношения. Однако при таком подходе эффективное разрешение контента уменьшается и черные поля даже могут оказаться больше самого видео. Второй способ заключается в обрезке видео до нужного соотношения — для этого пользователю предлагается выбрать положение окна обрезки, которое будет зафиксировано для всех кадров. Если привлекающий внимание контент находится в одной области кадра на протяжении всего видео, такой метод работает хорошо. В противном случае при данном подходе будет потеряна важная информация, находящаяся за пределами выбранного окна обрезки. Чтобы избежать этого, можно разрешить окну обрезки двигаться вместе с движением объекта за которым мы наблюдаем, имитируя таким образом движение камеры.
Общая структура алгоритма, правила, по которым можно двигать область обрезки, и способы сгладить это движение описаны в секции |2. В секции 3 описаны мета-параметры алгоритма, которые могут быть настроены для оптимального результата на конкретном наборе видео. В секции 4.1 разбираются эффекты от изменения значения предлагаемых параметров. В секции 4.2 представленно сравнение предлагаемого метода с альтернативными работами.
В данной работе мы предлагаем оценивать распределение внимания среднестатистического зрителя и изменять положения окна обрезки в зависимости от того, где предположительно будет сконцентрированно внимание. Механизмы внимания моделируются с использованием нейронной сети архитектуры U-Net [1] с кодирующей частью MobileNetV2 [5], предобученной на датасете ImageNet [6]. В данной работе
использовался простой декодер на основе интерполяций методом ближайшего соседа и сверток, состоящий из 5 последовательных декодирующих блоков. Глубина сети — 64 слоя. Нейронная сеть обучалась на датасете SALICON [2]. Подробнее архитектура и процесс обучения будут описаны в секции 2.1.
Модель, предсказывающая внимание зрителей не идеальна, и если результаты такого моделирования использовать без каких-либо дополнительных ограничений, то возникает эффект дрожащей камеры. Подробнее о том, как сгладить дрожание в секции 2.3.
Предлагаемый алгоритм работает последовательно, обрабатывая кадр за кадром, что оставляет возможность в будущем применять его в процессе съемки видео, например, для прямых трансляций на устройства с разным соотношением сторон экранов.

Купить