Введение 3
Постановка задачи 6
Обзор существующих методов 8
Глава 1. Общая архитектура 17
1.1. Описание архитектуры 17
1.2. Применение для видеоконференций 20
1.3. Т ехнологический стек 22
1.4. Open source реализация 23
Глава 2. Результаты 25
2.1. Входные данные 25
2.2. Эксперименты 26
2.3. Проблемы 35
Глава 3. Анализ и выводы 37
1.1. Общий анализ алгоритма 37
1.2. Зависимость времени работы от разрешения 39
1.3. Степень сжатия 41
1.4. FOMM 42
1.5. Метрики PSNR, SSIM и LPIPS 43
1.6. Сравнение с FOMM 44
1.7. Сравнение с H.264 49
1.8. Характеристики вычислительной среды 54
Выводы 55
Заключение 57
Список использованных источников 58
В современном мире видеоконтент является неотъемлемой частью нашей жизни. Он используется в различных областях, таких как киноиндустрия, телевидение, социальные сети и т.д. Однако, с ростом популярности видеоконтента, возникает проблема его хранения и передачи. Видеофайлы занимают большое количество места на устройствах и требуют значительных ресурсов для передачи по сети.
Одним из способов решения этой проблемы является сжатие видеоконтента. Сжатие позволяет уменьшить размер видеофайла с минимальной потерей качества. Это позволяет сэкономить место на устройствах и снизить нагрузку на сети передачи данных.
Существует множество методов сжатия видеоконтента, таких как MPEG, H.264, H.265 и т.д. Эти методы основаны на алгоритмах, которые анализируют видео и удаляют избыточную информацию. Однако, эти методы имеют свои ограничения, такие как потеря качества при сильном сжатии, сложность реализации, меньшая эффективность в использовании в онлайн видео-конференциях (невозможность использования т.н. B-frames) и т.п.
В последние годы появился новый подход к сжатию видеоконтента — нейросетевой подход. Этот подход использует нейронные сети для анализа видео и определения наиболее важных элементов. Нейронные сети могут быть обучены на больших наборах данных, что позволяет им адаптироваться к различным типам видеоконтента и обеспечивать высокое качество сжатия и последующего декодирования.
Актуальность выбранной темы подтверждается всё возрастающим с конца 1990-ых [1] годов количеством публикаций в различных научных журналах, описывающих разнообразные подходы к решению задач в области сжатия видеоконтента посредством использования нейросетей. Данную тенденцию можно заметить на рисунке 1, где отображено изменение количества статей в области сжатия видеоконтента за последние 10 лет.
Стоит отметить, что в России недавно разработали свой алгоритм сжатия видео с помощью нейросетей [3].
Одно из возможных практических применений данной технологии заключается в использовании её в видео-конференциях, где сеть обладает низкой пропускной способностью, например, при поисково-спасательных работах или при проживании в отдаленных уголках земного шара.
На рисунке 3 можно увидеть скорость интернета в различных областях Земли. Можно заметить, что процент территорий с низкой скоростью интернета довольно высок (около 50%).
На основании изложенного можно сделать вывод об актуальности исследования применения нейросетевого подхода для сжатия видеоконтента с изображения лиц.
В ходе выпускной квалификационной работы был проведён анализ нейросетевых подходов для сжатия видеоконтента. Исследование показало, что применение нейросетей может существенно улучшить эффективность сжатия видео, что актуально в условиях постоянно растущего объёма видеоданных.
Был написан код для проведения экспериментов, для обработки видео с помощью H.264.
Экспериментальная часть подтвердила возможность использования нейросетевых моделей для сжатия видео с минимальной потерей качества. Полученные результаты могут быть использованы для разработки новых алгоритмов сжатия, которые будут востребованы в различных областях, от стриминговых сервисов до систем видеонаблюдения.
В заключение, данное исследование открывает новые перспективы для улучшения процессов сжатия видеоконтента и может служить основой для дальнейших разработок в этой области. Предложенные направления для будущих исследований включают в себя оптимизацию существующих моделей, исследование новых архитектур нейросетей и создание более эффективных алгоритмов обучения.
Это исследование подчеркивает значимость нейросетевых технологий в современном мире и их потенциал в решении актуальных задач сжатия видеоданных.
