Введение 3
Постановка задачи 5
Обзор литературы 6
Обзор существующих архитектурных подходов 15
1. Предлагаемая архитектура 22
2. Реализация прототипа 24
2.1. Описание архитектуры использованной нейросети 24
2.2. Описание Open source решения 27
2.3. Описание реализованной системы 29
3. Анализ работы прототипа 34
Выводы 39
Заключение 41
Список использованных источников 42
Популярность видеоконференций для виртуальных рабочих встреч, дистанционного обучения или общения резко выросла с началом пандемии коронавируса. Некоторые эксперты предполагают, что зависимость от виртуальных собраний станет частью повседневной жизни во многих сферах. Если это так, то высокий спрос на пропускную способность сетей, который повсеместная видеоконференцсвязь навязывает Интернету, никуда не денется и станет существенной проблемой.
Даже при использовании современных видеокодеков видеоконференция может потребовать пропускной способности: от 1-го до 2-х Мбит / с на участника только для того, чтобы изображения с небольшим разрешением оставались на экране. Кроме того, появляется все больше свидетельств того, что с опытом пользователи становятся более критичными к качеству изображения, стремясь увидеть мельчайшие детали мимики, жесты и позы, которые несут так много информации при личной встрече. Эта тенденция ограничивает возможность приложений использовать более высокие коэффициенты сжатия для уменьшения потребностей в пропускной способности сети. Мелкие детали, которые убирает алгоритм сжатия, содержат как раз те подсказки, которые больше всего нужны опытному переговорщику.
В связи с этим сейчас появляется все больше работ, посвященных организации видеоконференций с уменьшенной нагрузкой на сеть. Для этих целей все чаще применяются технологии машинного обучения, в том числе нейронные сети.
Подобные системы могут оказаться очень полезными в сфере обучения, так как позволяют поддерживать большее количество пользователей с включенными камерами. Также такие инструменты будут полезны в местах, где связь затруднена, а скорость интернет соединения ограничена.
В данной выпускной работе будет предложена архитектура системы для организации видеоконференций с низкой нагрузкой на сеть, а также реализация прототипа такой системы.
В ходе проведения исследования получены следующие результаты.
1. Проведен обзор существующих архитектурных подходов к реализации систем видеоконференцсвязи.
2. Проведен обзор различных нейросетевых подходов к сжатию изображений, содержащих человеческое лицо.
3. Предложена архитектура для передачи видео, содержащего человеческое лицо в рамках видеоконференции, позволяющая минимизировать нагрузку на сеть на стороне клиента.
4. Реализован прототип, следующий предложенной архитектуре и позволяющий легкое встраивание различных нейросетевых решений в качестве инструментов сжатия данных.
5. Проведен анализ работы прототипа, позволивший оценить перспективы развития данного направления, а также выявить преимущества и недо статки предложенного подхода.
В заключение отметим, что проведенная работа открывает новые перспективы в развитии систем видеоконференцсвязи и может служить основой для дальнейших экспериментов в этой области.
