ВВЕДЕНИЕ 4
1. ОПИСАНИЕ РОБОТОТЕХНИЧЕСКОЙ СИСТЕМЫ И ПОСТАНОВКА ЗАДАЧИ 6
1.1. Мотивация 6
1.2. Мобильный робототехнический комплекс «Сервосила Инженер» 7
1.3. Недостатки системы 11
1.4. Постановка задачи 13
2. ОБЗОР МЕТОДОВ КОДИРОВАНИЯ ВИДЕО 16
2.1 Проблема избыточности видео 16
2.2. Обзор кодеков 17
2.2.1 H.264/Advanced Video Coding 17
2.2.2 High Efficiency Video Coding 20
2.2.3 VP9 22
2.2.4 Другие кодеки 23
2.3 Сравнение кодеков 24
2.3.1 Методы оценки качества видео 24
2.3.2 Обзор литературы 27
3. ОБЗОР РЕШЕНИЙ ДЛЯ ПОТОКОВОЙ ПЕРЕДАЧИ ВИДЕО ПО СЕТИ 31
3.1. Протоколы 31
3.2. Инструменты, библиотеки и фреймворки 34
4. КАЛИБРОВКА ОПТИЧЕСКИХ СЕНСОРОВ 37
4.1 Описание проблемы 37
4.2 Обзор методов 38
5. РЕАЛИЗАЦИЯ СИСТЕМЫ ПОТОКОВОЙ ТРАНСЛЯЦИИ ВИДЕО 43
5.1 Используемые инструменты 43
5.2. Архитектура системы 44
5.3 Захват, предобработка и кодирование видео 45
5.4 RTSP сервер 48
6. ПРОВЕДЕНИЕ ЭКСПЕРИМЕНТОВ 51
6.1 Калибровка камер 51
6.2 Поиск оптимальных параметров потоковой трансляции видео по
беспроводной сети 55
6.2.1 Используемые параметры 55
6.2.2 Подготовка тестового окружения 56
6.2.3 Запуск тестов и обработка результатов 57
6.3 Результаты 59
ЗАКЛЮЧЕНИЕ 65
ГЛОССАРИЙ 66
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 68
ПРИЛОЖЕНИЕ А 75
ПРИЛОЖЕНИЕ Б 81
ПРИЛОЖЕНИЕ В 83
ПРИЛОЖЕНИЕ Г
В целях взаимодействия с динамической окружающей средой мобильной робототехнической системе (РТС) необходимо постоянно получать и обновлять данные с различных сенсоров, в том числе и камер [1-3]. Камеры используются в решении таких задач, как визуальная одновременная локализация и картографирование (SLAM) [4, 5], реконструкция трехмерного окружения, обнаружение и преодоление препятствий, телеоперация и т.д. В большинстве случаев (например, SLAM и телеоперация) есть необходимость получать данные с камер в режиме реального времени. Более того, так как вычислительные мощности мобильной РТС в основном являются ограниченными, как в случае с рассматриваемым в данной работе мобильной РТС «Сервосила Инженер» [6], появляется необходимость в передаче данных на более мощное удаленное устройство. Связь с роботом осуществляется через беспроводной канал, в результате чего возникает множество проблем, а именно: ограниченная ширина канала связи, потери данных, искажения, задержки [7]. Стоит отметить, что существующие решения по передаче данных с камер робота «Сервосила Инженер» (в виде API производителя) обладают рядом ограничений и не позволяют эффективно решать поставленные задачи.
Следовательно, актуальность темы данной работы заключается в необходимости решения проблемы по передаче видеоданных с камер мобильной РТС «Сервосила Инженер», которая позволит реализовать алгоритмы удаленного управления роботом, визуального SLAM и взаимодействия с окружающей средой (например, распознавание и открывание дверей).
Поскольку существует множество факторов, влияющих на оптимальность решения, что включает в себя различные сетевые параметры, параметры кодирования и многое другое., теоретическая часть данной работы посвящена изучению влияния данных параметров на эффективность работы системы потоковой трансляции видео по беспроводной сети.
Практическая значимость состоит в реализации программного обеспечения по захвату, обработке и передаче видеоданных с камер мобильной РТС по беспроводному каналу связи. Данное решение будет интегрировано в уже существующий графический интерфейс для управления роботом в режиме телеоперации.
Объектом исследования является мобильная РТС «Сервосила Инженер», оборудованная четырьмя видеокамерами. Предмет исследования - разработка и реализация оптимального механизма потоковой передачи видеоданных с мобильной РТС «Сервосила Инженер».
Целью дипломной работы является реализация системы потоковой передачи видеоданных со всех камер мобильного робота «Сервосила Инженер» в режиме реального времени и изучение влияния различных параметров на эффективность реализации. Для достижения цели данной работы поставлены следующие задачи:
1. провести обзор форматов кодирования видеоданных;
2. провести обзор методов потоковой передачи видеоданных по сети;
3. изучить влияние различных параметров на эффективность потоковой трансляции видео по сети;
4. изучить методы калибровки камер;
5. в рамках подготовки оборудования осуществить калибровку камер робота «Сервосила Инженер»;
6. при помощи выбранных инструментов реализовать систему потоковой передачи видеоданных со всех камер робота в режиме реального времени;
7. провести экспериментальную работу по нахождению оптимальных параметров трансляции для системы стереозрения робота.
В результате выполнения данной работы была разработана система потоковой передачи видео по сети со всех камер мобильного робота «Сервосила Инженер», что позволило решить проблемы API производителя. В рамках работы была проведена успешная калибровка оптических сенсоров робота на базе метода circle gird, что позволило значительно снизить присутствующие искажения в линзах. Проведены эксперименты по нахождению оптимальных параметров для системы потоковой трансляции видео со стереопары робота по беспроводной сети. Данные экспериментов были проанализированы, в результате чего разработанная система потоковой передачи будет использовать наиболее оптимальные параметры при реализации алгоритмов стереозрения.
Цель работы - реализация системы потоковой передачи видеоданных с камер мобильного робота «Сервосила Инженер» и изучение влияния различных параметров системы на ее оптимальность - была достигнута.
В процессе выполнения работы были решены все поставленные задачи:
• проведена калибровка оптических сенсор робота;
• разработана система потоковой передачи видео по беспроводной сети со всех камер робота в режиме реального времени;
• проведена экспериментальная работа по нахождению оптимальных параметров потоковой передачи с системы стереозрения робота «Сервосила Инженер»
Планы на будущее включают в себя:
• оптимизация передачи видеопотока со стереопары методами MVC (Multi-view Video Coding);
• внедрение разработанной системы в графический интерфейс для выполнения задач телеоперации;
• разработка алгоритмов визуального SLAM на базе стереопары и камеры с оптическим увеличением;
