Формирование виртуального видеопотока на основе кадров из смежных по точке съёмки
|
ЦЕЛИ, ЗАДАЧИ И ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ 5
ПОСТАНОВКА ЗАДАЧИ ДАННОЙ РАБОТЫ 7
ГЛАВА 1. Определение требований и выбор подхода 8
1.1. Исследование существующих решений в данной области и их оценка.
1.2. Формирование требований и установка ограничений 13
1.3. Вывод 15
ГЛАВА 2. Обзор алгоритмов поиска ключевых точек 16
2.1. Алгоритм Speeded-Up Robust Features (SURF) 17
2.2. Алгоритм Oriented FAST and Rotated BRIEF (ORB) 19
2.3. Вывод 21
ГЛАВА 3. Проектирование и разработка прототипа ПО 22
3.1. Индексирование 23
3.2. Сопоставление ключевых точек 26
3.3. Фильтрация плохих пар ключевых точек 27
3.3.1. Перекрёстная проверка 28
3.3.2. Проверка на соотношение 28
3.3.3. Проверка с RANSAC 29
3.4. Синхронизация потоков видео 30
3.5. Синтезирование общего кадра 31
3.6. Полученные результаты 34
ГЛАВА 4. Тестирование прототипа 35
4.1. Проверка на тестовых данных 35
4.2. Анализ результатов профилирования 36
4.3. Вывод 38
ЗАКЛЮЧЕНИЕ 39
СПИСОК ЛИТЕРАТУРЫ И ИСТОЧНИКОВ 40
ПРИЛОЖЕНИЕ. Рекомендуемые статьи из документации OpenCV 43
ПОСТАНОВКА ЗАДАЧИ ДАННОЙ РАБОТЫ 7
ГЛАВА 1. Определение требований и выбор подхода 8
1.1. Исследование существующих решений в данной области и их оценка.
1.2. Формирование требований и установка ограничений 13
1.3. Вывод 15
ГЛАВА 2. Обзор алгоритмов поиска ключевых точек 16
2.1. Алгоритм Speeded-Up Robust Features (SURF) 17
2.2. Алгоритм Oriented FAST and Rotated BRIEF (ORB) 19
2.3. Вывод 21
ГЛАВА 3. Проектирование и разработка прототипа ПО 22
3.1. Индексирование 23
3.2. Сопоставление ключевых точек 26
3.3. Фильтрация плохих пар ключевых точек 27
3.3.1. Перекрёстная проверка 28
3.3.2. Проверка на соотношение 28
3.3.3. Проверка с RANSAC 29
3.4. Синхронизация потоков видео 30
3.5. Синтезирование общего кадра 31
3.6. Полученные результаты 34
ГЛАВА 4. Тестирование прототипа 35
4.1. Проверка на тестовых данных 35
4.2. Анализ результатов профилирования 36
4.3. Вывод 38
ЗАКЛЮЧЕНИЕ 39
СПИСОК ЛИТЕРАТУРЫ И ИСТОЧНИКОВ 40
ПРИЛОЖЕНИЕ. Рекомендуемые статьи из документации OpenCV 43
В последнее время можно отметить огромный скачок в развитии портативных устройств. Так, например, появление цифровых фото и видео камер привело к популяризации сообщества любителей фотографии, а оснащение мобильных телефонов камерами высокого разрешения только подкрепило этот успех.
В то же время устройства хранения данных не стоят на месте и развиваются огромными темпами. Если в 1970-х годах в качестве накопителя активно использовались магнитные дискеты, то в начале 2000-х появились накопители с флеш-памятью, которые по размерам намного меньше, а по техническим характеристикам превосходят дискеты в несколько десятков раз.
Исследователи и инженеры каждый год разрабатывают новые и улучшают свои старые технологии и устройства, а компании-производители делают их доступными для широкой аудитории. Удешевление и доступность устройств видеозаписи привело к тому, что люди всё чаще и чаще стали фиксировать различные моменты из своей жизни. Будь это какой-то концерт любимой группы или какое-нибудь спортивное мероприятие, будь это путешествие на другой континент или же какое-то необычное событие. В современном обществе всё чаще проявляется тенденция на активное использование социальных сетей, упрощающих процесс хранения и обмена информацией, что также подтверждает статистика загрузки видео файлов на крупнейшие видеохостинги [1].
Всё это привело к тому, что каждый день различные устройства в совокупности порождают сотни терабайт, а то и больше, цифровой информации. Разумеется, чтобы обеспечить возможность эффективного просмотра или поиска данных, нужно использовать специальные инструменты. На помощь нам приходят информационный поиск, базы данных, машинное обучение и компьютерное зрение.
С каждым годом системы компьютерного зрения постепенно внедряются в различные области: начиная с промышленности и заканчивая повседневной жизнью. Основными задачами таких систем являются: анализ и обработка изображений или видео, а также слежение за объектами, их поиск и распознавание. Например, уже с 1970 года задача поиска изображений по содержанию является актуальным направлением исследований [2, 3]. Разумеется, задачи такого класса влекут за собой не только сложность разработки методов решения, но и сложность разработки способа оценивания качества конечных решений [3].
Перед человеком возникает вполне очевидная проблема: для усвоения большого количества цифровой информации может потребоваться огромное количество времени. Можно утверждать, что актуальность данной проблемы подтверждается стремительным ростом цифровой информации и необходимостью в быстрой и качественной её обработке. Следовательно, встаёт вопрос, а что, если бы появилась такая система, которая бы позволила пользователю перемещаться среди элементов коллекции видео?
На сегодняшний день для разработки программного обеспечения наиболее популярной библиотекой компьютерного зрения, в которой реализовано огромное количество популярных алгоритмов, является Open Source Computer Vision Library (OpenCV). Эта библиотека с открытым исходным кодом и распространяется под лицензией BSD, что позволяет использовать её в коммерческих проектах. OpenCV включает в себя огромное количество разных инструментов для работы с изображениями и видео, помимо этого она ещё является и кроссплатформенной. Несомненным плюсом является то, что присутствует поддержка графических процессоров.
Далее в данной работе будет рассмотрен один из способов решения проблемы, конечным результатом которого является прототип программного обеспечения, выполненный с использованием библиотеки OpenCV.
ЦЕЛИ, ЗАДАЧИ И ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ
Основной целью данной работы является повышение эффективности восприятия большого количества цифровой информации и сокращения времени на её визуальный анализ.
Для эффективного восприятия цифровой информации предлагается сформировать виртуальный видеопоток, который позволил бы конечному пользователю перемещаться среди коллекции видео в любой момент времени. Это позволит не только просматривать объекты с разных ракурсов, но и сократить общее время на визуальную обработку. Для достижения поставленной цели предлагается решить задачу проектирования и разработки прототипа программы для создания и работы с виртуальным видеопотоком среди некоторой коллекции видео.
Задача разработки прототипа программы должна обязательно включать в себя решение и других задач, таких как:
• Тестирование алгоритмов поиска ключевых точек;
• Разбор метода использования индексной базы коллекции видео;
• Разбор методик фильтрации плохих пар ключевых точек;
• Разбор метода формирования общего кадра на основе кадров с областью пересечения.
Рассмотренная в данной работе система может использоваться как в важных инфраструктурах, так и в развлекательных проектах. Она может стать частью как офлайновых систем, так и онлайновых сервисов, а в частности:
• Социальные сети с поддержкой видео (с поиском по тегам);
• Видеохостинги;
• Системы хранения информации — архивы.
Область применения подобного программного обеспечения очень широкая, начиная с бытовой сферы и заканчивая промышленностью, особенно можно выделить следующие:
• Критические инфраструктуры (для обеспечения безопасности прилегающей территории);
• Аэропорты, железнодорожные станции, порты (для наблюдения за рабочим процессом);
• Популярные места в городах (для обеспечения порядка в общественных местах, либо для обнаружения нарушителей);
• В супермаркетах и гипермаркетах (для борьбы с нечестными покупателями);
• В спорте и киберспорте (для более наглядной визуализации).
В то же время устройства хранения данных не стоят на месте и развиваются огромными темпами. Если в 1970-х годах в качестве накопителя активно использовались магнитные дискеты, то в начале 2000-х появились накопители с флеш-памятью, которые по размерам намного меньше, а по техническим характеристикам превосходят дискеты в несколько десятков раз.
Исследователи и инженеры каждый год разрабатывают новые и улучшают свои старые технологии и устройства, а компании-производители делают их доступными для широкой аудитории. Удешевление и доступность устройств видеозаписи привело к тому, что люди всё чаще и чаще стали фиксировать различные моменты из своей жизни. Будь это какой-то концерт любимой группы или какое-нибудь спортивное мероприятие, будь это путешествие на другой континент или же какое-то необычное событие. В современном обществе всё чаще проявляется тенденция на активное использование социальных сетей, упрощающих процесс хранения и обмена информацией, что также подтверждает статистика загрузки видео файлов на крупнейшие видеохостинги [1].
Всё это привело к тому, что каждый день различные устройства в совокупности порождают сотни терабайт, а то и больше, цифровой информации. Разумеется, чтобы обеспечить возможность эффективного просмотра или поиска данных, нужно использовать специальные инструменты. На помощь нам приходят информационный поиск, базы данных, машинное обучение и компьютерное зрение.
С каждым годом системы компьютерного зрения постепенно внедряются в различные области: начиная с промышленности и заканчивая повседневной жизнью. Основными задачами таких систем являются: анализ и обработка изображений или видео, а также слежение за объектами, их поиск и распознавание. Например, уже с 1970 года задача поиска изображений по содержанию является актуальным направлением исследований [2, 3]. Разумеется, задачи такого класса влекут за собой не только сложность разработки методов решения, но и сложность разработки способа оценивания качества конечных решений [3].
Перед человеком возникает вполне очевидная проблема: для усвоения большого количества цифровой информации может потребоваться огромное количество времени. Можно утверждать, что актуальность данной проблемы подтверждается стремительным ростом цифровой информации и необходимостью в быстрой и качественной её обработке. Следовательно, встаёт вопрос, а что, если бы появилась такая система, которая бы позволила пользователю перемещаться среди элементов коллекции видео?
На сегодняшний день для разработки программного обеспечения наиболее популярной библиотекой компьютерного зрения, в которой реализовано огромное количество популярных алгоритмов, является Open Source Computer Vision Library (OpenCV). Эта библиотека с открытым исходным кодом и распространяется под лицензией BSD, что позволяет использовать её в коммерческих проектах. OpenCV включает в себя огромное количество разных инструментов для работы с изображениями и видео, помимо этого она ещё является и кроссплатформенной. Несомненным плюсом является то, что присутствует поддержка графических процессоров.
Далее в данной работе будет рассмотрен один из способов решения проблемы, конечным результатом которого является прототип программного обеспечения, выполненный с использованием библиотеки OpenCV.
ЦЕЛИ, ЗАДАЧИ И ВОЗМОЖНОСТИ ИСПОЛЬЗОВАНИЯ
Основной целью данной работы является повышение эффективности восприятия большого количества цифровой информации и сокращения времени на её визуальный анализ.
Для эффективного восприятия цифровой информации предлагается сформировать виртуальный видеопоток, который позволил бы конечному пользователю перемещаться среди коллекции видео в любой момент времени. Это позволит не только просматривать объекты с разных ракурсов, но и сократить общее время на визуальную обработку. Для достижения поставленной цели предлагается решить задачу проектирования и разработки прототипа программы для создания и работы с виртуальным видеопотоком среди некоторой коллекции видео.
Задача разработки прототипа программы должна обязательно включать в себя решение и других задач, таких как:
• Тестирование алгоритмов поиска ключевых точек;
• Разбор метода использования индексной базы коллекции видео;
• Разбор методик фильтрации плохих пар ключевых точек;
• Разбор метода формирования общего кадра на основе кадров с областью пересечения.
Рассмотренная в данной работе система может использоваться как в важных инфраструктурах, так и в развлекательных проектах. Она может стать частью как офлайновых систем, так и онлайновых сервисов, а в частности:
• Социальные сети с поддержкой видео (с поиском по тегам);
• Видеохостинги;
• Системы хранения информации — архивы.
Область применения подобного программного обеспечения очень широкая, начиная с бытовой сферы и заканчивая промышленностью, особенно можно выделить следующие:
• Критические инфраструктуры (для обеспечения безопасности прилегающей территории);
• Аэропорты, железнодорожные станции, порты (для наблюдения за рабочим процессом);
• Популярные места в городах (для обеспечения порядка в общественных местах, либо для обнаружения нарушителей);
• В супермаркетах и гипермаркетах (для борьбы с нечестными покупателями);
• В спорте и киберспорте (для более наглядной визуализации).
С одной стороны, нельзя сказать, что поставленная цель была достигнута, поскольку для такого утверждения необходимо не только иметь конечный программный продукт, но он ещё должен пройти проверку временем. С другой стороны, можно твёрдо заявить, что существуют средства и методы, позволяющие достигнуть цели без высоких затрат на приобретение дорогостоящего оборудования и ПО.
В данной работке в качестве основных ключевых моментов можно выделить следующее:
• После изученных публикаций было выбрано два алгоритма, которые создают описание особых точек. Каждый из них был протестирован на скорость поиска и описания ключевых точек;
• Для уменьшения нагрузки при работе программы в реальном времени было решено использовать файлы со специальной структурой. Каждый такой файл содержит информацию о дескрипторах и ключевых точек каждого кадра;
• Методы сопоставления особых точек нередко показывают большое количество плохих пар, поэтому существует необходимость в их фильтрации;
• Для формирования виртуального потока используется синтезирование общих кадров, которые объединены по некоторой области пересечения.
Решение задач при стремлении достигнуть цель, позволило улучшить список требований, обнаружить ряд проблем и, главное, получить бесценный опыт решения столь сложных задач.
В данной работке в качестве основных ключевых моментов можно выделить следующее:
• После изученных публикаций было выбрано два алгоритма, которые создают описание особых точек. Каждый из них был протестирован на скорость поиска и описания ключевых точек;
• Для уменьшения нагрузки при работе программы в реальном времени было решено использовать файлы со специальной структурой. Каждый такой файл содержит информацию о дескрипторах и ключевых точек каждого кадра;
• Методы сопоставления особых точек нередко показывают большое количество плохих пар, поэтому существует необходимость в их фильтрации;
• Для формирования виртуального потока используется синтезирование общих кадров, которые объединены по некоторой области пересечения.
Решение задач при стремлении достигнуть цель, позволило улучшить список требований, обнаружить ряд проблем и, главное, получить бесценный опыт решения столь сложных задач.
Подобные работы
- Формирование виртуального видеопотока
на основе кадров из смежных по точке съёмки
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 4750 р. Год сдачи: 2016