Введение 5
1 Анализ проблемы совмещения видеопотоков 6
2 Применение методов машинного обучения для поиска общих
паттернов двух кадров разных видеопотоков 9
2.1 Методы синхронизации видеопотоков 9
2.2 Методы наложения изображений 10
2.3 Методы поиска общих паттернов между двумя изображениями 13
2.4 Процесс совмещения кадров 23
3 Программная реализация модуля для совмещения нескольких
видеопотоков в общий поток 28
3.1 Подготовка данных 28
3.2 Средства разработки программного обеспечения 28
3.3 Структура программы 32
3.4 Графический интерфейс программы 33
3.5 Результаты тестирования программного модуля 34
Заключение 37
Список используемой литературы 38
С каждым годом появляется все больше сфер человеческой деятельности, в которых машинное обучение находит свое применение. Как пример, для управления крупногабаритным транспортом необходим особый контроль за слепыми зонами при вождении.
Это удобный инструмент, облегчающий процесс рутинной разработки тяжеловесных программ, задачей которых является решение сложных узконаправленных задач. Алгоритмы анализа изображений, например, ежедневно помогают не только самим программистам, облегчая их работу, но и обычным людям, предлагая им дешевый и доступный продукт. Многие компании вкладывают огромные суммы денег в разработку нового программного обеспечения, основанного на моделях машинного обучения, и эти инвестиции приносят прибыль этим субъектам. Именно поэтому область разработки с элементами систем искусственного интеллекта остается актуальной.
В данной бакалаврской работе исследуются способы совмещения нескольких видеопотоков в единый видеопоток на основе методов машинного обучения, а объектом исследования являются алгоритмы для выполнения операции склейки кадров и синхронизации видеопотоков.
Цель работы - разработка программы, которая позволяла бы совмещать несколько видеопотоков в один.
На языке программирования Python разработан программный модуль, который демонстрирует возможности методологий машинного обучения при решении задачи совмещения двух подвижных изображений. Работа программы была протестирована на различных видеорядах и изображениях.
В ходе выполнения выпускной квалификационной работы были получены следующие результаты:
— Был проведен анализ методов машинного обучения и выбрана основная модель для решения поставленной задачи.
— В ходе выполнения работы был изучен и представлен материал об основных методах наложения изображений друг на друга.
— В ходе анализа теоретических материалов выяснилось, что при решении задачи поиска общих паттернов на изображениях наиболее эффективными являются сверточные нейронные сети.
— Синхронизация двух видеопотоков достигалась за счет анализа звуковой дорожки двух видеофайлов и последующим поиском общих паттернов в выделенных сигнатурах.
— Основным методом наложения кадров видеопотоков друг на друга выбран поиск разницы по темнейшему или светлейшему пикселю, поскольку данный метод позволяет выполнить наложение с меньшими визуальными искажениями.
— Был разработан программный модуль на языке программирования Python, позволяющий производить склейку нескольких видеопотоков в один поток с использованием методов машинного обучения, а в частности с применением сверточной нейронной сети.
— Программный модуль был протестирован на базе нескольких входных видеопотоках и изображений. Результаты тестирования считаются положительными, что доказывает эффективность применения нейронных сетей в решении проблемы совмещения видеопотоков
1. Власов А.В. Машинное обучение применительно к задаче классификации семян зерновых культур в видеопотоке / А.В. Власов, А.С. Федеев // Молодежь и современные информационные технологии
- сборник трудов XIV Международной научно-практической конференции студентов, аспирантов и молодых учёных, 07-11 ноября 2016. - Национальный исследовательский Томский политехнический университет (Томск), 2016. - с. 133-135. - Текст : непосредственный.
2. Негру А. С. Увеличение разрешения изображений с использованием нейронных сетей // Издательство: Тольяттинский государственный университет, Институт математики, физики и информационных технологий, Кафедра Прикладная математика и информатика, 2020. - с. 40. - Текст: непосредственный.
3. Дорогов А.Ю. Нейронные сети глубокого обучения с управляемой
коммутацией нейронных плоскостей / А.Ю. Дорогов // Дистанционные образовательные технологии: Материалы IV Всероссийской научно-практической конференции (с международным участием), 2019. -
Издательство: Общество с ограниченной ответственностью
«Издательство Типография «Ариал» (Симферополь), 2019. - с. 284-296.
- Текст : непосредственный.
4. Хачумов М.В. О выборе метрики для решения задач классификации и кластеризации. - Материалы Первой всероссийской научной конференции с международным участием (SASM-2011) «Системный анализ и семиотическое моделирование» (Казань, 24-28 февраля 2011г.) - Казань: Издательство «Фэн» Академии наук РТ, 2011, с.255¬260 - Текст : непосредственный.
5. Жуков, Д.А. Формирование контрольных выборок при технической диагностике объекта с применением машинного обучения / Д.А. Жуков, А.С. Хорева, Ю.Е. Кувайскова, В.Н. Клячкин // Математические методы и модели: теория, приложения и роль в образовании - международная научно-техническая конференция : сборник научных трудов, 28-30 апреля 2016 года. - Ульяновский государственный технический университет (Ульяновск), 2016. - с. 44¬48. - Текст : непосредственный.
6. Оппенгейм А.В. Цифровая обработка сигналов / Оппенгейм А.В., Шафер Р.В., Шац С.Я. // 1979. - Издательство: Связь, Москва 2018. - с. 416. - Текст : непосредственный.
7. Урубкин, М.Ю. Нейронные сети Кохонена и нечеткие нейронные сети
в интеллектуальном анализе данных / М.Ю. Урубкин, А.В. Авакьянц // Совершенствование методологии познания в целях развития науки: сборник статей по итогам Международной научно-практической конференции: в 2 частях. 2017. - Издательство: Общество с
ограниченной ответственностью "Агентство международных исследований" (Уфа), 2017. - с. 36-39. - Текст : непосредственный.
8. Якимчук, А.А. Глубокое обучение как эффективный метод машинного обучения / А.А. Якимчук // Научное сообщество студентов XXI столетия. Технические науки - сборник статей по материалам XCII студенческой международной научно-практической конференции. 2020. - ООО “Сибирская академическая книга” (Новосибирск), 2020. - с. 40-43. - Текст : непосредственный.
9. Крылов, А.С. Регуляризирующие методы интерполяции изображений / А.С.Крылов, А.В.Насонов. - М : АРГАМАК-МЕДИА, 2014. - 100 с. - Текст : непосредственный.
10. Насонов А.В. Развитие методов повышения качества изображений лиц в видеопотоке / А.В. Насонов, А.С. Крылов, О.С. Ушмаев // Информатика и ее применения, 2009. - Т. 3, Вып. 1. - С.19-28. - Текст : непосредственный.
11. Кандидов В.П. Дискретное преобразование Фурье / В.П. Кандидов, С.С. Чесноков, С.А. Шленов // Учебно-методическое пособие, 2019. - Москва: физический факультет МГУ, С.88. - Текст: непосредственный.
12. Rashid T. Make Your Own Neural Network // Publisher - CreateSpace Independent Publishing Platform; 1st edition, 2016, 222 pages - Text: direct.
13. Sebastian R. Python Machine Learning/ Sebastian Raschka, Vahid Mirjalili // 2019. Publisher - Packt Publishing, 2019. - Text : direct.
14. Geron A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. // Publisher - O'Reilly Media; 2nd edition, 2019. 856 pages. Text: direct.
15. Gerardus B. Processing Image Recognition Standard Requirements //
Publisher - 5STARCooks, 2022, Proceedings, pp. 309. - Текст :
непосредственный.
16. Szeliski R. Computer Vision: Algorithms and Applications // Publisher : Springer; 2011, pp. 832. - Текст : непосредственный.
17. Sassatelli L. User-Adaptive Editing for 360 degree Video Streaming with
Deep Reinforcement Learning / Lucile Sassatelli, Marco Winckler, Thomas Fisichella, Ramon Aparicio-Pardo // 27th ACM International Conference on Multimedia, Oct 2019, Nice, France. pp.2208-2210. - Текст :
непосредственный.
18. Wei Di. Deep Learning Essentials / Wei Di, Anurag Bhardwaj, Jianing Wei // 2018. - pp. 482-491. - Текст : непосредственный.
19. Sohee Park. Advancing User Quality of Experience in 360-Degree Video
Streaming With Machine Learning / Sohee Park, Arani Bhattacharya, Zhibo Yang // Published in: IEEE Transactions on Network and Service Management, March 2021. - pp. 1000 - 1015. - Текст :
непосредственный.
20. Ajay Divakaran. Video mining: pattern discovery versus pattern recognition
/ Ajay Divakaran, Kadir A. Peker, Fu Chang // Conference: Image Processing, 2004. ICIP '04. 2004 International. - pp. 34. - Текст :
непосредственный.
21. Francesco C. Machine Learning for Audio, Image and Video Analysis: Theory and Applications / Francesco Camastra, Alessandro Vinciarelli // Second Edition, Springer London Heidelberg, 2015 - pp. 559. - Текст : непосредственный.