Тема: Распознавание внедренных субтитров в видео потоке

Человек может черпать информацию из различных источников, та¬ких как интернет, книги, общение с другими людьми, телевидение и т.д. Значительную часть человек может получать из различных видео файлов, начиная от фильмов (исторических, документальных, художественных) и заканчивая видеозаписями лекций. Последний из названных способов один из наиболее удобных, так как позволяет получать информацию удаленно. Однако не каждый пользователь способен воспринимать информацию из видеопотока ввиду различных причин. В таких случаях субтитры играют важную роль. Что такое субтитры и насколько они важны для человека?
Субтитры - это сопровождение видеоряда в виде текста на языке ори-гинала или в переводе. Важно различать субтитры и интертитры, ведь последние выполнялись в виде отдельных монтажных кадров и использо-вались чаще всего в немом кино, а субтитры накладываются поверх основ¬ного изображения, что усложняет их распознавание. В настоящее время субтитры играют огромную роль для людей, которые не владеют языком, используемым в видеопотоке и не могут воспринимать полноценно пере¬даваемую информацию. Также субтитры являются необходимостью для людей с частичным или полным нарушением слуха. Субтитры содержат в себе важную информацию, переводя в текстовый формат происходящее в видеопотоке, например реплики персонажей, надписи в кадре, какие-либо звуковые эффекты, а иногда и дополняя видео комментариями или форму¬лами. Также субтитры используются в случаях, когда приходится расшиф¬ровывать видеозапись с звуковыми дефектами или неразборчивой речью говорящего. Значительная часть научных докладов не всегда нуждается в сопровождении видеоряда и достаточно лишь изучить прилагаемые к ви¬деопотоку субтитры. Однако субтитры не всегда удобно воспринимать вви¬ду их большого количества в кадре или их быстрой смене. Таким образом процесс извлечения информации из видеопотока усложняется и становится более долгим и трудоемким.
Учитывая, что в последние годы значимость автоматизации процес¬сов выросла и имеет достаточно удачные результаты, решение данной про¬блемы становится более актуальным.
Распознавая внедренные в видеопоток субтитры, появляется возможность предоставить зрителю отдельно от видеопотока работать с текстом, проводить его анализ. Несмотря на то, что существуют эффективные методы отделения текста от различных документов и статей, сегментация и распознавание текста в видеопотоке проблема актуальная и нерешенная. Достижение цели усложняется тем, что в видеопотоке присутствует постоянно сменяющаяся неоднородная фоновая структура, надписи, не являющиеся частью субтитров. Также фактором, осложняющим решение задачи, является непосредственно работа с видеопотоком, а именно определение, есть ли в кадре субтитры, не совпадают ли полученные субтитры с ранее обработанными, дублируя извлеченную информацию. Задача становится актуальнее ввиду огромного количества информации, архивированной человеком.
Купить

В рамках данной работы были выполнены все поставленные задачи. Был определен метод работы с видеопотоком, позволяющий сократить количество обрабатываемых изображений. Также проведен анализ существующих методов сегментации, из которых впоследствии был выбран и реализован один. В процессе реализации алгоритма было обнаружено, что необходим дополнительный шаг с локализацией субтитров для наиболее точных результатов работы программы. Данный шаг так же был реализован с помощью метода связных компонент.
Также в ходе работы экспериментальным путем было обнаружено, что используя различные алгоритмы предобработки изображения, можно увеличить точность методов сегментации и локализации. Поэтому были использованы методы уменьшения шума на изображении и бинаризация.
Завершающим шагом работы программы является распознавание текста на изображениях, которые ранее были обработаны вышеупомянутыми методами. Построенный алгоритм был протестирован на нескольких видеозаписях с различными условиями и была построена таблица точности. В дальнейшем планируется модифицировать построенный алгоритм для улучшения его результатов.

Купить