Введение 3
Постановка задачи 6
Обзор существующих методов получения субтитров встроенных в видеопоток 8
Глава 1. Предварительная обработка изображений 12
1.1 Обнаружение краев 12
1.2 Статический региональный анализ 13
1.3 Обработка изображения 15
Глава 2.Обнаружение субтитров и распознавание текста 17
2.1 Анализ связанных областей 17
2.2 Создание временных меток 19
2.3 Распознавание текста 21
Экспериментальная процедура и результаты эксперимента 22
Выводы 25
Заключение 28
Список литературы 30
С быстрым развитием цифровых медиа видеоконтент стал одним из основных способов доступа людей к информации, развлечениям и обучению. Однако при просмотре видео иногда приходится сталкиваться с языковыми барьерами или ограниченным слухом, что делает субтитры все более важными. Субтитры не только дают зрителям возможность понять содержание видео, но и являются необходимым подспорьем для людей с нарушениями речи, слуха и обучающихся. Поэтому разработка методов извлечения субтитров имеет большое значение для улучшения доступности и понятности видео.
Однако большинство современных видео не поставляются с внешними файлами субтитров, а информация о субтитрах встраивается непосредственно в видеопоток. Извлечение таких встроенных субтитров является более сложной задачей, чем традиционное извлечение внешних файлов субтитров, поскольку они обычно сочетаются с видеоконтентом и могут зависеть от качества видео, стиля субтитров и языка субтитров. Поэтому разработка эффективного и точного алгоритма извлечения встроенных субтитров имеет большое практическое значение и представляет собой сложную задачу.
Целью данной работы является исследование и реализация метода извлечения встроенных субтитров на основе компьютерного зрения и методов оптического распознавания символов (OCR). Комбинируя методы обработки изображений и алгоритмы OCR, мы стремимся к автоматическому обнаружению, извлечению и преобразованию встроенных субтитров в видео для создания внешних файлов субтитров, которые впоследствии могут быть обработаны и проанализированы. Мы сосредоточимся на том, как эффективно работать со встроенными субтитрами различных типов и языков, а также изучим алгоритмы оптимизации для повышения точности и эффективности извлечения субтитров.
Данная диссертация организована следующим образом: сначала мы представим историю исследований и связанные с ними работы в области извлечения встроенных субтитров. Затем мы подробно опишем предложенный нами метод извлечения субтитров и детали его реализации. Далее мы представим экспериментальную схему и анализ результатов для оценки эффективности предложенного метода на различных наборах видеоданных. Наконец, мы подведем итоги исследования и обсудим будущие направления исследований и перспективы применения.
Проводя данное исследование, мы рассчитываем предложить новые идеи и методы для разработки методов извлечения встроенных субтитров, которые могут внести больший вклад в обеспечение доступности и понятности видеоконтента.
В данном исследовании представлено автоматизированное решение на основе компьютерного зрения и оптического распознавания символов (OCR) для извлечения встроенных субтитров из видеопотоков. Текст субтитров извлекается из различных фонов с помощью методов обработки изображений, использующих их свойства. Подход включает в себя выделение контрастных точек, анализ статических областей и метод "заливки" для очистки и бинаризации изображения. Экспериментальные результаты показывают, что алгоритм эффективно работает на различных фонах и в анимационных средах, повышая надежность и эффективность обработки программы.
С помощью анализа связанных компонент (CCA) мы решили проблему определения местоположения текста субтитров и символов, что позволяет не только точно определить местоположение текстовой области, но и обеспечить точные границы для распознавания OCR на уровне символов. Логические операции "и" над статичными областями значительно сокращают необходимость покадрового распознавания, ускоряя процесс и позволяя точно определить время показа субтитров. Эти шаги гарантируют, что обработанное изображение подходит для использования с TesseractOCR, что повышает точность и эффективность распознавания текста.
Алгоритм, предложенный в данной работе, имеет значительные преимущества в точности распознавания и скорости обработки по сравнению с традиционными методами (такими как videocr). Результаты экспериментов показывают, что точность распознавания алгоритма достигает 93,6 %, уровень утечки - 2 %, уровень артефактов - 3 %, в то время как соответствующие показатели videocr составляют 89,3 %, 4,7 % и 7 %, соответственно. Кроме того, алгоритм данной работы обрабатывает трехминутное видео примерно за три минуты, в то время как videocr - за двадцать минут.
В дальнейшей работе планируется оптимизировать алгоритм и протестировать его на более сложных и длинных видео, чтобы проверить его стабильность и надежность в различных сценариях применения в реальном мире. Ожидается, что с учетом этих оптимизаций и расширений алгоритм, предложенный в данной работе, станет эффективным и надежным решением в области обработки видео и извлечения субтитров, обеспечивая зрителям лучшие впечатления от просмотра видео и снижая нагрузку на ручную транскрибацию субтитров.
