Введение 2
Формулировка цели, постановка задачи 4
Обзор предыдущих исследований 5
Объект исследования 7
Классификация видео-лекций 7
Способы хранения презентаций 7
Сценарий работы продукта 8
Формирование требований 9
Предобработка изображения и работа с видеоматериалом 11
Фильтрация изображения 11
Бинаризация изображений 14
Детектор границ Canny 20
Перспективное преобразование 23
Сопоставления изображений 25
Перцептивный хэш 25
SIFT (Scale Invariant Feature Transform) 28
SURF (Speeded up robust features) 31
Оптическое распознавание символов 33
Реализация программного продукта 34
Тестирование программного продукта 37
Выводы 41
Заключение 42
Список литературы 44
Приложение 1. Сценарий использования программы 46
Приложение 2. Образцы видео, используемых для тестирования программы 47
Информационные технологии за последние десятилетия плотно вошли в нашу жизнь. Они облегчают рабочий процесс, а также вводят новые возможности. И сейчас одним из важных направлений является развитие человека. Человек развивается всю свою жизнь, от рождения до смерти. Одним из удобных методов изучения новой информации является дистанционное обучение, так как данный формат позволяет получать знания независимо от географических или физических возможностей.
История дистанционного образования насчитывает около 200 лет. Его прототипом стали почтовые отправления Исаака Питмана своим студентам, которых он обучал стенографии. Более серьезным шагом было создание отделения дистанционного обучения в университете Чикаго, которое вскоре распространилось на весь мир. В частности, оно широко применялось для обучения детей, которые не могли ходить в обычные школы. Один из созданных центров во Франции дошёл до наших дней и сейчас является крупнейшим учебным заведением дистанционного обучения в Европе. В СССР методика дистанционного обучения получила название - “консультационной” или же “заочной”.
В общем, дистанционное обучение продолжает развиваться с каждым днём. И это легко объяснимо, так как происходит развитие общества, что влечет за собой рост интернет аудитории. И, кроме того, растёт потребность человека к знаниям. Одним из важных факторов успешности дистанционного обучения является компьютерная грамотность пользователя. Учащиеся таких образовательных программ обязаны владеть навыками работы с электронной почтой, учебными системами и другим инструментарием. Однако не всегда у пользователя хватает навыков для разрешения всех трудностей.
Например, иногда требуется получить информацию из видео в более содержательном виде. Но, к сожалению, не все лекции позволяют это сделать без проблем. Первый недостаток заключается в том, что не всегда видео-лекции записываются на хорошее оборудование и порой авторам приходится дополнительно монтировать записанное видео - править, создавая на экране отдельную область с электронными слайдами. Другой недостаток - это отсутствие навигации. Например, бывает ситуация когда нужно попасть на определенный слайд, и в таком случае отсутствие навигации будет серьезным минусом, так как заставит человека потратить часть времени на поиск этого момента в видео-лекции. Еще одним недостатком служит отсутствие индексации видео, что порой может запутать пользователя, особенно когда тема популярна и её заголовок можно трактовать по-разному, например “Cache” СУБД и “Cache” CPU.
Для уменьшения количества таких ситуаций стоит разработать инструментарий, который поможет разрешить такие проблемы с минимальными людскими и временными затратами. Это позволит сделать обучение более эффективным.
Во время исследования были решены следующие подзадачи:
Проведен анализ предметной области, были рассмотрены ранние исследования, на основе которых было решено обратить внимание на метод сопоставления изображений SIFT и OCR системы. А также были классифицированы видео-лекции на три типа.
На основе анализа предметной области были сформулированы требования к программному продукту, рассмотрены варианты поведения программы при определенных типах видео-лекций, а также приведена общая концепция работы прототипа.
Были рассмотрены различные методы обработки изображений: фильтрация, бинаризация, сопоставление. Из методов фильтрации подробно описаны фильтры - усреднение и Гаусса. Рассмотрены методы адаптивной и пороговой бинаризации и на основании экспериментов предпочтение было отдано пороговой бинаризации. Описаны методы поиска краев на изображении на основе фильтров Робертса, Превитта и Собеля. На основе последнего был выбран детектор границ Canny. Из методов сопоставления изображений представлены SIFT, SURF, перцептивный хэш, на основе которых были выбраны способы сопоставлений изображений для определенных типов видео-лекций.
Разработан прототип на языке программирования Python совместно с библиотекой OpenCV, был реализован минимальный графический интерфейс для удобства работы.
Проведено тестирование, на основании которого можно сделать вывод о правильности подхода к решению поставленной задачи. Также произведено тестирование при распараллеливании вычислений, значительные результаты были получены только для SIFT алгоритма.
Таким образом, основная задача, поставленная в диссертации, а именно написание системы анализа видеоизображения с целью извлечения из него информации о видео-лекциях для возможной их синхронизации с электронными слайдами, а также для создания навигации по видео файлу, была полностью решена. Разработанный прототип и его исходный код могут свободно использоваться для обработки видео и для разработки более качественного программного обеспечения.
