Введение 3
1. Источник данных: изображения и тексты в журнале
«Курьер ЮНЕСКО» 7
1.1 История создания журнала «Курьер ЮНЕСКО» 7
1.2 Многоплановость изображений в журнале «Курьере ЮНЕСКО» 13
1.3 Мультимодальный анализ: исследование взаимодействия изображений и
текстов 15
2. Анализ и извлечение изображений компьютерными способами 17
3. Методология процесса извлечения изображений и текста из журналов
«Курьер ЮНЕСКО» и последующая их группировка 21
3.1 Создание датасетов и выбор библиотек для анализа 21
3.2 Этапы создания алгоритма 23
4. Результаты исследования 34
4.1 Сравнение созданного алгоритма с другими методами 34
4.2 Неуниверсальность извлечения изображений в рамках нашего метода .... 38
4.3 Классификация стилистических особенностей оформления в журналах и
как с ними справляется компьютерное зрение 42
4.4 Сравнение результатов исследования с предшествующими работами 47
Заключение 49
Список использованных источников 51
Приложение А 51
Долгое время компьютерный анализ текста являлся наиболее актуальным и важным направлением исследований в цифровых гуманитарных науках. Ученые добились значительных результатов в компьютерном анализе текста. Появились такие технологии как OCR (оптическое распознавание текста), тематическое моделирование, поиск именованных сущностей и другие. Тем не менее ученые, концентрируясь на тексте, упускают огромное значение визуальных форм репрезентации. За последние 10 лет быстрое развитие технологий компьютерного зрения позволило цифровым гуманитариям заниматься изучением изображений. Стали использоваться нейронные сети для выявления тенденций в больших коллекциях изображений [1], что позволило говорить о дальнем чтении для визуальных форм.
Однако, изучение текстов и изображений в исторических документах, таких как газета, журнал, книга, не может быть изучено отдельно, т.е. как только визуальное или только текстовое представление. Французский семиотик Ролан Барт уже в 1961 году заметил, что фотография не существует в изоляции, она всегда связана по меньшей мере с одной другой структурой, а именно - с текстом [2]. Поэтому следующий этап цифровых гуманитарных исследований - это совместное изучение текстов и изображений.
Для исследований, где будет изучаться текст и изображения совместно, требуется подготовка: извлечение текстовой и визуальной части объекта исследования. В данной работе извлекается визуальная и текстовая часть журнала «Курьер ЮНЕСКО».
«Курьер ЮНЕСКО» - это журнал, выпускаемый с 1948 г. по наши дни, созданный Организацией Объединенных Наций для образования, науки и культуры (ЮНЕСКО), основной задачей которого является информирование общественности о важных событиях в области образования, науки, культуры и коммуникаций. Исследование материалов журнала, особенно сочетание изучения как визуальной части журнала, так и текстовой, дает возможность получить целостную картину, как и предполагает классическая гуманитарная традиция. Однако возникает вопрос, как получить текст и изображения из журналов так, чтобы была возможность изучать их совместно, а также быть уверенными в том, что в данных нет пропусков? Получение текста не является само по себе сложной задачей, но можем ли мы получить изображения быстрым способом и сразу перейти к анализу?
В этой работе мы утверждаем, что извлечение изображений из сложных исторических документов, таких как журнал «Курьер ЮНЕСКО», неуниверсальная и трудная задача, требующая создания собственного метода, настроенного конкретно под объект исследования.
Выпускная квалификационная работа посвящена разделению текста и изображений на примере журнала «Курьер ЮНЕСКО».
Достоверность результатов, полученных в ходе научного исследования, обусловлена большим набором данных, точностью создания выборки, сочетанием разных способов извлечения изображений, сравнением результатов с результатами работы других алгоритмов...
В этой работе был создан алгоритм для извлечения изображений и текстовых блоков из журналов «Курьер ЮНЕСКО». Кроме того, программа группирует изображения и тексты для мультимодального анализа. Алгоритм представляет собой комбинацию из инструментов библиотеки компьютерного зрения OpenCV, нейронной сети, созданной с помощью Fast.Ai и других вспомогательных библиотек: PyPDF2, PyMuPDF и PIL. Такой подход позволил достичь максимальной точности извлечения изображений (97% Accuracy), что и представляло основную сложность. Созданный алгоритм учитывает особенности журналов «Курьер ЮНЕСКО», например, то, что текст располагается на цветных подложках, которые можно было бы принять за изображения. Разработанный подход дает возможность успешно отделить сложные случаи оформления текстовых блоков и не включать их в результат извлечения изображений. При этом работа демонстрирует, что инструменты платформы Transcribus, программа PDF24 Tools, т.е. более универсальные способы, не справляются с извлечением изображений из исторических документов («Курьер ЮНЕСКО»), и дают не более 41% точности (Accuracy).
Не менее важно и то, что работа показывает неуниверсальность задачи извлечения изображений не только с помощью «ненастроенных» методов, но и в рамках созданного алгоритма. Эксперимент, где были взяты изображения на похожих серых подложках, показал, что настроить алгоритм для одной из таких картинок, не значит настроить для всех таких случаев. Это показывает, что задача извлечения изображений все еще является сложным и важным этапом подготовки к мультимодальному анализу.
Анализ работ в области изучения изображений показал, что этапу извлечения изображений отводится мало внимания. Однако процент извлеченных изображений является ключевой информацией для того, чтобы определить возможность проведения исследований, формулирования выводов и гипотез, на основе предоставленных данных. Благодаря этому станет возможно осуществить анализ изображений и их сопоставление с текстовыми данными.
Код программы: https://github.com/Alina-meow/courier
