Введение 3
Обзор существующих решений 4
Постановка задачи 4
Обзор литературы 5
Глава 1. Общий подход к решению 7
Глава 2. Описание архитектуры 8
2.1. Свёрточная нейронная сеть 8
2.2. Рекуррентная нейронная сеть 10
2.3. Encoder-decoder архитектура 14
2.4. Механизм Attention 15
Глава 3. Обзор моделей 16
3.1. WYGIWYS 16
3.2. SAT 17
3.3. Im2Latex 17
Глава 4. Данные 19
Глава 5. Обучение и результаты 22
Глава 6. Программная реализация 25
Заключение 26
Список литературы 27
Задача распознавания символов (англ. optical character recognition, OCR) хорошо изучена и является очень важной составляющей любого проекта, который занимается автоматизацией документооборота или внедрения безбумажных технологий.
Распознавание применяется для преобразования документов различных форматов в текстовое представление. Такое представление позволяет осуществлять редактирование, поиск выражений, слов или фраз, хранить документ в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту форматирование или преобразовывать текст в речь.
Отдельной важной подзадачей символьного распознавания документов является распознавание математических формул. Её важность и актуальность обусловлена тем, что большое количество уже существующих научных заметок, статей и книг содержат сложные математические конструкции, формулы и выражения, а доступ к текстовым вариантам таких изданий по тем или иным причинам оказывается затруднен.
Процесс распознавания математических выражений является более сложным процессом, нежели распознавание текста. Текст является одномерной последовательностью символов, математическая формула — двумерная конструкция. Текст может содержать только буквы или цифры, в математической формуле количество допустимых к использованию символов неограничено. В тексте отдельно взятые символы не имеют смысла (за исключением акронимов), а семантической единицей является слово, т.е. последовательный набор символов. В математической формуле каждый символ имеет свой смысл. Более того, один и тот же символ в разных контекстах может иметь разный смысл [1], [2].
В случае с математическими выражениями помимо распознавания непосредственно математического символа необходимо также уметь распознавать структуру всей формулы, а разбор неточностей осложняется тем фактом, что в языке математики отсутствует единый, универсальный словарь.
Исходя из перечисленных выше отличий, можно прийти к выводу о том, что задачи распознавания текстов и задачи распознавания математических формул должны иметь несколько разные подходы к решению.
В работе изучена проблема распознавания математических выражений на изображениях. Были рассмотрены различные подходы для выделения и распознавания формул в тексте. В конечном счете был выбран end-to- end подход, использующий глубокие сети. Был подготовлен набор данных из пар корректных формул - изображений. Были рассмотрены различные модели глубоких сетей, две из них были обучены на подготовленных данных. Написана программа с пользовательским интерфейсом, позволяющая обработать входные изображения и выгрузить результат в .csv файл.
Модели показали очень хорошие результаты на подготовленном наборе данных. Тем не менее, как было отмечено в Главе 5, модели оказались крайне чувствительны к различным отклонениям характера данных: изменение разрешения, шрифта, добавление шумов резко снижает качество распознавания. Впрочем, такое поведение моделей нейронных сетей, обученных на однородных данных, ожидаемо, и если не выходить за установленные рамки, программой можно успешно пользоваться. В противном же случае система нуждается в доработке.
