Тема: Сегментация математических выражений

Задача распознавания символов (англ. optical character recognition, OCR) хорошо изучена и является очень важной составляющей любого про­екта, который занимается автоматизацией документооборота или внедре­ния безбумажных технологий.
Распознавание применяется для преобразования документов различ­ных форматов в текстовое представление. Такое представление позволяет осуществлять редактирование, поиск выражений, слов или фраз, хранить документ в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также приме­нять к тексту форматирование или преобразовывать текст в речь.
Отдельной важной подзадачей символьного распознавания докумен­тов является распознавание математических формул. Её важность и ак­туальность обусловлена тем, что большое количество уже существующих научных заметок, статей и книг содержат сложные математические кон­струкции, формулы и выражения, а доступ к текстовым вариантам таких изданий по тем или иным причинам оказывается затруднен.
Процесс распознавания математических выражений является более сложным процессом, нежели распознавание текста. Текст является одно­мерной последовательностью символов, математическая формула — дву­мерная конструкция. Текст может содержать только буквы или цифры, в математической формуле количество допустимых к использованию сим­волов неограничено. В тексте отдельно взятые символы не имеют смысла (за исключением акронимов), а семантической единицей является слово, т.е. последовательный набор символов. В математической формуле каж­дый символ имеет свой смысл. Более того, один и тот же символ в разных контекстах может иметь разный смысл [1], [2].
В случае с математическими выражениями помимо распознавания непосредственно математического символа необходимо также уметь распо­знавать структуру всей формулы, а разбор неточностей осложняется тем фактом, что в языке математики отсутствует единый, универсальный сло­варь.
Исходя из перечисленных выше отличий, можно прийти к выводу о том, что задачи распознавания текстов и задачи распознавания математи­ческих формул должны иметь несколько разные подходы к решению.
Купить

В работе изучена проблема распознавания математических выраже­ний на изображениях. Были рассмотрены различные подходы для выделе­ния и распознавания формул в тексте. В конечном счете был выбран end-to- end подход, использующий глубокие сети. Был подготовлен набор данных из пар корректных формул - изображений. Были рассмотрены различные модели глубоких сетей, две из них были обучены на подготовленных дан­ных. Написана программа с пользовательским интерфейсом, позволяющая обработать входные изображения и выгрузить результат в .csv файл.
Модели показали очень хорошие результаты на подготовленном на­боре данных. Тем не менее, как было отмечено в Главе 5, модели оказались крайне чувствительны к различным отклонениям характера данных: из­менение разрешения, шрифта, добавление шумов резко снижает качество распознавания. Впрочем, такое поведение моделей нейронных сетей, обу­ченных на однородных данных, ожидаемо, и если не выходить за установ­ленные рамки, программой можно успешно пользоваться. В противном же случае система нуждается в доработке.
Купить