Многие современные программные продукты в которых пользователь работает с текстом оснащены системами исправления опечаток. По мере того как пользователь набирает текст, система в режиме реального времени делает исправления, а иногда указывает на потенциальную ошибку и подсказывает возможный вариант верного написания слова. От качества системы исправления опечаток может зависеть удобство печатания для пользователя, а также различные функции конкретного программного продукта, например, качество поиска, если рассматривается текст вводимый в поисковую строку.
Качественная система исправления опечаток должна брать во внимание контекст, в котором употребляется то или иное слово, так как в зависимости от контекста корректными могут быть разные варианты написания. Кроме того, окружающий контекст может значительно помочь в детекции опечатки и поиске верного варианта исправления.
Большинство современных исследований систем исправления опечаток использует техники обработки естественного языка, главным образом применяющие нейронные сети [4] [6] [14] [5] [8], в то время как более классические подходы [1] [13] [11] основаны на редакционном расстоянии и словарях.
При разработке системы исправления опечаток важной характеристикой помимо качества исправлений является также скорость работы, потому как если не брать в расчет скорость, можно будет попробовать в качестве исправления абсолютно любое слово из словаря, и оценить какое лучше. Такой подход не применим на практике.
Существующие нейросетевые архитектуры содержащие в себе авторегрессионную часть, такие как трансформер с кодировщиком и декодировщиком, имеют потенциал справляться с исправлением опечаток лучше, чем модели без этой части, так как исправление опечаток содержит в себе этап генерации верного написания, который, в свою очередь, напрямую вписывается в авторегрессионную архитектуру.
В компании JetBrains существует система исправления опечаток, поставляемая вместе со всеми IDE, действующая на устройстве пользователя. Система применяется для исправления опечаток в комментариях, а также при работе с Markdown и другими текстовыми файлами. В силу ограничений по памяти, на системы которые можно поставлять в комплекте IDE, данная модель имеет недостаточно ресурсов, чтобы применять нейросетевые или иные подходы использующие контекст для исправления опечаток. С другой стороны, если развертывать модель на удаленном сервере, то ограничений по памяти будет на порядок меньше, а это, в свою очередь, позволит построить более сильную модель, которая может использовать тяжеловесные нейронные сети и качественно учитывать контекст.
Цель работы:
Создание новых методов исправления опечаток, которые превзошли бы по качеству существующие подходы. Предложенные методы должны учесть недостатки существующих методов, объединив в себе нейронные сети с авторегрессионной частью для использования информации про контекст, а также способы ускорения работы нейронных сетей, чтобы модель могла использоваться в режиме реального времени в IDE JetBrains.
Задачи работы:
• Анализ существующих методов исправления опечаток
• Исследование нейросетевых моделей исправления опечаток
• Ускорение модели для работы в режиме реального времени
• Оценка качества предложенных методов на существующих датасетах и сравнение с существующими моделями
В этой работе было исследовано несколько способов построения модели исправления опечаток. Было показано, что char-level модели существенно проигрывают token-level моделям на этой задаче. Кроме того, было обнаружено, что если явное указание модели на слова с опечатками, повышает качество исправлений. Лучшим из рассмотренных подходов оказался Sep-Mask-All BART fine-tune, который объединяет в себе идеи использования сильной предобученной языковой модели и указания модели на слова с ошибками через механизм маскирования. На основе лучшего подхода удалось предложить эффективную, ускоренную модель ранжирования кандидатов на исправление опечатки, которая интегрируется в IDE JetBrains.
На открытом датасете реальных опечаток BEA60k было установлено, что предложенный метод превосходит по качеству исправления ошибок открыто доступные существующие методы, тем самым доказывая, что авторегрессионная генерация исправления ошибки является эффективным подходом.
Полученные модели поддерживают использование через CLI. Модели, код обучения и датасеты доступны для публичного использования и выложены в отрытый доступ по адресу: https://github.com/melnikoff-oleg/spellchecker.
