Введение 3
1. Анализ предметной области 5
1.1 Изучение предметной области машинного обучения и метода
рекуррентных нейронных сетей 5
1.2 Анализ существующих подходов к автоматическому исправлению
грамматических ошибок 8
2. Концептуальные основы машинного обучения методом рекуррентных
нейронных сетей 12
2.1 Нейронные сети 12
2.2 Формальное описание метода 14
3. Экспериментальная реализация алгоритма 17
3.1 Технологии для реализации метода рекуррентных нейронных сетей 17
3.2 Обучающее и тестовое множества 17
3.3 Этап машинного обучения 22
4. Тестирование по результатам обучения 27
4.1 Экспериментальная оценка результатов обучения 27
4.2 Целевой оценочный тест реализации алгоритма 31
Список использованных источников 34
Язык лежит в основе культуры человека, он необходим нашему обществу и выполняет функции коммуникации, когнитивности и аккумулятивности. Так же важна и письменная речь, с помощью которой мы общаемся, передаем и получаем знания, обеспечиваем взаимопонимание в обществе и развитие индивида и человечества в целом. В современном цифровом веке количество письменной информации растет с неимоверной скоростью. Однако является естественным, при формулировке мыслей человеком допускаются ошибки. Они могут быть незначительными опечатками (орфографические ошибки), но возможны и более серьезные недочеты, искажающие смысл текста. Это и приводит к актуальности проблемы автоматизации поиска и исправления грамматических ошибок.
Без сомнения на данный момент существует большое количество готовых решений, таких как LanguageTool и ОРФО. Некоторые из них с самого начала существования ориентировались на русский язык, некоторые модифицированы для работы с ним, однако ни одна система не будет представлять идеальный результат. В упомянутых сервисах имеются проблемы, связанные с границами предложений, недостаточный словарь, некоторая путаница с прилагательными и не предназначенность для научного стиля речи в силу многочисленных терминов и неологизмов. При этом нельзя отрицать, что они достигли высоких достижений.
Данные результаты в области обработки естественного языка получены методами машинного обучения, в частности рекуррентные нейронными сетями. Популярные в настоящее время, рекуррентные нейронные сети отличаются от других подходов тем, что могут использовать информацию, обработанную на предыдущих шагах. С помощью этого рекуррентные нейронные сети смогут решить некоторые проблемы, встреченные у рассмотренных сервисов, например, связанные с границами предложений. Они уже показали более успешные по сравнению с альтернативными
подходами результаты в таких задачах, как распознавание речи, компьютерное зрение, машинный перевод и др.
Таким образом, актуальной является разработка системы исправления грамматических ошибок с использованием такой технологии машинного обучения, как рекуррентные нейронные сети.
Цель данной работы — исследовать возможность реализации алгоритма, направленного на поиск и исправление грамматических ошибок в тексте, при помощи методов машинного обучения, а именно с использованием рекуррентные нейронные сети.
Для этого необходимо решить данные задачи:
• провести анализ существующих на данный момент решений проблемы автоматической коррекции грамматических ошибок и метода рекуррентных нейронных сетей
• провести поиск существующих технологий и библиотек для реализации рекуррентных нейронных сетей, выбрать подходящую
• подготовить обучающий и тестовый набор текстов с грамматическими ошибками и без для работы выбранной технологии
• провести обучение на полученных текстах и провести эксперименты с тестовыми данными для выявления качества алгоритма
Информация всегда играла большую роль как в жизни отдельных людей, так и общества в целом. Любой аспект современного мира опирается на большие объемы информации. Люди в современной мире зависят от наличия достоверных данных, способных помочь в проблемах и передающих им знания. Большинство информации в наш цифровой век передается, хранится и представляется письменно. Это влечет за собой неизбежные ошибки, способные повлиять на смысл текста.
В ходе работы были изучены существующие подходы к исправлению грамматических ошибок и инструменты для их реализации. Были выявлены недостатки и особенности используемых для задачи решений. После исследования и выбора подходящего метода, которым стало обучение последовательность к последовательности, были подготовлены обучающее и тестовое множества на основе романов художественной литературы объемом 30 000 предложений. С их помощью успешно было произведено обучение рекуррентных нейронных сетей с использованием LSTM-модулей на основе инструмента keras для языка программирования Python.
В результате был получен алгоритм автоматического исправления грамматических ошибок. Система показывает точность в 74%, тем не менее было замечено, что алгоритм не справляется с предложениями, длиной более 80 символов. Это связано с большим объемом данным, обрабатываемым сетью при работе с каждым словом.
Для решения этой проблемы в дальнейшем процессе работы над рассматриваемой задачей можно использовать механизм внимания, который помогает нейронной сети рассматривать предложение не целиком, а фокусироваться только на важных для текущего токена элементах.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
