АННОТАЦИЯ 3
ВВЕДЕНИЕ 3
1 Генеративные модели 4
1.1 Разновидности нейронных сетей 4
1.2 Генеративные модели 6
1.2.1 GPT-модели (Generative Pre-trained Transformer) 7
2 Transformer 10
2.1 Transformer - модель машинного обучения 10
2.1.1 Архитектура сети Transformer 10
2.1.2 Внутреннее внимание 13
2.2 Функции библиотеки Transformers 14
3 Грамматическая неопределённость в русском языке 15
4 Prompt-engineering 16
5 Анализ тестов 18
5.1 Скрипт 18
5.2 Тестирование 21
ЗАКЛЮЧЕНИЕ 34
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 35
Задача - определить способы снятия грамматических неопределённостей русского языка на основе анализа множественных результатов генеративной модели.
Грамматическая неопределенность является серьезной проблемой для обработки естественного языка, особенно для языков с богатой морфологией и синтаксической гибкостью, таких как русский. Это связано с тем, что одна и та же последовательность слов может иметь несколько грамматически корректных интерпретаций, что приводит к неоднозначности и ошибкам при автоматической обработке текста.
Снятие грамматической неопределенности имеет большое значение для различных NLP-приложений, включая машинный перевод, чат-боты, информационный поиск и извлечение информации из текста.
Развитие машинного обучение из года в год лишь ускоряется.
Генеративное моделирование - тип алгоритма машинного обучения, который способен изучать закономерности и зависимости во входных данных. Целью этих алгоритмов является генерация новых данных, которые похожи на исходные, но при этом отличаются уникальными и ранее невиданными характеристиками.
Генеративные модели способны генерировать несколько альтернативных вариантов грамматически корректных предложений для некоторой входной последовательности. Эти результаты можно использовать для статистического определения наиболее вероятной интерпретации, принимая во внимание контекст и другие лингвистические подсказки. Кроме того, в зависимости от входных данных альтернативы начинают приобретать те или иные признаки, то есть составление правильного промпта - важная часть исследования.
Грамматическая неопределённость - омонимия - русского языка оказалась сложной проблемой для обработки естественного языка, требующей внимательного изучения. Для корректной обработки данных была выбрана модель ruGPT, полностью повторяющая архитектуру GPT-2, но обученная на русскоязычных текстах.
Так как модели GPT в принципе не содержат в себе никакой грамматической информации, подход для определения падежей слов был построен на основе нового направления - prompt-engineering’а. Скрипт формировал несколько альтернативных предложений, основываясь на входных данных, которые подстраивались определённым образом, чтобы добиться на выходе получения числительного в необходимой для данного предложения форме.
Было опробовано несколько подходов, которые показывали себя по- разному. Наилучшим из них оказался подход формирования «проблемной» точки предложения в различных падежах - то есть числительное, форму которого необходимо было определить, подавалось перед предложением в разных падежах с привязанными словами для более точной формулировки.
В результате формировались альтернативы с прописной формой числительного, среди которых преобладала нужная форма этого числительного.
Иные подходы показывали себя либо сильно хуже, либо спорно и неустойчиво (формируя подходящие альтернативы в одних случаях и не формируя их в других).
