Исследование и разработка метода эффективного представления проектного контекста для больших языковых моделей в задачах, применимых к исходным текстам на программных языках
Введение 3
Постановка задачи 4
1. Обзорный раздел по предметной области 5
1.1. Базовая модель 5
1.2. LoRA 5
1.3. Длинный контекст 6
1.4. Обзор литературы 8
2. Описание разработанного метода 10
2.1. Представление контекста 10
2.1.1 Полезный контекст 10
2.1.2 Рекурсивная генерация 11
2.2. Дообучение модели 13
2.2.1 Использование реальной документации 13
2.2.2 Использование синтетических данных 15
2.2.3 Чистка данных 16
2.3. Метрики 18
3. Результаты 21
Заключение 22
Список литературы 23
Современные большие языковые модели демонстрируют возможность качественно выполнять большое количество различных задач, связанных с обработкой текстов, которые до этого невозможно было автоматизировать. В том числе они способны выполнять задачи, связанные с исходным кодом, такие как: генерация кода, исправление ошибок в коде, генерация тестов, генерация документации. На данный момент стандартный способ использовать модели для таких задач - это передать им минимальное количество информации, необходимое для понимания, что требуется от модели.
Очевидно, что можно получить более точные ответы, если также передавать модели информацию о контексте проекта, в рамках которого выполняется задача. Например, при написании кода новой функции, можно сообщить, какие ещё функции существуют в проекте, чтобы у модели была возможность вызывать их. Однако просто передавать исходный код всего проекта в промпт модели либо неэффективно, либо вовсе невозможно, поэтому необходимо каким-то образом сжать эту информацию. Данная работа посвящена решению этой проблемы.
В рамках данной работы был разработан метод эффективного представления проектного контекста в задаче автоматической генерации документации. Также был найден способ дообучить базовую модель, чтобы модель смогла правильно использовать переданный в промпт контекст. Наконец, для измерения качества модели был разработан новый набор метрик, хорошо отражающий человеческие предпочтения.
Для тестирования разработанного метода были дообучены две модели двумя разными способами. Обученные модели были сравнены с базовой моделью, для которой был подобран хороший промпт. Полученные метрики показывают, что модель, дообученная с помощью синтетики, генерирует более полные и менее тривиальные описания, и при этом не проигрывает базовой модели по количеству галлюцинаций и практически не проигрывает по количеству фактических ошибок.
Разработанный метод показывает хорошие результаты для выбранной задачи и базовой модели. Предполагается, что этот метод можно перенести на похожие задачи и на более большие модели с похожей архитектурой. Для того, чтобы выяснить, насколько этот метод возможно обобщить, требуется провести дополнительные исследования.
Содержание бакалаврской работы - Исследование и разработка метода эффективного представления проектного контекста для больших языковых моделей в задачах, применимых к исходным текстам на программных языках
Выдержки из бакалаврской работы - Исследование и разработка метода эффективного представления проектного контекста для больших языковых моделей в задачах, применимых к исходным текстам на программных языках
