Исследование генеративных моделей в задаче поиска оптимального ответа на специализированные вопросы на примере StackOverflow

1 Обзор литературы 6
1.1 Архитектура Трансформер 6
1.1.1 Модуль самовнимания 6
1.1.2 Position-wise FF 8
1.1.3 Резидуальное соединение и нормализация 8
1.1.4 Позиционные презентации 9
1.2 Использование архитектуры Трансформер 9
1.3 Использование архитектуры Трансформер для задачи генерации кода 10
1.4 Обучение языковых моделей 11
1.5 Support Vector Machine 12
1.6 Метрики 12
2 Методы исследования 15
2.1 Фреймворк 15
2.2 Выбор списка ключевых слов 15
2.3 Необходимые наборы данных 16
2.4 Процедура обучения 17
3 Реализация 18
3.1 Задача и датасеты 18
3.2 Обучение классификатора ключевых слов 20
3.3 Выбор генеративных моделей 20
3.4 Обучение генеративной модели 20
3.5 Процедура эвалюации 21
4 Эксперименты и результаты 22
4.1 Обучение классификатора ключевых слов 22
4.2 Генерация кода на датасете CoNaLa 22
4.3 Генерация кода на датасете SO 23
4.4 Примеры сгенерированных фрагментов кода из датасета SO 24
4.4.1 Пример из таблицы 3 24
4.4.2 Пример из таблицы 4 24
4.5 Примеры сгенерированных фрагментов кода из датасета CoNaLa 25
4.5.1 Пример из таблицы 5 25
4.5.2 Пример из таблицы 6 27
4.6 Ограничения 27
4.6.1 Ограничения метрик 27
4.6.2 Ограничения метода 27
4.6.3 Ограничения моделей 29
Купить

Платформы CQA (Community Question Answering), где разработчики могут задавать вопро­сы по программированию и отвечать на них, революционировали способ поиска информации в интернете. Когда пользователь сталкивается с проблемой, он ищет решение через поис­ковые системы, такие как Yandex и Google. Исследования показывают, что разработчики Google делают в среднем около 12 поисковых запросов в неделю. Часто поисковые систе­мы направляют пользователей на платформы CQA, где они могут найти точные и полезные решения. Одним из наиболее популярных веб-сервисов такого типа является Stack Overflow. На момент мая 2023 года на этой платформе содержится более 24 миллионов вопросов, 35 миллионов ответов и 21 миллион активных пользователей.
Сообщество разработчиков и множество разрабатываемых ими проектов растет очень быстро. Количество пользователей GitHub, крупнейшего сервиса для совместной разработ­ки и хостинга проектов, выросло с 40 до 73 миллионов человек всего за два года. Такой стремительный рост в лишний раз подчеркивает важность Q&A платформ и, в частности, правильных ответов на них. Возможность быстро получить ответ/решение задачи помогает сохранить время каждого из миллионов разработчиков.
С появлением больших предобученных генеративных моделей, основанных на механизме внимания, таких как BERT и GPT, возник вопрос о возможности обучения модели для ответов на более сложные и специализированные вопросы, такие как те, которые встречают­ся на платформе Stack Overflow. Исследования показали, что модели, обученные на текстах, включающих как естественный язык, так и фрагменты кода, обладают способностью пони­мать программную составляющую таких текстов. Это открывает новые перспективы для разработки моделей, которые могут предоставлять качественные и точные ответы на вопро­сы, связанные с программированием.
Модель GPT-4, которая была недавно представлена, вызывает восхищение своими уни­кальными возможностями. Она успешно проходит экзамены по различным предметам, вклю­чая письменные работы, историю, биологию и другие области знаний, попадая в лучшие 10% участников тестов. В сравнении с предыдущей моделью GPT-3.5, которая попадала в среднем в 10% худших участников, это значительное улучшение. GPT-4 владеет более чем 20 языками, и на самых популярных языках в интернете она способна вести практически безошибочные разговоры.
Одной из впечатляющих особенностей GPT-4 является ее способность работать с визу­альным входом. Например, модель может объяснить содержимое и изображения на схемах, представленных на фотографиях учебника физики на французском языке. Это демон­стрирует значительное расширение возможностей языковых моделей, позволяющих им взаи­модействовать с различными типами данных и предоставлять более полные и точные ответы.
Быстрый прогресс и развитие больших языковых моделей, таких как GPT-4, подчеркива­ют актуальность и значимость исследований в этой области. Это открывает новые перспек­тивы для применения и улучшения подобных моделей в различных сферах, где требуется обработка естественного языка и анализ данных.
На бенчмарке по пониманию кода CodeXGLUE именно модели на основе механизма внимания являются SOTA (State Of The Art) во всех задачах, которых множество: детекция дефектов, исправление кода, перевод кода(с одного языка программирования на другой), предсказание типов и другие. Модели на основе механизма внимания позволяют улавливать зависимости и контекст в коде, а также использовать информацию из больших наборов дан­ных для улучшения своих предсказательных способностей.
Эти SOTA результаты свидетельствуют об эффективности моделей на основе механизма внимания в области понимания кода. Исследования в этой области продолжаются, и ожи­дается, что модели будут продолжать улучшаться и демонстрировать еще более точные и полезные результаты в различных задачах, связанных с анализом и обработкой программ­ного кода.
Данная работа направлена на исследование потенциала имеющихся языковых моделей в задаче поиска ответа на вопросы, заданные на платформе Stack Overflow. В рамках исследо­вания будет предложен новый метод дообучения таких моделей с учетом специфики данной задачи. После этого будут проведены эксперименты, направленные на подтверждение эф­фективности предложенного метода.
Купить