Тема: Исследование генеративных моделей в задаче поиска оптимального ответа на специализированные вопросы на примере StackOverflow

Платформы CQA (Community Question Answering), где разработчики могут задавать вопро­сы по программированию и отвечать на них, революционировали способ поиска информации в интернете. Когда пользователь сталкивается с проблемой, он ищет решение через поис­ковые системы, такие как Yandex и Google. Исследования показывают, что разработчики Google делают в среднем около 12 поисковых запросов в неделю. Часто поисковые систе­мы направляют пользователей на платформы CQA, где они могут найти точные и полезные решения. Одним из наиболее популярных веб-сервисов такого типа является Stack Overflow. На момент мая 2023 года на этой платформе содержится более 24 миллионов вопросов, 35 миллионов ответов и 21 миллион активных пользователей.
Сообщество разработчиков и множество разрабатываемых ими проектов растет очень быстро. Количество пользователей GitHub, крупнейшего сервиса для совместной разработ­ки и хостинга проектов, выросло с 40 до 73 миллионов человек всего за два года. Такой стремительный рост в лишний раз подчеркивает важность Q&A платформ и, в частности, правильных ответов на них. Возможность быстро получить ответ/решение задачи помогает сохранить время каждого из миллионов разработчиков.
С появлением больших предобученных генеративных моделей, основанных на механизме внимания, таких как BERT и GPT, возник вопрос о возможности обучения модели для ответов на более сложные и специализированные вопросы, такие как те, которые встречают­ся на платформе Stack Overflow. Исследования показали, что модели, обученные на текстах, включающих как естественный язык, так и фрагменты кода, обладают способностью пони­мать программную составляющую таких текстов. Это открывает новые перспективы для разработки моделей, которые могут предоставлять качественные и точные ответы на вопро­сы, связанные с программированием.
Модель GPT-4, которая была недавно представлена, вызывает восхищение своими уни­кальными возможностями. Она успешно проходит экзамены по различным предметам, вклю­чая письменные работы, историю, биологию и другие области знаний, попадая в лучшие 10% участников тестов. В сравнении с предыдущей моделью GPT-3.5, которая попадала в среднем в 10% худших участников, это значительное улучшение. GPT-4 владеет более чем 20 языками, и на самых популярных языках в интернете она способна вести практически безошибочные разговоры.
Одной из впечатляющих особенностей GPT-4 является ее способность работать с визу­альным входом. Например, модель может объяснить содержимое и изображения на схемах, представленных на фотографиях учебника физики на французском языке. Это демон­стрирует значительное расширение возможностей языковых моделей, позволяющих им взаи­модействовать с различными типами данных и предоставлять более полные и точные ответы.
Быстрый прогресс и развитие больших языковых моделей, таких как GPT-4, подчеркива­ют актуальность и значимость исследований в этой области. Это открывает новые перспек­тивы для применения и улучшения подобных моделей в различных сферах, где требуется обработка естественного языка и анализ данных.
На бенчмарке по пониманию кода CodeXGLUE именно модели на основе механизма внимания являются SOTA (State Of The Art) во всех задачах, которых множество: детекция дефектов, исправление кода, перевод кода(с одного языка программирования на другой), предсказание типов и другие. Модели на основе механизма внимания позволяют улавливать зависимости и контекст в коде, а также использовать информацию из больших наборов дан­ных для улучшения своих предсказательных способностей.
Эти SOTA результаты свидетельствуют об эффективности моделей на основе механизма внимания в области понимания кода. Исследования в этой области продолжаются, и ожи­дается, что модели будут продолжать улучшаться и демонстрировать еще более точные и полезные результаты в различных задачах, связанных с анализом и обработкой программ­ного кода.
Данная работа направлена на исследование потенциала имеющихся языковых моделей в задаче поиска ответа на вопросы, заданные на платформе Stack Overflow. В рамках исследо­вания будет предложен новый метод дообучения таких моделей с учетом специфики данной задачи. После этого будут проведены эксперименты, направленные на подтверждение эф­фективности предложенного метода.
Купить

Результаты экспериментов, проведенных в этом исследовании показывают высокую эффек­тивность разработанной методики в задаче генерирования фрагмента кода по его описанию. Обученная модель SVM эффективно предсказывает необходимые библиотеки, а их добав­ление к запросу ведет к генерации более точных ответов. На публичном датасете CoNaLa лучшая модель смогла набрать 0.44 по метрике BLEU, что является заметным улучшением по сравнению с текущим лучшим результатом в 0.34.
Успешность проведенных экспериментов подводит к мысли, что добавление предметно­ориентированных знаний в качестве подсказок помогает улучшить качество больших генера­тивных моделей в общем случае. Что имеет большой смысл: генеративные модели в первую очередь учатся генерировать правдоподобный и последовательный текст, что не гарантирует какое-либо знание предметной области. Поэтому обучение отдельных моделей, которые пони­мают связи между ключевыми словами в области, и добавление этих знаний к генеративным моделям ведет к более качественной генерации.
Результаты работы были приняты к докладу на конференции International Conference on Computational science (ICCS 2023, A-rank) и публикации в издании Lecture Notes in Computer Science (Q2) на тему “Fine-Tuning Large Language Models for Answering Programming Questions with Code Snippets"
Купить