Тема: ПРИМЕНЕНИЕ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ НА ДЕРЕВЬЯХ РАССУЖДЕНИЙ В БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЯХ ДЛЯ ПОВЫШЕНИЯ ТОЧНОСТИ ОТВЕТОВ

В современном обществе стремительно развиваются большие языковые модели (Large LanguageModels, LLM). Всё чаще можно видеть, как они внедряются в ежедневную жизнь, в бизнес-процессы в компаниях и в иные структуры. Помимо прямого использования, можно наблюдать, как активно появляются тренды использования языковых моделей в качестве агентов [10, 15], которые за человека выполняют определённые задачи. Примерами таких задач могут быть исследование какой-то темы с помощью интернета, бронирование билетов, составление математических задач, проведение научных экспериментов, написание кода и т.д. В общем, бесспорно, что LLM будут использоваться в обозримом будущем, и со временем всё более многочисленные и сложные задачи будут делегироваться им. По этой причине крайне важно, чтобы системы, построенные на базе языковых моделей, были надёжными, объяснимыми и способными решать сложные проблемы. Однако такие модели всё ещё сталкиваются с трудностями, например, в долгосрочном планировании или стабильности ответов, особенно на задачах, которые не входили в их обучающую выборку. Эти проблемы проявляются в виде галлюцинаций, искажения фактов, логических ошибок или небезопасного поведения.
Для повышения надёжности и объяснимости необходимо не только улучшить точность моделей, но и развивать их способность к последовательному логическому рассуждению. Это особенно важно для сложных задач, где важно не только получить правильный результат, но и понять, каким образом он был получен. Именно поэтому исследователи работают над различными подходами к устранению этих недостатков, одним из которых является обучение «рассуждающих» или «думающих» моделей (Reasoning models). Такие модели фундаментально отличаются от стандартных процессом обучения и в результате, как показывают некоторые работы [6, 14,20], демонстрируют необычные способности к размышлению при решении задач - модели начинают исправлять себя, оценивать свои предыдущие шаги, переформулировать задачу и т.д., что внешне похоже на то, как человек размышляет над сложными задачами.
Однако текущие методы обучения рассуждающих моделей требуют значительных вычислительных ресурсов. Во-первых, вычислительные ресурсы необходимы для генерации большого числа текстов, на которых модель и будет обучаться. Во-вторых - ресурсы нужны для самого процесса обновления параметров модели, число которых в текущих реалиях достигает сотен миллиардов параметров. Из- за этого обучение становится крайне дорогостоящим и малодоступным для исследовательских групп или компаний с ограниченными ресурсами.
Поэтому в данной работе будут рассмотрены и проанализированы методы, которые позволяют повысить точность ответов LLM строя рассуждения из фиксированной модели, а также будет предложен и оценен новый метод на основе обучения с подкреплением.
В результате в рамках работы были поставлены следующие задачи:
1. Изучить методы улучшения точности ответов LLM использующие рассуждения языковых моделей
2. Разработать метод, не опирающийся на обучение LLM
3. Определить наборы данных и метрики для экспериментов
4. Реализовать метод и провести эксперименты
5. Проинтерпретировать полученные результаты и сформулировать выводы на их основе.

Купить

В ходе работы были решены все поставленные задачи, включая изучение существующих методов улучшения качества ответов LLM и проведение экспериментов с предложенным подходом. Результаты экспериментов показали умеренное улучшение точности ответов при невысоких вычислительных затратах.
Ключевым выводом является то, что эффективность подходов, использующих оценки из множества потенциальных шагов модели, сильно зависит от фундаментальных способностей модели генерации логически последовательных выводов. В частности, параметры генерации, такие как температура, играют важную роль. При высокой температуре генерации модель склонна к созданию более разнообразных, но потенциально абсурдных и менее логичных вариантов. При низкой температуре, наоборот, ответы становятся более предсказуемыми и однообразными, что также ограничивает способность модели исследовать возможные решения.
Таким образом, несмотря на небольшие улучшения точности в ходе экспериментов, в данной работе предполагается, что для достижения более высоких результатов потребуется работа над фундаментальными свойствами самой языковой модели. Это включает как улучшение способности к генерации рассуждений, так и поиск новых методов для эффективного контроля за разнообразием ответов, что остается актуальной задачей для дальнейших исследований.
Купить