Введение 4
Постановка задачи 5
1. Обзорный раздел по предметной области 6
1.1. Large Language Models (LLM) 6
1.2. Векторные базы данных 7
1.3. Обзор существующих решений 8
1.3.1 MemGPT 8
2. Работа с пользовательскими данными 11
2.1. В чём заключается работа с пользовательскими данными . . 11
2.2. Типы пользовательских данных 12
2.3. Пользовательские файлы 12
2.4. Пользовательские диалоги 14
2.5. Анкетные данные пользователя 15
2.6. Аналитические данные пользователя 17
3. Работа с prompt-ами 21
3.1. Prompt для анализа пользовательских запросов 21
3.2. Персонализированный prompt 24
4. Проектирование и разработка 26
4.1. Стек и фреймворки 26
4.2. Общая структура работы сервиса 26
4.3. Разработка прокси 27
4.4. Работа с файлами и диалогами 28
4.4.1 Проблема одного пользователя 29
4.4.2 Разделение на пользователей 30
4.4.3 Множественные диалоги 30
4.5. Работа с профилями пользователей 31
4.6. Итоговая функциональность 34
Заключение 35
Список литературы 36
Приложение
В наши дни нейросетевые модели всё чаще применяются для работы с самыми разнообразными данными. Одним из самых передовых методов применения моделей к работе с ними являются LLM - модели, способные общаться с человеком на понятном ему языке. Они нашли широкое распространение в повседневной жизни, но, не смотря на их популярность у простых пользователей, именно пользовательские данные для них ограничены диалогами и иногда ограниченным наборов допустимых форматов документов. Из-за этого работа с файлами при помощи LLM становится достаточно затруднительной или вовсе невозможной. Но даже GPT 4, который умеет как- то работать с документами, всё ещё ограничен размером своего контекста. Более того, для современных LLM моделей пользователь обезличен, поэтому они не подстраивают свой ответ под пользователя, кроме случаев когда пользователь сам в каждом диалоге будет постоянно их об этом просить.
Целью данной работы является создание системы для взаимодействия с LLM, которая способна не только существенно расширить контекст произвольной языковой модели, но также добавлять в него множество разнообразных документов. Более того, данная система позволит учитывать и анализировать историю общения с пользователем для улучшения качества и актуальности ответов модели. Также такая система позволит не терять суть диалога с LLM даже при смене самой модели, так как все необходимые данные будут хранится не в контексте конкретной модели, а в разрабатываемой системе.
В данной работе представлены исследования влияния пользовательских данных на работу LLM, а также описания процесса построения описанной системы.
Основной задачей данной работы была реализация системы, которая способна расширить контекст LLM, использовать пользовательские файлы для расширения контекста, а также использовать этот контекст при взаимодействии с разными LLM, что позволит передавать контекст между ними. Также как цели данной работы выделялись сбор и использование пользовательской информации для лучшей персонализации запросов. В рамках работы было сделано следующее:
• Спроектирован и реализован модуль, позволяющий создавать контекст пользовательского диалога на основе файлов и пар запрос пользователя - ответ LLM, а также собирать данные о пользователе для дальнейшего анализа.
• Исследованы влияние структуры и содержания запроса на точность и содержание ответа модели для использования LLM в качестве анализатора, а также для повышения уровня персонализации ответов.
• Спроектирован и реализован модуль, отвечающий за анализ пользовательских данных для получения профиля пользователя, основанного на его поведении.
• Спроектирован модуль, который позволяет удобно взаимодействовать с openai compatible моделями, дополняя пользовательский запрос информацией из контекста диалога, а также пользовательского профиля.
• Реализована поддержка пользовательских диалогов, а также работа множества пользователей в рамках одной векторной базы данных.
Хорошей демонстрацией работы системы является приложение на странице 45. Можно заметить, что LLM модель не только начала обращаться к пользователю по имени, но и учла увлечения пользователя и его предыдущий опыт взаимодействия с теоремами из алгебры. Более того, во втором случае пользователь может попросить модель использовать алгебраические формулировки, дополнение запроса системой никак этому не навредит.
Таким образом, цель данной работы достигнута в полном объёме.
