Введение 3
Постановка задачи 8
Обзор Литературы 11
Глава 1. Алгоритмы рекомендательных систем 12
1.1. Alternating Least Squares (ALS) 12
1.2. Применение функции BM25 15
1.3. Lightfm with warp loss function 16
1.4. Метод ближайших соседей 19
1.5. Применение функции TF-IDF 21
1.6. Autoencoder 22
Глава 2. Практические результаты 27
Заключение 35
Список литературы 36
Приложение 38
Задача разработки рекомендательных систем появилась относительно недавно - в век развития Интернета и информационных технологий количество доступной информации увеличилось настолько, что человек не способен проанализировать её полностью, чтобы выбрать только интересную ему.
Поэтому многие современные сервисы создают рекомендательные системы, которые на основе информации о профиле пользователя и его предыдущего поведения в системе пытаются определить, какие объекты, товары или услуги могут быть ему интересны. Объектами могут быть товары, книги, музыка, фильмы, новости и т. д.
Многие известные по всему миру сайты уже используют рекомендательные системы: Ozon, eBay, Amazon, Кинопоиск, IMDb, Pandora и др., но ни одна из систем не может гарантировать 100% точность сформированной рекомендации. Методы построения прогноза нуждаются в усовершенствовании. К примеру, со 2 октября 2006 года Netflix проводил открытое соревнование Netflix prize, в котором командам необходимо было усовершенствовать алгоритм рекомендательной системы для лучшего предсказания оценок, которые поставят пользователи фильмам. Главный приз данного соревнования составлял $1,000,000.
Как стало понятно, рекомендательные системы могут служить инструментом для увеличения продаж, продажи более разнообразных объектов, а также улучшения понимания пользовательских потребностей и желаний. Поэтому они быстро набирают популярность и начинают широко применяться в электронной коммерции, при поиске фильмов, музыки, ПО, научных статей, а также на новостных сайтах и в справочных центрах. Таким образом, задача разработки эффективных рекомендательных систем ныне является актуальной.
То есть рекомендательные системы — это комплексы алгоритмов, программ и сервисов, основная задача которых предсказать, какие объекты будут интересны пользователю и как он на них отреагирует, ориентируясь на информацию о его профиле либо иные данные. Такие данные могут быть получены как явными, так и неявными способами. К явным относят следующие методы: пользователь ставит оценку объектам из заданного диапазона или ранжирует группу объектов, выбирает наиболее привлекательный из двух или небольшой группы объектов и др. К неявным методам относятся: число просмотров объекта (например, сколько раз была прослушана аудиозапись), категории просматриваемых объектов (например, в интернет-магазинах, где есть точное разделение на категории) и др.
Различают 4 основных типа рекомендательных систем:
• Коллаборативная фильтрация (Collaborative Filtering) — рекомендации, в которых используется информация о поведении пользователей в прошлом - например, информация о покупках или оценках, данным некоторым товарам. Такие системы основаны на схожести предпочтений пользователей. При этом могут учитываться неявные характеристики, которые сложно было бы учесть при создании профиля. Основное допущение метода состоит в следующем: те, кто одинаково оценивали какие-либо предметы в прошлом, склонны давать похожие оценки другим предметам и в будущем. Прогнозы составляются индивидуально для каждого пользователя, хотя используемая информация собрана от многих участников. Главным недостатком методов коллаборативной фильтрации является наличие проблемы «холодого» старта. Это ситуация, когда объекту еще никто не поставил никакую оценку или таких оценок слишком мало. При использовании этого подхода новые объекты не будут рекомендоваться пользователям в силу отсутствия оценок этого объекта.
• Основанные на контенте (content-based) — рекомендации, основанные на данных, собранных о каждом конкретном объекте и пользователе. Пользователю рекомендуются объекты, похожие на те, которыми он ранее интересовался, а также объекты, которые, скорее всего, будут интересны, исходя из профиля пользователя. Похожесть оценивается по содержимому объектов. Когда новый пользователь, у которого пустой профиль, начинает использовать рекомендательную систему, основанную на контенте, ему необходимо дать некоторую информацию о себе. Это можно сделать разными способами: путем задания предпочтительных значений характеристик, указанием интересных ему объектов (при сравнении с которыми можно будет выделить ключевые характеристики для этого пользователя), а также добавлением личной информации. При использовании рекомендательных систем такого типа основной проблемой, с которой сталкиваются разработчики, является проблема нахождения значений параметров-характеристик объекта, так как количество таких характеристик может быть очень большим. Преимуществом рекомендательных систем основанных на контенте является отсутствие проблемы «холодного» старта. При использовании этого метода пользователям достаточно заполнить хотя бы частично свои профили, после чего им можно рекомендовать как новые, так и давно имеющиеся в базе и уже рекомендованные другим пользователям объекты.
Модели, основанные на контенте, как правило, гораздо более точны, чем методы коллаборативной фильтрации, но сильно проигрывают им в скорости.
• Гибридные (hybrid) — рекомендации основаны на комбинировании коллаборативных и контентных подходов, что позволяет избежать большинства недостатков, свойственных каждой системе.
Таким образом, в данной работе рассмотрено несколько подходов к реализации алгоритмов коллаборативной фильтрации.
Были построены алгоритмы для рекомендательных систем и подобраны для них гиперпараметры. Также были реализованы метрики, каждая из которых по-разному характеризует рекомендуемые списки аудиозаписей. Для каждой модели были посчитаны метрики. Было показано, что оценки метрик, посчитанных на 10% клиентов, являются несмещёнными для метрик, посчитанных на всех пользователях. Оказалось, что алгоритм Als рекомендует наиболее подходящие треки для пользователей, если каждый элемент тренировочной матрицы преобразовать с помощью функции ранжирования bm25. Такая модель работает даже лучше, чем Lightfm с warp loss функцией, хотя этот алгоритм достаточно популярен в таком роде задач. Но все же модель, показавшая себя лучше всех, среди рассмотренных, это autoencoder. Также было показано, что с ростом тренировочных данных, качество рекомендаций модели увеличивается на тестовых данных.
В будущем планируется реализовать алгоритмы для гибридных рекомендательных систем, то есть, помимо информации об истории прослушиваний треков каждого пользователя, модель будет использовать дополнительную информацию о музыкальных треках и пользователях.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
