Введение 4
2. Постановка задачи 5
3. Описание данных 5
4. Рекомендация методом логистической регрессии 9
5. Рекомендация методом кластеризации 14
6. Рекомендация с помощью нейронной сети 19
7. Заключение 25
Приложение 1 29
Приложение 2 33
Приложение 3 39
Задача рекомендательных систем предсказать желания пользователя и предложить товар, который будет интересен ему.
Свой прогноз система строит на активности клиента: оценки на купленные им продукты, история покупок, схожее поведение с другими пользователями, история поиска в системе и так далее. На основе собранных данных формируется список рекомендаций для клиента, которые будут релевантны для него и смотивируют на покупку или совершение целевого действия, выгодного для бизнеса.
Чем лучше система угадывает желания клиента, тем больше промотируется нужный продукт, выручка значительно увеличивается.
Следовательно, результатом хорошей рекомендательной системы является:
• повышение лояльности и удовлетворенности клиента;
Персонализированная рекомендация позволяет расположить клиента к компании, потому что он чувствует, что его интересы и желания учитываются.
• увеличение выручки;
За счет того, что клиенту могут предлагаться товары, которые он сам бы никогда не стал искать.
Применяя рекомендательную систему, бизнес не только увеличивает свой заработок, но и улучшает опыт пользователя от использования продукта. Отсюда следует вывод, что рекомендательные системы нужны в любой сфере от киносервисов до продаж бытовой техники. Именно поэтому задача разработки такой системы с наилучшей точностью рекомендации является важной.
Для ее решения будут исследованы несколько методов машинного обучения, построенных на разных математических моделях, и будет проведено сравнение эффективности исполнения на открытых данных с сайта (1). Все алгоритмы реализованы на языке Python c помощью открытой библиотеки scikit-learn и ее модулей (2), фреймворка PyTorch (3), коды методов представлены в приложениях.
В работе исследовалась задача построения рекомендательной системы на основе истории действий пользователя.
Изучено три метода машинного обучения: логистическая регрессия, кластеризация алгоритмом K-means, линейная нейронная сеть — с целью выявить, какой из них покажет наилучшую эффективность рекомендации.
Помимо технической реализации алгоритмов было приведено их теоретическое описание. Были рассмотрены частые проблемы, возникающие при работе с большими данными, и способы борьбы с ними.
Результативность прогноза оценивалась на одном датасете, состоящим из рейтингов фильмов, проставленных пользователями. С помощью машинного обучения прогнозировались фильмы, которые могут понравиться пользователю, а затем вычислялся процент правильных ответов на тестовой выборке — точность рекомендации.
Метод Точность рекомендации
Логистическая регрессия 85%
Кластеризация 90%
Нейронная сеть 67%
Таблица 4. Результаты работы алгоритмов
Регрессия и кластеризация показывают очень хороший результат, а нейронная сеть из-за переобучения может выдавать только два правильных ответа из трех. Такая сеть с двумя скрытыми слоями очень простая, для улучшения результата есть смысл рассматривать более сложные структуры, требующие больше вычислительной мощности, времени обучения и так далее.
Несмотря на то, что у кластеризации точность ответов выше, отсюда не следует, что этот метод наилучший вариант для рекомендательной системы. В силу особенностей алгоритма K-means добавление новых пользователей приводит либо к полному перезапуску алгоритма и перераспределению кластеров, либо расчету расстояний от нового пользователя ко всем кластерам, чтобы определить, куда его отнести. Оба случая вычислительно затратные.
Таким образом, рекомендательная система методом кластеризации показала наилучший результат, но с точки зрения практического применения разумнее пожертвовать незначительно точностью ответов и остановить выбор на регрессии в рассматриваемой задаче.
