Введение 3
Постановка задачи 5
Глава 1. Описание процедурах обучения и базовая модель 7
1.1. Оценка качества предложенных моделей 7
1.2. Разбиение исторических данных 9
1.3. Вычислительные ресурсы 10
1.4. Базовая модель 11
1.5. Результаты 12
Глава 2. Алгоритм SVD 13
2.1. Описание модели 13
2.2. Программная реализация 14
2.3. Результаты 15
Глава 3. Полносвязная нейронная сеть и исследование применимости word2vec в задаче рекомендации 16
3.1. Описание модели 16
3.2. Программная реализация 18
3.3. Результаты 19
Глава 4. Ансамблирование моделей 20
4.1. Описание модели 20
4.2. Программная реализация 22
4.3. Результаты 23
Заключение 24
Список литературы 25
Развитие электронной коммерции и социальных сетей обусловило рост необходимости в качественных системах рекомендации. Рядовой пользователей затруднен в выборе релевантных объектов среди всего обилия предлагаемых товаров и цифрового контента. Кроме того, алгоритмы машинного обучения и анализа данных увеличивают не только удобство пользователя, но также напрямую влияют на выручку компаний. Так, например, 35% покупок крупнейшей компании на рынке электронной коммерции Amazon, а также 75% просмотров видео сервиса Netflix, приходится на продукты, предложенные рекомендательной системой [3].
Данная работа посвящена построению рекомендательной системы для одного из крупнейших игроков Азии на рынке розничной продажи товаров из области "Здоровье и Красота". Готовые решения обычно не имеют открытого кода, медленно расширяют инструментарий доступных методов и недостаточно гибко адаптируются под особенности данных компании.
Рекомендательные системы в большинстве своем обучаются на истории активности пользователей, что требует привлечения инструментов из области Big Data, т.е. обработки больших объемов данных. В частности, в данной задаче имелись данные о примерно 12 миллионах транзакций пользователей.
В работе представлено решение основное на открытом программном обеспечении, таком как Apache Hadoop, Apache Spark и TensorFlow. Таким образом описанные алгоритмы могут быть использованы при построении рекомендательной системы для решения других задач.
Глава 1 содержит предварительные сведения необходимые для корректного обучения и оценки моделей, а также базовые модели рекомендаций.
Главы 2-3 содержат описание основных моделей: модификация распространенного алгоритма SVD, а также решение, основанное на глубоком обучении.
Глава 4 содержит описание эффективного способа ансамблирования моделей, позволяющего совместить преимущества всех использованных моделей.
Был разработан набор методов рекомендации товаров на основе факторизации матриц и глубокого обучения. Внедрение рекомендательной системы на основе предложенных методов позволило увеличить переходи! по ссылке из e-mail рассылки на 97% относительно рекомендации наиболее популярных товаров. Алгоритм ансамблирования, описанный в последней главе, позволяет расширять систему новыми моделями рекомендации, не переживая о выборе наиболее эффективного метода.
Кроме того, в процессе разработки нейросетевой модели исследован вопрос о применимости модели анализа текстов word2vec к задаче рекомендации товаров.
Использование открв1тв1х технологий, обладающих возможности развертывания в гетерогенных системах, а также их высокая масштабируемость позволяет адаптировать предложенную систему для решения широкого спектра задач рекомендации контента, в том числе на больших объемах данных. Использование современных языков разработки, таких как Scala и Python, облегчает поддержку и дальнейшее развитие системы.
