Введение 3
Глава 1. Обзор подходов к обучению ранжированию и доступные данные...5
1.1 Машинное обучение 5
1.2 Машинное обучение ранжированию 6
1.3 Подходы к машинному обучению ранжированию 8
1.3.1 Точечный подход 8
1.3.2 Попарный подход 10
1.3.3 Списочный подход 10
1.4 Существующие проблемы с данными о кликах 12
1.5 Доступные данные от Яндекса 14
1.6 Вывод к главе 1 16
Глава 2. Разработка алгоритма ранжирования 18
2.1 Модель RankingSVM 18
2.2 Использованный инструментарий 22
2.3 Инфраструктура для обработки логов 25
2.4 Архитектура программного комплекса 27
2.5 Набор признаков с естественным физическим смыслом 28
2.6 Вывод к главе 2 34
Глава 3. Экспериментальная часть 35
3.1 Инструмент SVM-Rank 35
3.2 Оптимизация модели 36
3.3 Оценка качества ранжирования 37
3.4 Результат работы алгоритма на данных Яндекса 38
Заключение 39
Список литературы 40
Внутренний поиск на сайте - важная часть интернет магазина, которая помогает организовать удобную и эффективную навигацию по каталогу, от которой в большой степени зависит конверсия на сайте. Современные сайты не всегда удовлетворяют информационные потребности пользователей. Традиционные поисковые модели, на основе статистики ключевых слов из запроса недостаточно эффективны для оценки релевантности, так как не учитывают опыт взаимодействия пользователя с поисковой выдачей. Большинство существующих алгоритмов ранжирования являются коммерческой тайной. Одним из наиболее интенсивно развивающихся направлений исследований методов поиска документов по запросу является улучшение качества поиска на основе информации о поведении пользователей поисковой системы. В данной дипломной работе будут исследованы подходы на основе машинного обучению ранжированию и их применение с учетом характеристик, полученных из логов поисковых запросов и взаимодействий(кликов) пользователей с результатами поиска.
Цель работы : Разработать алгоритм ранжирования на основе пользовательских кликах.
Поставленные задачи:
1. Выявление существенных признаков, влияющих на качество ранжирования.
2. Сформировать функцию ранжирования, которая на основе выявленных признаках упорядочивает документы по степени соответствия документа запросу.
3. Тестирование функции на данных Яндекса.
Работа состоит из трех глав.
В первой главе рассматриваются теоретические аспекты вопроса использования машинного обучения в задаче ранжирования, доступные данные для обучения и существующие проблемы с этими данными.
Вторая глава посвящена описанию разработанных признаков и инструментарию, с помощью которого данные признаки вычисляются в кластере.
В третьей главе приведены результаты работы алгоритма на предоставленных Яндексом данных.
В данной работе исследованы подходы к машинному обучению ранжированию, разработан новый алгоритм ранжирования документов по запросу на основе данных о кликах пользователей. Особенностью представленного подхода является формирование эффективных признаков ранжирования с естественным физическим смыслом - все разработанные признаки базируются на четко сформулированной гипотезе о связи действий пользователя и релевантности документа.
В экспериментах на реальных данных поведения пользователей в интернет- поисковой системе алгоритм показал высокое качество ранжирования. Алгоритм основан на относительно небольшом числе признаков ранжирования (22 признака) и является довольно простым для реализации. Алгоритм позволяет параллельно обрабатывать логи, что является очень важным с учетом тенденции роста данных о действиях пользователей. Планируется продолжить данное исследование и применить разработанный алгоритм, набор признаков и методику формирования признаков для решения других задач, связанных с анализом поведения пользователя по логам действий.
