
Тип работы:	Предмет:	Язык работы:

Анализ кликовых моделей для повышения качества ранжирования результатов поисковой выдачи

Работа №	125020
Тип работы	Магистерская диссертация
Предмет	математическое моделирование
Объем работы	36
Год сдачи	2018
Стоимость	5350 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено	32

Не подходит работа?

Узнай цену на написание

Содержание

Введение 3
Постановка задачи 6
Обзор литературы 7
Оценка качества информационного поиска онлайн 9
Оценка качества информационного поиска оффлайн 11
Базовые кликовые модели 14
Оценка параметров кликовой модели 19
Оценка качества модели 22
Кластеризация пользователей 24
Используемые данные 26
Практические результаты 28
Заключение 33
Список литературы 34

Введение

Учитывая стремительный рост популярности веб-поиска в последние годы, все больше внимания среди информационно-поискового сообщества привлекает задача моделирования поведения пользователей поисковых систем. Развитие таких моделей способствует лучшему пониманию поведения пользователя, что в конечном счете помогает сделать процесс поиска необходимой пользователю информации более эффективным. Модели поведения пользователей могут быть также использованы в качестве элемента системы оценивания «ненаблюдаемых элементов», таких как релевантность документов в поисковой выдаче, способствуя улучшению ранжирования результатов поиска. При этом зачастую проведение экспериментов с реальными пользователями труднореализуемо. Так, например, некоторые исследователи имеют ограниченные возможности взаимодействия с пользователями из-за секретности или коммерческих ограничений. Даже компании, имеющие доступ к миллионам пользователей, не могут позволить себе постоянно проводить эксперименты с их привлечением. На этапе разработки им приходится использовать модели, имитирующие поведение пользователя. Поэтому имитационное моделирование пользователей играет существенную роль в понимании последствий внедрения тех или иных алгоритмов для улучшения качества поиска или представления результатов поисковой выдачи.
Поисковым системам необходимо учитывать то, как пользователь воспринимает качество результатов поисковой выдачи. В [1] показано, что пользователи, как правило, предпочитают первый документ на странице результатов поисковой системы последнему, что помогает ранжировать документы наиболее выгодным для пользователей образом. Существуют метрики, основанные на поисковых логах. Обратная связь от пользователей, в том числе в виде кликов, позволяет учитывать предпочтения пользователей. Клики пользователей на результаты веб-поиска являются очень важной информацией для поисковиков. Клики могут дать представление о том, какие результаты заинтересовали пользователя, а какие - нет. Поисковые системы используют данную информацию для того, чтобы оценивать и улучшать качество поиска. Чтобы понять и описать поведение пользователей, были предложены так называемые кликовые модели. Обученная кликовая модель помогает лучше понять, как именно пользователи кликают на ссылки, представленные в результатах поискового запроса, позволяет предсказать клики и т.д.
В алгоритмах машинного обучения ранжированию все чаще используют кликовые модели для определения релевантности документа. Здесь также очень важно качество обученной кликовой модели, т.к. чем точнее модель предсказывает клики, тем правильнее будет определена релевантность документа, что напрямую влияет на результаты работы алгоритма ранжирования.
На первый взгляд идея ранжирования на основе кликовых логов кажется достаточно простой. Чем выше CTR (click-through rate - коэффициент кликабельности) документа, тем выше нужно располагать его на странице поисковой выдачи. Однако клик на документ или его отсутствие не всегда означает релевантность:
1. Документы, расположенные первыми на странице результатов поисковой выдачи кликаются чаще.
2. Поисковые запросы могут быть достаточно многозначными и возникают ситуации, когда один и тот же документ будет релевантным для одного пользователя и нерелевантным для другого.
3. Необходимо также учитывать, что в поисковой сессии может быть несколько запросов. Так, информация, хранящаяся в документе, может быть уже известна пользователю из прошлых запросов.
4. Пользователь принимает решение о клике на основе информации, описанной в сниппете (snippet - описание документа на странице результатов поисковой выдачи). Даже если документ содержит необходимую пользователю информацию, но она никак не отражена в сниппете, скорее всего клика на документ не произойдет. И наоборот, пользователь может заинтересоваться сниппетом и кликнуть на документ, но нужной информации там не найти.
В связи с этим постоянно разрабатывается множество новых алгоритмов ранжирования. Кликовые модели также широко используются в экспериментах при их внедрении. Чем выше качество обученной модели, тем более точно она предсказывает клики, и соответственно, более точными становятся результаты экспериментов.

Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!

ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ

Курсовые Статьи Диплом Рязань

Заключение

Сделано предположение, что использование нескольких кликовых моделей, обученных на кластерах пользователей, вместо одной, обученной на всех пользователях сразу, повышает точность предсказания кликов. Для подтверждения данного предположения:
1. Из кликовых логов для каждого пользователя найдены среднее количество кликов в сессию, среднее время между запросами и среднее время между кликами в пределах сессии.
2. Построен граф пользователей, в котором пользователи соединяются ребром, если они кликают на один и тот же документ.
3. Из графа пользователей найдены центральность по близости, по посредничеству и центральность собственного вектора.
4. На основе найденных признаков проведена кластеризация пользователей.
5. На полученных кластерах и на всех пользователях сразу обучено шесть кликовых моделей: RCM, RCTR, DCTR, CM, DCM, SDBN.
6. Вычислены метрики качества кликовых моделей (логарифм правдоподобия, перплексия, условная перплексия) для каждого случая.
Результаты показали, что на группах пользователей значение рассматриваемых метрик лучше, чем на всех пользователях сразу. Таким образом, точность предсказания кликов стала выше, предположение оказалось верным.

Литература

1. Joachims T. et al. Accurately interpreting clickthrough data as implicit feedback //ACM SIGIR Forum. - Acm, 2017. - Т. 51. - №. 1. - С. 4-11.
2. Гулин А. и др. Оптимизация алгоритмов ранжирования методами машинного обучения //Тр. Росс. сем. по оценке методов информационного поиска. СПб.: НУ ЦСИ. - 2009. - С. 163-168.
3. Liu T. Y. et al. Learning to rank for information retrieval //Foundations and Trends in Information Retrieval. - 2009. - Т. 3. - №. 3. - С. 225-331.
4. «Интернет - математика 2011». https://academy.yandex.ru/events/ data_analysis/relpred2011/
5. Гуда С., Рябов Д. Отчет по конкурсу Relevance Prediction Challenge.
6. Figurnov M., Kirillov A. Linear combination of random forests for the Relevance Prediction Challenge //Proc. of Int. Conf, on Web Service and Data Mining workshop on Web Search Click Data. New York: ACM. - 2012. - С. 71-75.
7. Агеев М. С. Ранжирование документов по запросу на основе лога действий пользователей поисковой системы //вычислительные методы и программирование. - 2012. - Т. 13. - №. 4. - С. 559-571.
8. Hu B., Liu N. N., Chen W. Learning from click model and latent factor model for relevance prediction challenge //Proceedings of the Workshop on Web Search Click Data, WSDM. - 2012. - Т. 2012.
9. Agichtein E., Brill E., Dumais S. Improving web search ranking by incorporating user behavior information //Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval. - ACM, 2006. - С. 19-26.
10. Камалов М. В., Мартынов Р. С. Сравнительный анализ алгоритмов онлайн-обучения ранжированию поисковой выдачи //Процессы управления и устойчивость. - 2017. - Т. 4. - №. 1. - С. 382-388.
11. Craswell N. et al. An experimental comparison of click position-bias models //Proceedings of the 2008 international conference on web search and data mining. - ACM, 2008. - С. 87-94.
12. Dupret G., Murdock V., Piwowarski B. Web search engine evaluation using clickthrough data and a user model //WWW2007 workshop Query Log Analysis: Social and Technological Challenges. - 2007. - Т. 2.
13. Moffat A., Zobel J. Rank-biased precision for measurement of retrieval effectiveness //ACM Transactions on Information Systems (TOIS). - 2008. - Т. 27. - №. 1. - С. 2.
14. Dupret G. E., Piwowarski B. A user browsing model to predict search engine click data from past observations //Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval. - ACM, 2008. - С. 331-338.
15. Chapelle O., Zhang Y. A dynamic bayesian network click model for web search ranking //Proceedings of the 18th international conference on World wide web. - ACM, 2009. - С. 1-10.
...