Алгоритм рекомендации научных конференций для учёных

1. Введение 4
1.1. Рекомендательные системы 4
1.2. Измерение результатов 6
2. Постановка задачи 8
3. Обзор рекомендательных систем 9
3.1. Контентно-ориентированные 9
3.2. Коллаборативные 9
3.3. Гибридные 10
4. Коллаборативный подход 11
4.1. Алгоритм 11
4.2. Инструменты 12
4.3. Реализация 12
5. Контентно-ориентированный подход 14
5.1. Алгоритм 14
5.2. Реализация 15
6. Гибридный подход 16
7. Измерение результатов 17
7.1. Описание методов 17
7.2. Распределение данных 17
7.3. Пользователи с двумя конференциями 18
7.4. Пользователи, у которых больше двух конференций ... 19
7.5. Гибридный алгоритм 22
Заключение 27
Список литературы 28
Купить

Ученые во время проведения своих исследований сталкиваются с проблемой поиска научных конференций для нахождения релевантных статей и публикации собственных исследований. При этом количество статей, конференций и публикаций постоянно растет. Решением этой проблемы может выступать рекомендательная система, которая для конкретного исследователя будет рекомендовать релевантные для него конференции.
1.1. Рекомендательные системы
Рекомендательные системы предсказывают, какие объекты могут быть интересны пользователю, исходя из его профиля и информации об объектах. Три самых популярных метода реализации — это колла- боративная фильтрация, контентно-ориентированный подход и объеди­нение этих двух методов — гибридный подход.
Коллаборативная фильтрация Основная идея коллаборативной фильтрации состоит в том, чтобы вычислять рекомендации на основе оценок объектов пользователями. При это существуют две разновидно­сти этой техники.
Первая — memory-based. В данной технике строиться матрица “поль­зователи - объекты”, где Mui обозначает рейтинг пользователя и, дан­ный объекту i. Потом для каждого объекта считается рейтинг по формуле
rui = ∑v∈Ni wivruv / ∑v∈Ni |wiv|
где rui - предсказанный рейтинг объекта i для пользователя u, wiv - вес между объектами i и v, Ni - к ближайших объектов к i по весу. Знаме­натель используется для нормализации и является опциональным. Для измерения веса может использоваться, например, косинус или корре­ляция. Если вес считается между пользователями, то данный подход называется user-based, если между объектами, то item-based.
Вторая - model-based. В этой технике строится модель, используя алгоритмы машинного обучения такие, как SVD [18], нейронные се­ти [10], генетические алгоритмы [3] и так далее.
Основная проблема, возникающая при коллаборативном подходе - проблема холодного старта. Это ситуация, когда появляется новый объ­ект, у которого нет оценок, или новый пользователь, который не оценил ни один объект.
Контентно ориентированный подход Контентно-ориентированный подход в отличие от коллаборативной фильтрации использует внут­ренние свойства объектов, а не оценки пользователей. Для фильмов, например, это могут быть жанр, актёры, длительность и так далее. Объект представляется как вектор, представляющий эти свойства. Со­ответственно в общем данный подход можно разбить на 3 части [6]:
• Content-analyzer — выделяет свойства и приводит их к числовому виду
• Profile-learner — обучается на этих данных, либо строит матрицу весов
• Filtering component — рекомендует объекты, используя прошлый компонент и профиль пользователя
При данном подходе главной проблемой являются выбор свойств и привидение их к численному виду. Для привидения текстовой инфор­мации к векторному представлению часто используется TF-IDF [11].
Гибридный подход Гибридный подход совмещает несколько алго­ритмов, для того, чтобы избавиться от их недостатков и совместить до­стоинства. Существует несколько вариантов объединения результатов, например, взвешенная сумма, объединение или пересечение результа­тов, передача результатов одного алгоритма в другой.
1.2. Измерение результатов
Методы оценки качества рекомендательных алгоритмов можно раз­делить на два вида: те, которые используют реальных пользователей (Online), и те, которые используют сохраненные статические данные о пользователях и объектах (Offline). [15]
К первому типу можно отнести A/B тесты и опрос пользователей. A/B тестом называется исследование, при котором пользователей раз­бивают на две группы. Первая группа использует один алгоритм, вто­рая другой, и производится измерение качества по выбранной метрике на каждой группе.
Ко второму типу относится кросс-валидация. Это тип исследования качества алгоритма, при котором уже сохраненные, статические дан­ные разбиваются на k частей. Одно часть называется тестовой — на ней проводится измерение качества работы алгоритма по метрике. Осталь­ные части называются тренировочными. На них производится обучение алгоритма.
Метрики качества работы Существует несколько метрик для оцен­ки качества работы рекомендательного алгоритма, среди них можно выделить:
• Среднеквадратичная ошибка (MSE) — E(0` — 0)2, где 0` — предска­занное, а 0 — истинное значение
• Средняя абсолютная ошибка (MAE) — E|0` — 0|, где 0` — предска­занное, а 0 — истинное значение
• Precision-recall кривая — график, где на одной оси находится precision, а на другой — recall. Precision — статистическая метрика, вычисляемая по формуле:
Precision = True positives / (True positives + False positives)
Recall также является статистической метрикой:
Recall = True positives / (True positives + False negatives)
Количественной мерой, показывающей качество алгоритма явля­ется площадь под графиком (AU-PR). Максимально возможным значением является единица, в таком случае precision равен едини­це при любом recall. Это обозначает, что сначала рекомендуются все релевантные объекты.
• ROC-кривая — график, показывающий отношение между True positive rate (True positive rate = True positive/Positive) и False positive rate (False positive rate = False positive/ Negative). Мерой качества также является площадь под графиком (AUC). У идеального алгоритма она также равна единице.
Купить