Введение 4
Глава 1. Основные проблемы рекомендательных систем 8
Глава 2. Таксономия рекомендательных систем 12
2.1. Сфера 12
2.2. Цель 14
2.3. Контекст рекомендации 15
2.4. Чьи мнения ложатся в основу рекомендации 16
2.5. Уровень персонализации 17
2.6. Личная информация и степень доверия к системе 18
2.7. Интерфейс 21
2.7.1. Тип выходных данных 21
2.7.2. Тип входных данных 24
2.8. Алгоритмы 25
2.8.1. Алгоритмы рекомендаций в не персонализированных
рекомендательных системах 25
2.8.1.1. Метод обобщённого мнения 25
2.8.1.2. Метод ассоциации продуктов 25
2.8.2. Алгоритмы рекомендаций в персонализированных
рекомендательных системах 27
2.8.2.1. Контентный метод или фильтр информации, основанный
на содержании 27
2.8.2.2. Метод, основанный на знаниях 29
2.8.2.3. Метод коллаборативной фильтрации 30
2.8.2.4. Мультиатрибутивные рекомендательные системы 34
2.8.2.5. Рекомендательные системы, основанные на
пользовательских отзывах 35
2.8.3. Гибридные рекомендательные системы 37
Глава 3. Анализ созданного механизма рекомендаций на основе вышеизложенной таксономии 39
Глава 4. Исследование 42
4.1. Сбор отзывов с сайта 42
4.2. Составление словарей для инструмента анализа отзывов с помощью “Sketch Engine”
4.2.1. Извлечение ключевых слов и словосочетаний из корпуса.
Функция “Keywords/terms”45
4.2.2. Составление тезаурусов для каждого параметра. Функция “Thesaurus”
4.2.3. Извлечение слов, которые часто встречаются вместе с исследуемыми словами. Функции “Word Sketch” и “Sketch diff”
4.2.4. Проверка релевантности элементов словаря с помощью конкорданса. Функция “Concordance”
4.2.5. Использование вышеперечисленных функций на материале корпуса «Недостатки»
4.3. Разработка программы анализа отзывов 59
4.4. Оценка результатов. Правильность, точность, полнота 63
Заключение 67
Библиография 68
Приложение 1. Словари 75
Приложение 2. Фрагменты программы 77
В последние несколько лет рекомендательные системы активно набирают популярность в сети Интернет. Впервые эта технология была опробована в области электронной коммерции, однако впоследствии стала применяться в различных сферах, среди которых - системы электронного образования (Глибовец, Сидоренко, 2012), новостные сайты, социальные сети. В первую очередь это связано с рядом преимуществ, включающих повышение эффективности поиска информации. В условиях увеличения роли Интернета в повседневной жизни, обучении, исследованиях, а также увеличения количества информации, доступной в сети, рекомендательные системы начинают играть всё большую роль. Чем больше данных имеется в нашем распоряжении, тем сложнее их обрабатывать и тем сложнее вычленить из этого потока информации те данные, которые действительно нужны. В связи с этим, в ситуации растущего информационного потока необходимость существования механизма, способного фильтровать данные из Интернета и увеличивать скорость обработки информации, становится неоспоримой.
Первые разработки рекомендательных систем относятся к началу 90-х годов (Adomavicius, Tuzhilin, 2005), однако тому, что их создание вышло на новый уровень, послужил конкурс Netflix Prize (Bennett, Lanning, 2007), организованный в 2006 году компанией Netflix (Глибовец, Сидоренко, 2012).
В своём «Руководстве по рекомендательным системам» Риччи, Рока и Шапира определяют рекомендательные системы (РС) как «инструменты и методы программного обеспечения, которые составляют предположения о том, какие объекты могут быть полезны пользователю. Эти предположения относятся к различным ситуациям, в которых нужно принять решение, например, какой товар купить, какую музыку послушать, какие онлайн- новости почитать.
«Объект» - это общий термин, который используется для обозначения того, что система рекомендует пользователям. Обычно РС фокусируется на определённом типе объекта (например, компактные диски или новости) и в соответствии с этим подбираются дизайн объекта, пользовательский интерфейс и основной метод рекомендации, чтобы в результате обеспечить пользователя полезными и эффективными предположениями об этом типе объекта» (Ricci, Rokach and Shapira, 2015).
Рекомендательные системы позволяют решить проблему избытка информации путём предоставления персонализированных предположений, основанных на истории лайков и дислайков пользователя (Melville, Mooney and Nagarajan, 2002).
Одним из видов ресурсов, где наиболее часто используются рекомендательные системы, является онлайн-торговля. В своей статье «Рекомендательные приложения в электронной торговле» Шафер, Констан и Ридл говорят о том, что развитие электронной торговли и появление онлайн- магазинов позволило их владельцам предоставить пользователям более широкий выбор. Расширение выбора в свою очередь привело к увеличению количества информации, которую покупатель должен обработать, прежде чем выбрать то, что соответствует его нуждам. Чтобы справиться с этим избытком информации, в онлайн-магазинах применяют принципы массовой кастомизации не к продуктам, а к тому, как они представлены в онлайн- магазине. Одним из способов достижения массовой кастомизации является использование рекомендательных систем (Shafer, Konstan, Riedl, 2001).
Таким образом, предполагается, что использование РС выгодно как для пользователей, так и для владельцев (и разработчиков) сайтов. Однако не всегда система может обеспечить пользователя хорошей рекомендацией, что может привести к тому, что пользователь перестанет верить системе или видеть в ней пользу и в конечном счёте компания может потерять клиента или получить негативные отзывы.
Целью данной работы является разработка механизма анализа отзывов, направленного на увеличение качества предоставляемых системой рекомендаций, а также на увеличение уровня доверия пользователей к системе.
Для достижения этой цели требуется решить следующие задачи:
1. Проанализировать наиболее важные проблемы, возникающие при работе рекомендательных систем, и понять, как можно использовать инструмент анализа отзывов для их решения.
2. Сравнить основные типы рекомендательных систем, рассмотреть их преимущества и недостатки. Выбрать самые оптимальные алгоритмы.
3. Разработать методику анализа отзывов.
4. Разработать программу для автоматического анализа отзывов.
5. Проанализировать собранные отзывы с помощью разработанного инструмента.
6. Провести оценку полученных результатов.
Новизна данной работы заключается в следующем:
1. Совмещение метода, основанного на анализе нескольких атрибутов, и метода, основанного на анализе отзывов, при создании рекомендательной системы.
2. Анализ отзывов производится на основании упоминания определённого параметра в определённом блоке, а не на основании анализа тональности.
3. Система формирует рекомендации в виде подробного описания анализируемого продукта, выставляя ему оценки по каждому параметру. Система ориентирована на построение профиля продукта.
4. Словари, на основании которых производится анализ отзывов, были составлены с помощью инструмента “Sketch Engine” (https://the.sketchengine.co.uk).
Это исследование представляет практическую значимость, так как разработанная программа не имеет аналогов и при этом показывает достаточно хорошие результаты. Следовательно, использование разработанной технологии может способствовать увеличению качества работы рекомендательных систем, решению возникающих проблем и развитию сферы рекомендательных систем в целом. Результаты, полученные в ходе проведённого исследования, можно использовать для составления рекомендаций других типов, отличных от приведённых в этой работе.
В ходе данного исследования были выполнены следующие задачи:
1. Проведён анализ проблем, возникающих при работе рекомендательных систем, предложены пути их решения с помощью использования инструмента автоматического анализа отзывов.
2. Проведён сравнительный анализ существующих алгоритмов рекомендаций, изучены основные преимущества и недостатки существующих РС.
3. На основании рассмотренной таксономии разработана методика алгоритма рекомендаций, основанного на пользовательских отзывах.
4. С учётом разработанной методики составлены словари, необходимые для автоматического анализа отзывов.
5. Разработана программа автоматического анализа отзывов.
6. Проведён анализ собранных отзывов с помощью разработанного инструмента.
7. Произведена оценка полученных результатов. Предложены пути решения возникших в ходе работы осложнений.
8. Рассмотрены возможности дальнейшего усовершенствования алгоритма.
В результате данного исследования была разработана программа для автоматического анализа отзывов в рекомендательных системах. Проанализировав результаты работы программы, мы пришли к выводу, что данный инструмент отличается очень хорошими показателями (на основании мер, расчитанных в разделе 4.4.) и предоставляет рекомендации, максимально приближенные к реальным предпочтениям пользователей. Отметим также, что система составляет рекомендации на о сновании отзывов других пользователей, за счёт чего может обеспечить увеличение уровня доверия к ресурсу и к предоставляемым рекомендациям.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
