ОГЛАВЛЕНИЕ 2
ГЛОССАРИЙ 3
ВВЕДЕНИЕ 4
1 Исследование проблемы 6
2 Применение теории машинного обучения 8
2.1 Понятие машинного обучения 8
2.2 Типы машинного обучения 10
2.3 Работа с данными 12
3 Подходы для анализа и обнаружения поддельных отзывов 16
3.1 Сверточные нейронные сети 16
3.2 Метод k-ближайших соседей 17
3.3 Рекуррентная нейронная сеть 18
3.4 LSTM 19
3.5 Метод опорных векторов 20
4 Реализация 23
4.1 Инструменты 23
4.2 Проектирование архитектуры 23
4.3 Создание набора данных 24
4.3.1 Сбор данных 24
4.3.2 Предварительная обработка данных 29
4.3.3 Извлечение признаков 31
4.3.4 Разработка алгоритма. 42
4.3.5 Оценка точности 44
ЗАКЛЮЧЕНИЕ 47
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 48
Разработка систем анализа данных в сети «Интернет», а также построение сервисов на их основе, представляют собой перспективное направление в области информационных технологий [1].
Интернет, социальные сети, мобильные приложения и другие цифровые коммуникационные технологии стали частью повседневной жизни миллиардов людей по всему миру. Согласно последним статистическим данным, в начале года численность интернет-аудитории достигла 4,95 миллиарда пользователей, что составляет 62,5% мирового населения [2]. Это неизбежно ведет к тому, что все больше обычных процессов как населения, так и предприятий становятся связаны со всемирной сетью, где основной ценностью является информация.
Из-за переизбытка различных материалов в сети «Интернет», в медиапространстве возникает информационный шум [3], который представляет из себя информацию, имеющую неструктурированный, противоречивый и откровенно недостоверный характер. Главная задача такого рода информации - получение выгоды, за счет дезинформации пользователей сети.
Одна из областей, где активно встречается ложная информация - отзывы к товарам и услугам в интернет-магазинах. Значительное большинство потребителей читают отзывы и рекомендации других пользователей и делают свой выбор, основываясь на них. Онлайн-обзоры товаров, как форма электронного сарафанного радио, являются основными факторами, влияющими на решения потребителей о покупке.
Разрабатываемый алгоритм позволит получать объективную оценку отношения потребителей к продукту, а читателей к информации, полученной на основе выявления реальных или ложных («фейковых», «проплаченных») отзывов и материалов, размещаемых в сети «Интернет». Таким образом, пользователь комплекса сможет получить объективную оценку товаров и услуг на рынке, (что полезно как производителю, так и потребителю), объективную реакцию на публикуемые информационные материалы (изучение общественного мнения крайне важно для управления в социальной сфере). Следовательно, исследуемая в работе тематика является актуальной.
Практическая направленность работы определяется перспективой дальнейшего развития — заинтересованность Томского центра исследований и разработок ПАО НПО «Алмаз» и IT-компании Integra Sources, а также участие в конкурсе проектов Фонда содействия инновациям.
Целью работы является разработка интеллектуальной системы, способную выявлять фальшивые отзывы, для решений в бизнес-аналитике.
Для достижения цели поставлены следующие задачи:
1. Провести анализ основных положений теории машинного обучения;
2. Выполнить анализ существующих методов выявления фальсифицированных отзывов;
3. Выбрать инструменты реализации проекта;
4. Спроектировать архитектуру приложения;
5. Создать выборку данных для обучения нейронной сети;
6. Разработать алгоритм выявления фальсифицированных отзывов;
7. Реализовать оценку точности работы алгоритма.
Основное содержание работы для достижения поставленной цели заключается в разработке алгоритма, его реализации и последующем тестировании.
В процессе выполнения данной работы были выполнены все поставленные задачи. Цель работы была достигнута.
Результатом работы является реализованная интеллектуальная система, которая позволяет эффективно анализировать персональные данных в бизнес-аналитике.
В дальнейшем планируется расширить данную систему, чтобы помимо самих данных, система анализировала еще и метаданные, что позволит с большей точностью анализировать информацию.
На практике планируется развивать проект у инвестора (ПАО НПО «Алмаз», Integra Sources и т.д.) или самостоятельно (Фонд содействия инновациям и др.), а также усовершенствовать работу алгоритма, который в дальнейшем будет представлен в магистерской диссертации.
