Содержание 1
1 Введение 3
1.1 Введение 3
1.2 Цель работы 5
1.3 Постановка задач 6
2 Описание предметной области 7
2.1 Анализ тональности текста 7
2.2 Модели представления текста 8
2.3 Методы, основанные на векторных пространствах (semantic spaces) 10
2.4 Методы, основанные на словарях (тезаурусах) 13
2.5 “Bag of words” 14
2.6 Word2Vec 16
2.7 Doc2Vec 20
2.8 Support Vector Machine (SVM) 24
2.9 Random forest 25
3 Данные 27
3.1 Данные 27
3.2 Про сбор данных 29
3.3 Словарь тональности 32
4 Использование методов и моделей 33
4.1 «Мешок слов» 33
4.2 Word2Vec 34
4.3 Doc2Vec 38
4.4 Классификаторы, использовавшиеся для определения тональности: SVM 39
4.4 Классификаторы, использовавшиеся для определения тональности:
Random Forest 40
4.5 Проведение экспериментов 42
5 Экспериментальная часть 43
5.1 Оценка эффективности классификаторов 43
5.2 Эксперименты 46
5.3 Обобщение результатов экспериментов 51
5.4 Заключение 53
Список использованной литературы 54
Купить

Согласно исследованиям Forrester за последний период [1], всё большее число компаний для целей маркетинга и оценки уровня удовлетворенности потребителя используют анализ данных. Это помогает повышать показатели CLV (Customer Lifetime Value) и отслеживать лояльность к продуктам. Один из источников получения таких данных - медийные ресурсы, предоставляющие рецензии на услуги и товары. Помимо отслеживания показателей, использование методов анализа данных сделало возможными поиск и подбор товаров и услуг по определенным положительным или отрицательным аспектам, которые были извлечены, опираясь на отзывы пользователей. Кроме того, открываются новые возможности для использования в контекстной рекламе, которую можно выстраивать на основе положительных отзывов о товаре на интернет-странице с высказываниями.
Среди ресурсов, содержащих качественные отзывы покупателей, большую часть составляют различные интернет-магазины. Как правило, подобные сайты поддаются анализу отзывов из-за наличия детерминированной структуры и возможностей для поиска/фильтрации отзывов. Несмотря на неоднородность отзывов (они, как правило, содержат в себе как негативные, так и позитивные высказывания о различных аспектах и характеристиках товара), используя методы интеллектуального анализа текста, извлекать из рецензий тональность.
В середине прошлого столетия началось изучение возможностей создания математических моделей нейронных сетей, начало которым было положено в статье [2]. Основной мотивацией и идеей построения нейронной сети является моделирование нейронных сетей в человеческом мозге, работающий с помощью последовательности нейронов, соединенных между собой синапсами и передающих между собой информацию в виде электрических импульсов. Такие модели успешно справляются с задачами аналитических вычислений и генерирования новых данных, основываясь на изученном материале. В основе любой нейронной сети - совокупность элементарных вычислительных единиц, ответственных за обработку информации, накопление экспериментальных знаний и передачу информации для последующей обработки другим единицам. Нейронная сеть главным образом схожа с мозгом по следующим причинам:
- знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения;
- для накопления знаний применяются связи между нейронами, называемыми синаптическими весами.
Нейросетевые модели и глубинное обучение успешно справляются с проблемой определения тональности текста: задача подразумевает обучение классификатора, способного определять тональность пользовательских отзывов на основе обработки размеченного набора документов.

Купить