Введение
Глава 1. Применение методов интеллектуального анализа данных в бизнесе ...........6
1.1 Предпосылки для интеллектуального анализа данных
1.2 Бизнес-кейсы использования машинного обучения на текстовых
данных в сфере маркетинга
Глава 2. Методы машинного обучения для обработки естественного языка ...........21
2.1 Предварительная обработка текста
2.2 Извлечение признаков для классификации
2.3 Методы, основанные на деревьях
2.4 Модели классификации на основе искусственных нейронных сетей .............34
Глава 3. Практическое использование методов интеллектуального анализа
данных для обработки информации на естественном языке
3.1 Использование библиотек языков программирования для обработки текстов
3.2 Описание исходных данных для практической реализации методов..............43
3.2 Построение нейросетевых моделей для распознавания тональности текста
3.3 Построение моделей, основанных на деревьях
3.4 Word2Vec и сверточные нейронные сети
3.5 Применение полученных моделей для формирования маркетинговой стратегии
Заключение
Список использованных источников
Приложение 1. Пример используемых данных
Приложение 2. Реализация в Python
Приложение 3. Облака слов.
Приложение 4. Опрос
Список таблиц
Список рисунков..
Последние несколько лет большое внимание как в научных публикациях, так
и в СМИ уделяется интеллектуальному анализу данных. Теперь регулярно в заголовках статей и журналов фигурируют понятия: большие данные, машинное и глубокое обучение, искусственный интеллект. Если посмотреть на ученых с самым высоким индексом Хирша в области компьютерных наук, то работы первых 10 тем или иным образом связаны с разработкой методов интеллектуального анализа данных и
его применения в различных областях. [1] Наиболее популярной сферой применения, не считая IT, является биоинформатика. Что касается работ, связанных с экономикой, то их заметно меньше и наиболее развитой сферой являются финансы. Однако учитывая наличие большой базы инструментов для машинного обучения, исследования в сферах, связанных с экономикой выглядят очень перспективно. Еще одной
причиной так считать является стремительный рост информации, доступной для
анализа. Но большая ее часть формируется пользователями в виде текста в социальных сетях, форумах и блогах. Для ее изучения раньше было принято назначать специалистов из службы поддержки или работы с клиентами. Однако, если продукт
становится популярным, то упоминаний о нем становится так много, что просмотреть их все с помощью людей может стать невозможно или экономически невыгодно. Именно этим обусловлена актуальность данной работы.
Цель дипломной работы – разработка методики проведения маркетингового
исследования на основе интеллектуального анализа данных на примере модели обработки отзывов о ресторанах, определяющей эмоциональный окрас отзыва. Данные
были взяты из публичного датасета, предоставляемого компанией Yelp, для академических исследований. В нем содержится более 4 миллионов отзывов о различных
заведениях от более чем 1 миллиона пользователей. Помимо отзывов также предоставляются подробные сведения о каждой организации, включающие в себя более 90 характеристик, а также информация о пользователях.
Объектом исследования являются компании ресторанного бизнеса. Предметом – процесс формирования маркетинговой стратегии развития ресторана с учетом информации, содержащейся в отзывах клиентов.
Были поставлены следующие задачи:
• Поиск практических примеров использования анализа отзывов с помощью машинного и глубокого обучения;5
• Изучение методов интеллектуального анализа текстов;
• Подготовка данных для построения модели;
• Построение моделей;
• Анализ полученных результатов и выбор лучшей модели.
Данная работа включает в себя три главы. В первой изучается значимость интеллектуального анализа данных отзывов для компаний. Во второй рассматриваются
существующие на данный момент методы и подходы к определению тональности
текстов, а в третьей – изученные методы применяются на практике и сравниваются между собой.
В ходе данной работы были рассмотрены основные сферы применения методов обработки текстовых данных в бизнесе, а также найдены конкретные примеры
их применения в маркетинге. Были опробованы различные методы обработки текстов и определения их тональности. Лучший результат показали нейронные сети
прямого распространения, на вход которым подавался мешок слов с биграммами с
TF-IDF взвешиванием и размером словаря 10 000 слов, а также рекуррентные
нейронные сети с GRU нейронами. Также было установлено, что оценка по пятибалльной шкале довольно субъективна и каждый человек может оценить один и тот
же текст по-разному. В проведенном эксперименте нейронная сеть сработала даже
несколько точнее, чем участники опроса.
Результаты проведенного исследования позволяют сделать вывод, что с помощью машинного обучения возможно достичь приемлемой точности для задачи
распознавания тональности высказывания, что позволяет в реальном времени отслеживать реакцию пользователей на продукты и деятельность компании. Данные для
обучения моделей можно получить с помощью API крупных сервисов рекомендаций. Для заведений в России в частности может быть использован Foursquare API
или TripAdvisor API. В дальнейшем для более широкой картины можно брать комментарии и посты пользователей в социальных сетях. Чтобы получить представление о том, что именно нравится пользователям в какой-то сфере, а что вызывает у
них раздражение можно воспользоваться тематическим моделированием, облаками
слов и Word2Vec. Предложенные инструменты позволяют частично автоматизировать данный процесс и узнать мнение большего числа клиентов, нежели обычные
опросы. Но учитывая тренды поведения пользователей социальных сетей, для будущих исследований интерес представляет анализ тональности фотографий и видеозаписей пользователей, а также коротких текстовых сообщений, которые относятся к
этим фотографиям и видео. Так по результатам исследований в 2017 году доля видео
контента от всей информации в сети составит 74%, твитами с картинками делятся в
1,5 раза чаще, чем без картинок, в Facebook посты с картинками собирают просмотров больше в 2.3 раза, в декабре 2016 года Instagram, платформа, содержащая больше
всего фотографий и коротких видео, объявила о росте пользовательской базы на 100
миллионов за полгода, а на данный момент сервисом пользуется более 700 миллионов человек.[42][43] Таким образом, гораздо больше информации можно получить, анализируя не только тексты, но и фото и видео контент
Помощь студентам и аспирантам в выполнении работ от наших партнеров
