Введение 4
1. Постановка задачи 6
2. Обзор литературы 7
2.1. Подходы, основанные на правилах и словарях 7
2.2. Машинное обучение с учителем 7
2.3. Машинное обучение без учителя 8
3. Используемые методы 9
3.1. Постановка задачи классификации 9
3.2. Классификаторы 9
3.2.1. Метод опорных векторов (SVM) 9
3.2.2. Наивный байесовский классификатор 11
3.3. Извлечение признаков 13
4. Описание набора данных 14
4.1. Наборы данных 14
4.2. Предобработка данных 15
5. Результаты экпериментов 16
5.1. Структура экспериментов 16
5.2. Методы оценки 16
5.3. Корпус автоматически размеченных текстов 17
5.4. Классификация тестовых коллекций 18
5.5. Вывод 19
Заключение 20
Список литературы 21
За последние несколько лет можно наблюдать большой рост в использовании социальных сетей и платформ для микроблоггинга, которые стали очень популярным инструментом для общения среди пользователей Интернета. Миллионы сообщений появляются каждый день на таких сервисах как Twitter, Facebook, Vk. Авторы таких сообщений пишут об их жизни, делятся своими мнениями на различные темы и обсуждают злободненвные вопросы.
Так как все больше и больше пользователей пишут о продуктах, услугах, которые они используют, или выражают свои политические и религиозные взгляды, сайты для микроблоггинга становятся ценным источником информации о людях. Такие данные могут эффективно использоваться во многих областях, таких как маркетинг, реклама, медицина, психология и социологические исследования.
Обработка текстов вручную с целью извлечения полезной информации требует слишком много времени и человеческих ресурсов. В большинстве случаев данны так много, что это делает данную задачу неосуществимой. Для решения этой проблемы существуют различные автоматические методы анализа текста на естестественных языках, в том числе автоматический анализ тональности текстов.
Основной задачей анализа тональности текстов является извлечение эмоциональной окраски из текстов. Эмоциональная окраска может определяться как ’’положительная”, ’’отрицательная” или же может принимать значения из некоторого промежутка, например от 0 до N. В данной области проводится все больше и больше исследований, и на данный момент существует много различных подходов, которые уже применяются при решении большого количества практических задач.
С помощью такого анализа текстов компании могут отслеживать то, как потребители относятся к их продукции и предоставляемым услугам. Полученные знания могут быть использованны для дальнейшего анализа и разработки новых маркетинговых стратегий. Также широкое применение можно найти в области социологических исследований. С помошью анализа эмоциональной окраски текстов можно узнавать о том как люди относятся к тому или иному событию, явлению, предмету. Используя данные из социальных сетей и автоматические методы обработки текстов, возможно получить эффективный и быстрый инструмент для извлечения наиболее релевантной информации об обществе.
Одной из наиболее популярных платформ, где пользователи постоянно делятся своими мнениями, является Twitter. Twitter предоставляет удобный API для быстрого сбора сообщений пользователей - твитов. У твитов существует ряд особенностей, которые могут представлять сложности в использовании традиционных методов анализа текстов. На длину твита существует ограничение - 140 символов, также используется неформальная речь с обилием сокращений, хэштегов, эмотиконов и упоминаний других пользователей.
В данной работе будет рассматриваться задача автоматического анализа тональности русскоязычных текстов, собранных с платформы Twitter. Информация, полученная при применении методов анализа эмоциональной окраски текстов, в дальнейшем может использоваться в социологических исследованиях.
В ходе данной работы были решены поставленные задачи и достигнуты следующие результаты:
• Изучены основные методы для автоматическое определения тональности текстов.
• Собраны данные для обучения и тестирования классификаторов, а также проведена их предобработка.
• Проведено сравнение методов обучения с учителем для решения задачи классификации по тональности текстов на русском языке. Анализировались результаты применения наивный байесовского классификатора, метода опорных векторов при использовании различных способов извлечения признаков.
• Получен вывод о сложности задачи и зависимости результатов от конкретной предметной области.
