ОГЛАВЛЕНИЕ 2
ВВЕДЕНИЕ 3
ГЛАВА 1. ЛИНГВИСТИЧЕСКИЕ ИССЛЕДОВАНИЯ КАТЕГОРИИ ЭМОЦИОНАЛЬНОСТИ 7
1.1 Теоретические подходы к исследованию эмоциональности 7
1.2 Модели эмоций и тональности 10
1.3 Методы определения эмоций в тексте 14
1.4 Метрики оценки качества моделей классификации 23
ГЛАВА 2. ИССЛЕДОВАНИЯ КОРПУСОВ СОЦИАЛЬНЫХ СЕТЕЙ В ОБЛАСТИ ТОНАЛЬНОЙ И ЭМОЦИОНАЛЬНОЙ ОЦЕНКИ 27
ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ ЭМОЦИОНАЛЬНОЙ ОКРАСКИ ПОСТОВ И СЛОВОСОЧЕТАНИЙ 33
3.1 Сбор и разметка экспериментального корпуса эмоционально окрашенных
текстов 33
3.2 Эксперименты по автоматической классификации постов методами
машинного обучения 43
3.3 Результаты оценки эмоциональной окраски текста постов 45
3.4 Модель на основе rubert-tiny2 51
3.5 Оценка эмоциональной окраски словосочетаний 52
ЗАКЛЮЧЕНИЕ 60
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 62
ПРИЛОЖЕНИЕ А. СПИСОК ПОПУЛЯРНЫХ ГРУПП «ВКОНТАКТЕ» НА 5 ФЕВРАЛЯ 2023 ГОДА 68
ПРИЛОЖЕНИЕ Б. ВИЗУАЛИЗАЦИЯ СЛОВОСОЧЕТАНИЙ ДЛЯ КЛАССОВ ЭМОЦИЙ И ТОНАЛЬНОСТИ 74
ПРИЛОЖЕНИЕ В. МЕТРИКИ ОЦЕНКИ КАЧЕСТВА КЛАССИФИКАЦИИ ДЛЯ МЕТОДОВ С НАИЛУЧШИМИ ПОКАЗАТЕЛЯМИ
На данный момент общение в интернете, в частности общение в социальных сетях, является значимой частью жизни многих людей. В социальной сети чаще происходит неформальное эмоционально окрашенное общение, поэтому текст сообщений, размещённых в публичном пространстве, можно использовать для оценки эмоциональной окраски текста. Уже не одно десятилетие до статочно много внимания исследователи уделяют анализу тональности и эмоциональной окраски текста и речи. В данной работе представлено исследование по оценке эмоциональной окраски постов и словосочетаний в этих постах в социальной сети «ВКонтакте».
Актуальность работы обуславливается интересом автора и научного сообщества к рассмотрению эмоциональной окраски текста с лингвистической точки зрения, а также значительным вниманием исследователей к задаче анализа тональности текстов. Оценка эмоциональной окраски текстов имеет множество практических применений, например, в маркетинге, в приложениях при работе с клиентами, в политологии при работе с политически окрашенными текстами, в здравоохранении. Изучается потенциал анализа эмоций для выявления и предотвращения различных форм онлайн-злоупотреблений, например, запугивания пользователей. Кроме того, растёт интерес к тому, как эмоции передаются в разных языках и культурах, и как это может повлиять на оценку эмоциональной окраски различной информации [28]. Большой интерес исследователей вызывает межъязыковой анализ тональности [42].
Новизна исследования заключается в том, что выделены классы эмоций с учётом тональности для коротких текстов сообщений на основе эмодзи из социальной сети «ВКонтакте» для русского языка и проведены эксперименты по оценке качества методов машинного обучения на данных с выделенными классами. В данном исследовании предлагается комбинация тонального анализа и анализа эмоций, адаптированная шкала эмоций, выражение эмоций на уровне выделенных словосочетаний. Новизна представленной в исследовании разметки заключается в том, что используются эмодзи в качестве основания для разметки.
Эмодзи — это цифровые изображения или значки, которые используются в текстовых сообщениях в различных социальных сетях, в том числе «ВКонтакте». Язык эмодзи своего рода графический язык, где вместо слов используются сочетания картинок. Впервые эмодзи появились в Японии и распространились по всему миру. В настоящее время использование эмодзи до статочно популярно и доступно в самых разных стилях и дизайнах. Популярность эмодзи обусловлена тем, что они могут передавать эмоции и добавлять контекст к текстовому общению. В некоторых случаях эмодзи помогают преодолевать языковые барьеры и делают общение более доступным среди людей, которые владеют разными языками.
Объектом исследования является эмоционально-оценочный компонент в постах социальной сети «ВКонтакте». Пост в социальной сети — это публикация информации, которой делятся пользователи социальной сети. В данном исследовании рассматривается текстовая информация. Предметом исследования являются лингвистические средства выражения эмоциональной оценки содержания постов, прежде всего, на уровне словосочетаний.
Целью исследования является изучение возможностей определения эмоциональной окраски текста постов и словосочетаний в них на русском языке методами машинного обучения, используя текстовые данные, собранные из публичных сообществ в социальной сети «ВКонтакте».
Для достижения цели исследования необходимо было выполнить следующие задачи:
1) собрать текстовые данные постов из социальной сети «ВКонтакте»;
2) выполнить отбор постов, наиболее подходящих для цели исследования;
3) провести оценку используемых в собранных данных эмодзи, распределить их по классам эмоций и тональности;
4) автоматически разметить выбранные данные по сформированным классам эмоций и тональности;
5) выделить словосочетания из текста постов, которые распределены по классам эмоций и тональности;
6) провести эксперименты с помощью методов машинного обучения таких как, логистическая регрессия (Logistic Regression), наивный байесовский классификатор (Gaussian NB), метод опорных векторов (SVM), градиентный бустинг (Gradient Boosting), случайный лес (Random Forest), классификатор дерева решений (Decision Tree Classifier), также провести эксперименты нейросетевыми методами (одномерная свёрточная нейросеть CNN, рекуррентная нейросеть LSTM и рекуррентная нейросеть GRU);
7) провести оценку результатов экспериментов по метрикам качества F1-меры;
8) сделать выводы о возможности оценки эмоциональной окраски текста постов и словосочетаний в них методами машинного обучения.
Материалом исследования являются посты на русском языке в социальной сети «ВКонтакте» и словосочетания, которые встречаются в этих постах. Посты получены с помощью открытого API (Application Programming Interface), которым можно пользоваться для сбора данных. Данные взяты из 100 наиболее популярных сообществ «ВКонтакте» на 5 февраля 2023 года. Статистика по самым популярным сообществам взята с сайта «TOPPOST» . Со списком выбранных групп можно ознакомиться в Приложении А. Выбор постов из социальной сети «ВКонтакте» в качестве материала исследования обусловлен тем, что данная социальная сеть является популярной платформой, которой пользуются русскоязычные пользователи. В постах пользователи выражают собственное мнение и открыто взаимодействуют посредством различных реакций (лайки, комментарии, репосты). Данное исследование выполнено на материале русского языка.
В качестве методов исследования выбраны методы машинного о бучения (логистическая регрессия (Logistic Regression), наивный байесовский классификатор (Gaussian NB), метод опорных векторов (SVM), градиентный бустинг (Gradient Boosting), случайный лес (Random Forest), классификатор дерева решений (Decision Tree Classifier)) и нейросетевые методы (одномерная свёрточная нейросеть CNN, рекуррентная нейросеть LSTM и рекуррентная нейросеть GRU), которые в последнее время активно применяются в задачах анализа тональности, в частности для определения эмоций в тексте.
Теоретическая значимость исследования состоит в систематизации приёмов анализа эмоциональной окраски и тональности текста с учётом экстралингвистический маркеров (эмодзи). Практическая значимость состоит в том, что в результате исследования был получен набор данных с разметкой эмоций, который может быть использован как эталон для оценки эффективности работы новых моделей и алгоритмов, создаваемых для решения рассматриваемой проблемы.
Структура работы включает в себя введение, 3 главы, заключение, список литературы из 59 наименований и 3 приложения.
В ходе данного исследования было предложено решение проблемы оценки эмоциональной окраски русскоязычного текста постов и словосочетаний в этих постах методами машинного обучения с использованием размеченных на основе эмодзи текстовых данных, собранных из публичных групп в социальной сети «ВКонтакте», тем самым, поставленная цель была достигнута.
В данной работе представлена оценка эмоциональной окраски постов и словосочетаний в них из социальной сети «ВКонтакте», описан процесс получения, обработки и использования полученного набора данных . Приводятся результаты экспериментов с использованием методов машинного обучения с оценкой работы методов по метрикам качества классификации. По оценке качества классификации текста постов и словосочетаний в них лучший результат по метрике Fl-мера macro = 69.70% показала модель BoW +VotingClassifier (soft) (мешок слов + ансамблевый метод с мягким голосованием) на лемматизированном тексте c пунктуацией и с эмодзи. Лучшие результаты по метрике качества классификации F1-мера weighted получены для модели рекуррентной нейросети GRU F1-мера weighted = 83.74% и дообученной модели на основе rubert-tiny2 F1-мера weighted = 92.92%.
С практической точки зрения, результаты исследования могут быть использованы для анализа мнений, анализа отзывов клиентов, мониторинга социальных сетей. Оценка эмоциональной окраски текста может быть полезна во многих ситуациях, например, для того, чтобы понять какое настроение выражено в тексте. Понимая эмоции, выраженные в тексте, организации могут лучше учитывать потребности и предпочтения своих клиентов и соответствующим образом скорректировать стратегии своей деятельности. Понимание эмоций можно использовать в личном общении, чтобы оценить настроение человека и отреагировать соответствующим образом. В целом, оценка эмоциональной окраски текста может помочь улучшить общение, укрепить отношения и принимать более взвешенные решения.
Так как эксперты не размечали полученные данные, а использовалась автоматическая разметка постов на основании встречающихся в этих постах эмодзи, в дальнейшем планируется провести экспертную оценку полученной автоматической разметки постов по выделенным классам. Дальнейшие планы связаны с проведением экспериментов на сбалансированных данных. В будущем можно продолжить исследование с использованием текстов с другими параметрами по количеству эмодзи и токенов в тексте.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
