Автоматическое выявление и классификация языка вражды (на материале корпуса сообщений из чата видеоигры Dota 2)
|
Аннотация 2
ВВЕДЕНИЕ 3
1 Язык вражды 7
1.1 Явление языка вражды в интернет-коммуникации 7
1.2 Язык вражды в видеоигровой онлайн-коммуникации 9
1.2.1 Негативное влияние языка вражды 9
1.2.2 Язык вражды в Dota 2 10
1.3 Термин язык вражды 13
1.4 Отличие языка вражды от схожих терминов 15
2 Составление корпуса DoSpeHa 18
2.1 Примеры корпусов языка вражды 18
2.2 Проблема объективности при аннотировании языка вражды 21
2.3 Инструкция для аннотирования корпуса как вспомогательный инструмент 22
2.4 Корпус DoSpeHa 24
2.4.1 Инструкция по аннотированию корпуса DoSpeHa 24
2.4.2 Результат разметки 27
3 Автоматическое выявление языка вражды и обсценной лексики в чате Dota 2 34
3.1 Предобработка корпуса 34
3.2 Используемые способы векторизации 37
3.3 Используемые методы классификации 40
3.3.1 Классические методы машинного обучения 41
3.3.2 Нейронные сети 44
3.4 Классификация языка вражды 47
3.5 Классификация обсценной лексики 52
ЗАКЛЮЧЕНИЕ 58
Список использованных источников и литературы 60
ПРИЛОЖЕНИЕ А 65
ВВЕДЕНИЕ 3
1 Язык вражды 7
1.1 Явление языка вражды в интернет-коммуникации 7
1.2 Язык вражды в видеоигровой онлайн-коммуникации 9
1.2.1 Негативное влияние языка вражды 9
1.2.2 Язык вражды в Dota 2 10
1.3 Термин язык вражды 13
1.4 Отличие языка вражды от схожих терминов 15
2 Составление корпуса DoSpeHa 18
2.1 Примеры корпусов языка вражды 18
2.2 Проблема объективности при аннотировании языка вражды 21
2.3 Инструкция для аннотирования корпуса как вспомогательный инструмент 22
2.4 Корпус DoSpeHa 24
2.4.1 Инструкция по аннотированию корпуса DoSpeHa 24
2.4.2 Результат разметки 27
3 Автоматическое выявление языка вражды и обсценной лексики в чате Dota 2 34
3.1 Предобработка корпуса 34
3.2 Используемые способы векторизации 37
3.3 Используемые методы классификации 40
3.3.1 Классические методы машинного обучения 41
3.3.2 Нейронные сети 44
3.4 Классификация языка вражды 47
3.5 Классификация обсценной лексики 52
ЗАКЛЮЧЕНИЕ 58
Список использованных источников и литературы 60
ПРИЛОЖЕНИЕ А 65
Область компьютерной лингвистики (CL) вместе с её инженерной ветвью обработки естественного языка (NLP) обрела огромную популярность среди исследователей. Она быстро преобразовалась из относительно малоизвестной области искусственного интеллекта и формальной лингвистики в процветающую научную дисциплину. Кроме того, она стала важной областью промышленного развития. Фокус исследований в области CL и NLP сместился с изучения небольших прототипов и теоретических моделей на надёжные системы обучения и обработки, применяемые к большим корпусам текстов.
Специалисты в области компьютерной социолингвистики (CSL) используют вычислительные инструменты для измерения взаимодействия между обществом и языком, включая стилистические и структурные особенности, которые отличают говорящих. Исследователи CSL могут использовать высказывания (как единицы коммуникации, произносимые одним говорящим для передачи одной мысли) для изучения лингвистических явлений, таких как синтаксис диалектов, семантика образных языков или прагматика юмора. Анализ на уровне высказываний также отражает временные состояния человека, такие как эмоции и коммуникативные намерения, или устойчивые качества индивида, такие как жизненная позиция и идеология. Одним из таких явлений является язык вражды (или hate speech) .
В рамках NLP автоматическое распознавание языка вражды является базовой задачей классификации. Тем не менее, за последние годы данная область стала привлекать все больше внимания среди исследователей.
Помимо социальной важности выявления и смягчения языка вражды, эта категория языка имеет большое значение для многих социальных учёных. Не только выявляя, но и систематически изучая язык ненависти, политологи могут отслеживать рост идеологий, основанных на ненависти, а социологи могут понять, как эти идеи распространяются через сеть и влияют на социальные движения. Обнаружение языка ненависти имеет решающее значение для снижения преступности и защиты убеждений людей. Подобные исследования особенно важны в условиях продолжающихся войн и других реальных бедствий, а также постоянно накапливающейся дезинформации. Одним из ярких примеров резкого роста языка вражды в интернете за последние годы стало негативное, оскорбительное и расистское отношение людей к Китаю после наступления пандемии COVID-19.
Несмотря на многочисленные исследования в этой области, язык вражды по- прежнему остаётся проблематичным и сложным вопросом. Как эксперты в данной области, так и модели машинного обучения испытывают трудности с обнаружением языка вражды из-за сложности и разнообразия его категорий.
Среди ведущих научных конференций, посвящённых языку вражды, можно выделить Sem-Eval, HASCOC и FIRE. Серия конференций Sem-Eval является одной из самых специализированных конференций по языку вражды. Конференция HASOC 2020, посвящённая трём языкам, а именно хинди, немецкому и английскому, содержала две задачи по обнаружению языка языка вражды: бинарную (hate/non-hate) и многоклассовую (hate, offensive, and profanity). Первоначальная задача FIRE2020 состояла в том, чтобы отличить неоскорбительную информацию от оскорбительной.
Настоящее исследование стремится привнести вклад в данную область исследования и посвящено автоматическому распознаванию языка вражды (hate speech) на основе сообщений из чата видеоигры Dota 2. Работа была проведена в два этапа. На первом этапе были собраны сообщения из чата видеоигры из открытого источника. Затем была составлена инструкция, которая помогла аннотаторам разметить сообщения по степени языка вражды в сообщении. Готовый корпус был предобработан для дальнейшего использования. На втором этапе были отобраны классические математические модели машинного обучения и нейронные сети для задачи классификации текстов по степени языка вражды и наличию ненормативной лексики.
Актуальность работы обусловлена современной заинтересованностью в исследовании деструктивной коммуникации в разных видах онлайн-коммуникации, а также проблемой в определении понятия языка вражды и его автоматического определения.
Во-первых, понятие «язык вражды» рассматривалось многими исследователями (Василенко Е. Н., Гладилин А. В., Евстафьева А. В., Hietanen, M., Eddebo, J., Fortuna P., Nunes S. и др.) с разных подходов.
Во-вторых, существует множество примеров составления корпуса языка вражды на разных языках (Assimakopoulos S., Muskat R., Plas L., Gatt A.; Diaz-Torres M. J., Moran- Mendez P. A. и др.) и попыток найти наиболее объективные способы для разметки подобных корпусов.
В-третьих, за последние годы появилось множество работ по теме автоматического распознавания языка вражды при помощи различных методов машинного обучения и попыток настроить собственные модели для данной задачи (Fortuna P., Nunes S., Ankita Gandhi, Param Ahir и др., Gyorgy Kovacs, и др., и т.д.).
Цель работы - формальная оценка эффективности методов машинного обучения для автоматического распознавания языка вражды на материале корпуса сообщений на русском языке из чата видеоигры Dota 2.
Задачи исследования:
1. Изучить литературу по теме языка вражды.
2. Собрать и разметить корпус сообщений чата видеоигры Dota 2.
3. Предобработать тексты сообщений в корпусе.
4. Векторизовать текст сообщений.
5. Описать подходы к задаче автоматического распознавания языка вражды в интернет-коммуникации.
6. Выполнить многоклассовую классификацию при помощи классических математических моделей и нейронных сетей.
7. Сравнить результаты обучения моделей.
Объектом исследования является процесс автоматизации распознавания языка вражды.
Предметом исследования являются методы машинного обучения для решения задачи распознавания языка вражды.
В качестве материала было использовано 35526 аннотированных вручную сообщений (общим объёмом 95023 слов) на русском языке из базы данных сайта OpenDota (https://www.opendota.com/).
Новизна исследования определяется тем, что в нём впервые проводится машинное обучение для задачи распознавания языка вражды на материале сообщений на русском языке из игры Dota 2.
Методы и приёмы исследования определяются целью работы и её этапами.
Для составления корпуса и анализа материала использовалась методология корпусной лингвистики. Для классификации сообщений использовалась методология и инструменты машинного обучения.
На первом этапе исследования был собран материал при помощи метода парсинга на языке программирования Python и библиотек Requests и Pandas. Затем была составлена инструкция методом проектирования для аннотирования корпуса на основе опыта предыдущих исследователей и размечен корпус методом аннотирования. В заключение был проведён статистический анализ полученной разметки.
На втором этапе тексты сообщений были предобработаны и векторизированы тремя разными методами (TF-IDF, Bert, fastText). Затем для машинного обучения были использованы классические модели (One-vs-All, Softmax-регрессия, SVM, Naive Bayes, Logistic Regression, Деревья решений, Случайный лес, LSVM) и нейронные сети (CNN, LSTM). В конце проводится статистический анализ полученных результатов при обучении.
Теоретическая значимость работы определяется тем, что наша инструкция может выступать в качестве примера для будущих исследований. Выведенное нами определение языка вражды будет способствовать дальнейшей разработке теории языка вражды и деструктивной, конфликтной коммуникации.
Практическая значимость работы обусловлена тем, что составленный нами корпус может быть расширен в будущем или использован для обучения классификационных моделей в исследованиях. Будущие исследователи могут отталкиваться от результатов нашего машинного обучения для задачи классификации текстов с языком вражды, улучшать эффективность и работоспособность моделей, которые мы использовали, или использовать иные модели.
Структура работы
Работа состоит из введения, 3 глав, заключения и списка литературы.
В первой главе рассматривается явление языка вражды в интернет-коммуникации, негативное влияние языка вражды на человека, а также проблема определения данного термина.
Вторая глава посвящена инструкции, которая была составлена для разметки нашего корпуса языка вражды для машинного обучения и описание полученного корпуса.
В третьей главе представляются результаты нашего машинного обучения на основе составленного корпуса.
Специалисты в области компьютерной социолингвистики (CSL) используют вычислительные инструменты для измерения взаимодействия между обществом и языком, включая стилистические и структурные особенности, которые отличают говорящих. Исследователи CSL могут использовать высказывания (как единицы коммуникации, произносимые одним говорящим для передачи одной мысли) для изучения лингвистических явлений, таких как синтаксис диалектов, семантика образных языков или прагматика юмора. Анализ на уровне высказываний также отражает временные состояния человека, такие как эмоции и коммуникативные намерения, или устойчивые качества индивида, такие как жизненная позиция и идеология. Одним из таких явлений является язык вражды (или hate speech) .
В рамках NLP автоматическое распознавание языка вражды является базовой задачей классификации. Тем не менее, за последние годы данная область стала привлекать все больше внимания среди исследователей.
Помимо социальной важности выявления и смягчения языка вражды, эта категория языка имеет большое значение для многих социальных учёных. Не только выявляя, но и систематически изучая язык ненависти, политологи могут отслеживать рост идеологий, основанных на ненависти, а социологи могут понять, как эти идеи распространяются через сеть и влияют на социальные движения. Обнаружение языка ненависти имеет решающее значение для снижения преступности и защиты убеждений людей. Подобные исследования особенно важны в условиях продолжающихся войн и других реальных бедствий, а также постоянно накапливающейся дезинформации. Одним из ярких примеров резкого роста языка вражды в интернете за последние годы стало негативное, оскорбительное и расистское отношение людей к Китаю после наступления пандемии COVID-19.
Несмотря на многочисленные исследования в этой области, язык вражды по- прежнему остаётся проблематичным и сложным вопросом. Как эксперты в данной области, так и модели машинного обучения испытывают трудности с обнаружением языка вражды из-за сложности и разнообразия его категорий.
Среди ведущих научных конференций, посвящённых языку вражды, можно выделить Sem-Eval, HASCOC и FIRE. Серия конференций Sem-Eval является одной из самых специализированных конференций по языку вражды. Конференция HASOC 2020, посвящённая трём языкам, а именно хинди, немецкому и английскому, содержала две задачи по обнаружению языка языка вражды: бинарную (hate/non-hate) и многоклассовую (hate, offensive, and profanity). Первоначальная задача FIRE2020 состояла в том, чтобы отличить неоскорбительную информацию от оскорбительной.
Настоящее исследование стремится привнести вклад в данную область исследования и посвящено автоматическому распознаванию языка вражды (hate speech) на основе сообщений из чата видеоигры Dota 2. Работа была проведена в два этапа. На первом этапе были собраны сообщения из чата видеоигры из открытого источника. Затем была составлена инструкция, которая помогла аннотаторам разметить сообщения по степени языка вражды в сообщении. Готовый корпус был предобработан для дальнейшего использования. На втором этапе были отобраны классические математические модели машинного обучения и нейронные сети для задачи классификации текстов по степени языка вражды и наличию ненормативной лексики.
Актуальность работы обусловлена современной заинтересованностью в исследовании деструктивной коммуникации в разных видах онлайн-коммуникации, а также проблемой в определении понятия языка вражды и его автоматического определения.
Во-первых, понятие «язык вражды» рассматривалось многими исследователями (Василенко Е. Н., Гладилин А. В., Евстафьева А. В., Hietanen, M., Eddebo, J., Fortuna P., Nunes S. и др.) с разных подходов.
Во-вторых, существует множество примеров составления корпуса языка вражды на разных языках (Assimakopoulos S., Muskat R., Plas L., Gatt A.; Diaz-Torres M. J., Moran- Mendez P. A. и др.) и попыток найти наиболее объективные способы для разметки подобных корпусов.
В-третьих, за последние годы появилось множество работ по теме автоматического распознавания языка вражды при помощи различных методов машинного обучения и попыток настроить собственные модели для данной задачи (Fortuna P., Nunes S., Ankita Gandhi, Param Ahir и др., Gyorgy Kovacs, и др., и т.д.).
Цель работы - формальная оценка эффективности методов машинного обучения для автоматического распознавания языка вражды на материале корпуса сообщений на русском языке из чата видеоигры Dota 2.
Задачи исследования:
1. Изучить литературу по теме языка вражды.
2. Собрать и разметить корпус сообщений чата видеоигры Dota 2.
3. Предобработать тексты сообщений в корпусе.
4. Векторизовать текст сообщений.
5. Описать подходы к задаче автоматического распознавания языка вражды в интернет-коммуникации.
6. Выполнить многоклассовую классификацию при помощи классических математических моделей и нейронных сетей.
7. Сравнить результаты обучения моделей.
Объектом исследования является процесс автоматизации распознавания языка вражды.
Предметом исследования являются методы машинного обучения для решения задачи распознавания языка вражды.
В качестве материала было использовано 35526 аннотированных вручную сообщений (общим объёмом 95023 слов) на русском языке из базы данных сайта OpenDota (https://www.opendota.com/).
Новизна исследования определяется тем, что в нём впервые проводится машинное обучение для задачи распознавания языка вражды на материале сообщений на русском языке из игры Dota 2.
Методы и приёмы исследования определяются целью работы и её этапами.
Для составления корпуса и анализа материала использовалась методология корпусной лингвистики. Для классификации сообщений использовалась методология и инструменты машинного обучения.
На первом этапе исследования был собран материал при помощи метода парсинга на языке программирования Python и библиотек Requests и Pandas. Затем была составлена инструкция методом проектирования для аннотирования корпуса на основе опыта предыдущих исследователей и размечен корпус методом аннотирования. В заключение был проведён статистический анализ полученной разметки.
На втором этапе тексты сообщений были предобработаны и векторизированы тремя разными методами (TF-IDF, Bert, fastText). Затем для машинного обучения были использованы классические модели (One-vs-All, Softmax-регрессия, SVM, Naive Bayes, Logistic Regression, Деревья решений, Случайный лес, LSVM) и нейронные сети (CNN, LSTM). В конце проводится статистический анализ полученных результатов при обучении.
Теоретическая значимость работы определяется тем, что наша инструкция может выступать в качестве примера для будущих исследований. Выведенное нами определение языка вражды будет способствовать дальнейшей разработке теории языка вражды и деструктивной, конфликтной коммуникации.
Практическая значимость работы обусловлена тем, что составленный нами корпус может быть расширен в будущем или использован для обучения классификационных моделей в исследованиях. Будущие исследователи могут отталкиваться от результатов нашего машинного обучения для задачи классификации текстов с языком вражды, улучшать эффективность и работоспособность моделей, которые мы использовали, или использовать иные модели.
Структура работы
Работа состоит из введения, 3 глав, заключения и списка литературы.
В первой главе рассматривается явление языка вражды в интернет-коммуникации, негативное влияние языка вражды на человека, а также проблема определения данного термина.
Вторая глава посвящена инструкции, которая была составлена для разметки нашего корпуса языка вражды для машинного обучения и описание полученного корпуса.
В третьей главе представляются результаты нашего машинного обучения на основе составленного корпуса.
Таким образом, автоматическое распознавание языка вражды стало одной из популярных задач для изучения за последние годы ввиду нехватки инструментов по автоматическому распознаванию языка вражды и данных, на основе которых инструменты могут быть улучшены. Интерес к данному феномену также объясняется тем, что многие современные компании, владеющие социальными сетями, хотят улучшить качество своих сервисов за счёт уменьшения количества нежелательной информации на сайтах.
Язык вражды не имеет чёткого универсального определения, на которое можно было бы опираться в работе. Ввиду данной проблемы, каждый исследователь стремится определить собственный подход и определение к языку вражды, в зависимости от материала, с которым он работает. Различные определения для данного термина имеют общие аспекты, а его определённая цель - подстрекательство к насилию или ненависти для атаки индивида или группы людей (часто выраженной в текстовой форме). При описании задачи по автоматическому распознаванию языка вражды исследователи используют множество схожих по смыслу терминов: offensive and abusive language, verbal attack, cyber-bullying и т.д. В российских исследованиях используют такие термины как язык ненависти, речь ненависти, риторика ненависти. В нашей работе было принято остановиться на таких понятиях, как язык вражды и обсценная лексика.
Для задачи автоматического распознавания языка вражды исследователи составляют свои корпуса, на основе которых происходит дальнейшее обучение нейронных сетей или моделей. Корпуса размечаются зачастую на самостоятельной основе исследователями, которые и сами выступают аннотаторами, и самым распространённым способом повысить качество разметки и согласия между аннотаторами, а также зафиксировать решения спорных моментов, является создание инструкции для аннотирования корпуса.
Ознакомившись с опытом предыдущих исследователей, мы составили свой корпус с языком вражды под названием DoSpeHa на основе сообщений на русском языке, взятых из чата видеоигры Dota 2. Нами была предпринята попытка создать свою инструкцию для более объективного аннотирования. По итогу разметки мы получили следующие результаты согласия между аннотаторами, которые были подсчитаны при помощи формулы: согласие по тегу Hate speech - 70,3%; согласие по тегу Profanity - 90,7%; согласие по тегу Relates to previous - 11,4%. Затем результаты аннотирования были объединены в общий корпус, где каждое сообщение получало тот тег, который выбрали больше аннотаторов.
Полученный корпус был подвержен процессу предобработки, в ходе которого были удалены лишние символы, стоп-слова и проведена лемматизация для проведения векторизации текста. Из-за сложности разграничения тегов Hate Speech 2 и Hate Speech 3, а также их семантической и лексической близости, было принято решение объединить их в один класс. Затем, корпус был разделен на два — для классификации языка вражды и обсценной лексики, каждый из которых был количественно сбалансирован для повышения точности моделей (по 2500 сообщений на класс для языка вражды и по 7200 сообщений на класс для обсценной лексики).
Для классификации применялись как классические методы (SVM (Linear SVM), Decision Tree, Random Forest, One-vs-All, Softmax (Logistic Regression), Naive Bayes), так и нейронные сети (CNN, LSTM). На корпусе с языком вражды наилучший результат многоклассовой классификации (macro F1 = 0.83) продемонстрировал SVM с векторизацией от fasttext, тогда как нейронные сети показали более скромные результаты - максимальный macro F1 = 0.70 для CNN с rubert-tiny2. В задаче бинарной классификации обсценной лексики Random Forest с fasttext достиг macro F1 = 0.93, а LSTM на том же векторизаторе - 0.90, что свидетельствует о сопоставимой эффективности методов.
Таким образом, результаты данного исследования демонстрируют, что рассмотренные методы могут быть успешно применены для автоматического распознавания языка вражды и обсценной лексики. Настоящая работа открывает перспективы для дальнейших исследований и разработок в области языка вражды. Так, составленный нами корпус может быть использован для других исследовательских задач машинного обучения. Для улучшения результатов классификации мы предлагаем рассмотреть несколько способов: увеличение количества текстов сообщений в составленном корпусе и их источников (других игр); доработка представленной инструкции или использование иных методов для аннотирования корпуса, в том числе автоматизированных; подключение более продвинутых методов машинного обучения и больших языковых моделей (LLM). В заключение, мы надеемся, что данное исследование может помочь в улучшении модерации чата видеоигр.
Язык вражды не имеет чёткого универсального определения, на которое можно было бы опираться в работе. Ввиду данной проблемы, каждый исследователь стремится определить собственный подход и определение к языку вражды, в зависимости от материала, с которым он работает. Различные определения для данного термина имеют общие аспекты, а его определённая цель - подстрекательство к насилию или ненависти для атаки индивида или группы людей (часто выраженной в текстовой форме). При описании задачи по автоматическому распознаванию языка вражды исследователи используют множество схожих по смыслу терминов: offensive and abusive language, verbal attack, cyber-bullying и т.д. В российских исследованиях используют такие термины как язык ненависти, речь ненависти, риторика ненависти. В нашей работе было принято остановиться на таких понятиях, как язык вражды и обсценная лексика.
Для задачи автоматического распознавания языка вражды исследователи составляют свои корпуса, на основе которых происходит дальнейшее обучение нейронных сетей или моделей. Корпуса размечаются зачастую на самостоятельной основе исследователями, которые и сами выступают аннотаторами, и самым распространённым способом повысить качество разметки и согласия между аннотаторами, а также зафиксировать решения спорных моментов, является создание инструкции для аннотирования корпуса.
Ознакомившись с опытом предыдущих исследователей, мы составили свой корпус с языком вражды под названием DoSpeHa на основе сообщений на русском языке, взятых из чата видеоигры Dota 2. Нами была предпринята попытка создать свою инструкцию для более объективного аннотирования. По итогу разметки мы получили следующие результаты согласия между аннотаторами, которые были подсчитаны при помощи формулы: согласие по тегу Hate speech - 70,3%; согласие по тегу Profanity - 90,7%; согласие по тегу Relates to previous - 11,4%. Затем результаты аннотирования были объединены в общий корпус, где каждое сообщение получало тот тег, который выбрали больше аннотаторов.
Полученный корпус был подвержен процессу предобработки, в ходе которого были удалены лишние символы, стоп-слова и проведена лемматизация для проведения векторизации текста. Из-за сложности разграничения тегов Hate Speech 2 и Hate Speech 3, а также их семантической и лексической близости, было принято решение объединить их в один класс. Затем, корпус был разделен на два — для классификации языка вражды и обсценной лексики, каждый из которых был количественно сбалансирован для повышения точности моделей (по 2500 сообщений на класс для языка вражды и по 7200 сообщений на класс для обсценной лексики).
Для классификации применялись как классические методы (SVM (Linear SVM), Decision Tree, Random Forest, One-vs-All, Softmax (Logistic Regression), Naive Bayes), так и нейронные сети (CNN, LSTM). На корпусе с языком вражды наилучший результат многоклассовой классификации (macro F1 = 0.83) продемонстрировал SVM с векторизацией от fasttext, тогда как нейронные сети показали более скромные результаты - максимальный macro F1 = 0.70 для CNN с rubert-tiny2. В задаче бинарной классификации обсценной лексики Random Forest с fasttext достиг macro F1 = 0.93, а LSTM на том же векторизаторе - 0.90, что свидетельствует о сопоставимой эффективности методов.
Таким образом, результаты данного исследования демонстрируют, что рассмотренные методы могут быть успешно применены для автоматического распознавания языка вражды и обсценной лексики. Настоящая работа открывает перспективы для дальнейших исследований и разработок в области языка вражды. Так, составленный нами корпус может быть использован для других исследовательских задач машинного обучения. Для улучшения результатов классификации мы предлагаем рассмотреть несколько способов: увеличение количества текстов сообщений в составленном корпусе и их источников (других игр); доработка представленной инструкции или использование иных методов для аннотирования корпуса, в том числе автоматизированных; подключение более продвинутых методов машинного обучения и больших языковых моделей (LLM). В заключение, мы надеемся, что данное исследование может помочь в улучшении модерации чата видеоигр.
