Введение 4
Глава 1. Тональная классификация 5
1.1. Предобработка данных 6
1.2. Латентно-семантический анализ 7
1.3. Скрытая марковская модель 8
1.3.1. Модель первого порядка 8
1.3.2. Оценка параметров модели 9
1.3.3. Модель высокого порядка 11
1.3.4. Декодирование 11
1.4. Сентиментальная скрытая марковская модель 12
1.5. Ансамбль моделей 13
1.5.1. Адаптивный бустинг 13
1.6. Результаты 14
Глава 2. Распределение эмоционально окрашенной лексики 16
2.1. Отрицательное биномиальное распределение 16
2.1.1. Оценивание параметров распределения 17
2.1.2. Проверка гипотезы согласия 18
2.2. Результаты 18
2.2.1. Геометрическое распределение 19
2.2.2. Отрицательное биномиальное распределение 20
Заключение 22
Список литературы
Анализ и установление взаимосвязей между категориальными переменными, описывающими объект или явление, является одной из важнейших задач современной математической статистики. Основная цель анализа заключается в группировке значений по взаимоисключающим категориям. Наиболее интересен случай, когда значения внутри категорий подчиняются известному закону распределения. Тогда решение множества прикладных задач сводится к решению задачи проверки гипотезы принадлежности случайной величины к соответствующему распределению.
В данной работе рассматриваются распределения слов в текстах различных тональностей. Предполагается, что эмоционально окрашенная лексика будет подчиняться известному закону распределения, в частности отрицательному биномиальному. Решение поставленной задачи может быть разделено на две части. Во-первых, необходимо уметь классифицировать тексты. Во-вторых, необходимо уметь оценивать параметры распределения и проверять гипотезу согласия эмпирического закона распределения с теоретическим.
Сделаем краткий обзор содержания данной работы. В первой главе рассмотрен алгоритм тональной классификации. В Разделах 1.2 и 1.3 содержится описание компонент классификатора. В Разделе 1.4 описана идея и модель классификатора, а в Разделе 1.6 приведена его точность в задачах тональной и модальной классификации. Вторая глава посвящена поиску эмоционально окрашенной лексики в позитивных и негативных текстах. Так, в Разделе 2.1 описан метод максимального правдоподобия, применимый к задаче оценивания параметров отрицательного биномиального распределения, и критерий проверки согласия распределений хи-квадрат. Раздел 2.2 содержит результаты и выводы по распределениям рассматриваемой лексики.
Таким образом, в работе были получены следующие результаты.
• На основе статистической модели был построен алгоритм тональной классификации. Классифицированные тексты могут быть использованы в задаче проверки распределений слов в текстах различных тональностей.
• Был описан метод оценивания параметров отрицательного биномиального распределения, а также критерий проверки гипотезы согласия распределений.
• На примере геометрического распределения, было установлено различие значений параметров распределений полярных слов в позитивных и негативных текстах.
• Установлена принадлежность эмоционально окрашенной лексики отрицательному биномиальному распределению.
Полученные результаты дают представление об использовании ключевых слов в текстах различных тональностей, а значит могут быть использованы в решении задачи тональной классификации. Исходный код может быть найден на Zenodo [17, 18].
