Тема: КЛАССИФИКАЦИЯ ТЕКСТОВ С ПОМОЩЬЮ НЕЙРОННОЙ СЕТИ ДЛЯ СЕРВИСА “НАРОДНЫЙ КОНТРОЛЬ”

Данная работа посвящена разработке системы классификации текстов с помощью нейронной сети. Работа выполняется с целью внедрения в сервис “Народный контроль”[1 ] для сокращения времени определения категории заявки. На данный момент для создания заявки пользователю необходимо выбрать тему обращения из 80 категорий вручную, после чего проверка темы и содержания заявки обрабатывается вручную модератором. Разработанное решение повысит удобство взаимодействия пользователя с сервисом, и уменьшит трудозатраты по обработке обращений граждан сотрудниками “Народного контроля”.
Система берет на себя основной объем работ по классификации самых популярных категорий обращений. В связи с тем, что основная нагрузка происходит на 11 категорий, около половины категорий никогда не использовались, а остальные(их около 25) имеют меньше 1000 заявок. Для сравнения, на наиболее популярную категорию пришлось около 45000 заявок, а число всех поданных заявок около 148000 за все время существования сервиса. Статистика взята с официальной страницы сервиса на портале государственных и муниципальных услуг Республики Татарстан[2]. Соотношение количества заявок по категориям представлено в таб. 1. Для обучения классификатора необходимо большое количество данных, причем равное для всех категорий, поэтому было решено установить рубеж в 1100 заявок на каждую категорию.
Таблица 1. Количество заявок по категориям.
Название категории Количество заявок в Количество заявок в
обращений системе, шт. системе, %
Благоустройство
территории 44268 40.33236757
Содержание и ремонт
муниципальных дорог 19510 17.77546967
Организация
дорожного движения 16549 15.07771643
Общественный
транспорт 6135 5.589569781
Нарушение в
наружной рекламе 4894 4.45890049
Нарушение правил
торговли 3098 2.822573298
Поликлиники и
больницы 2642 2.407113832
Свалки 2582 2.352448113
Мобильная связь 1583 1.44226389
Доступная среда 1345 1.225423204
Бездомные животные 1169 1.065070428
Задача классификации это задача сопоставление объектов к определенным классам. Было решено использовать методы машинного обучения на основе искусственных нейронных сетей. С помощью нейросетевых классификаторов можно добиться наибольшей точности классификации^]. Кроме того, скорость работы обученного классификатора в инкрементном режиме куда выше, чем у классификаторов построенных на базе других методов машинного обучения. Инкрементным режимом работы классификатора называется режим работы, при котором классификатор распознает каждый отдельно взятый документ в режиме реального времени, вместо распознавания всей выборки сразу.
Задача подготовки данных для нейронной сети состоит из следующих этапов:
1) Работа с данными
- Составить базу данных из заявок;
- Разбить всю совокупность данных на два множества: обучающее и тестовое. Разбиение обычно производится в соотношении 70/30, чтобы оценка качества классификатора была более объективной[4].
2) Предварительная обработка данных
- Построить словарь слов используемых в текстах, с помощью метода п-грамм[6];
- Выбрать систему кодирования входных значений, на основе построенного словаря.
3) Проектирование, реализация и обучение нейронной сети
- Выбрать топологию сети: количество слоев, число нейронов в слоях;
- Выбрать функцию активации нейронов;
- Оценить качество работы сети с помощью метрик качества на тестовом множестве;
- Остановится на варианте сети, который обеспечивает наилучшую способность к обобщению;
4) Использование и диагностика
- В случае достижение необходимой точности классификации использовать сеть для решения задачи;
- При необходимости вернутся на этап 2, изменив пространство признаков. Или на этап 3, изменив топологию сети, для достижения наибольшей точности классификации;
Результатом выполнения задач будет реализация автоматизированной системы по классификации заявок, которая может облегчить процедуру создания обращений для пользователей и обработки обращений для модераторов.
Цели работы:
1. Реализовать подсистему для построения словаря и преобразования текста в вектор;
2. Реализовать и протестировать наиболее эффективные топологии нейронных сетей на базе фреймворка;
3. На основе полученных результатов построить максимально эффективный классификатор.

Купить

В данной работе было проведено исследование максимально точных алгоритмов классификации текстов: нейронной сети и метода опорных векторов. Были собраны заявки с портала “Народный контроль” и предварительно обработаны для нейросетевого классификатора. Был реализован нейросетевой классификатор, и была произведена классификация реализованным алгоритмом на данных портала “Народный контроль”. На тех же данных была произведена классификация методом опорных векторов с помощью специального программного обеспечения. По результатам проведенного тестирования предлагаемого алгоритма классификации текстов можно говорить о том, что в ходе эксперимента были получены результаты, подтверждающие целесообразность его использования. Для некоторых категорий обращений более эффективным показал себя классификатор на основе метода опорных векторов, но для большинства был эффективен нейросетевой. В дальнейшем можно до этапа классификации текста, помечать его предполагаемой категорией на этапе модерации и выборочно использовать классификаторы для подтверждения принадлежности к конкретной категории. Можно совместить алгоритмы классификации и использовать веса из последнего слоя нейронной сети на подачу в классификатор на основе метода опорных векторов, выходной слой классификатора на основе метода опорных векторов дает целочисленное значение принадлежности в конкретной категории. Также возможно доработать нейросетевой классификатор: провести эксперименты с уменьшением количества нейронов в слоях и изменить размерность пространства признаков[16].
Реализацию алгоритма классификации на основе нейронных сетей можно использовать для классификации заявок на портале “Народный контроль”.

Купить