ВВЕДЕНИЕ 5
1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ 8
1.1. Обзор существующих решений 8
1.2. Обзор программных аналогов 9
2. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 10
2.1. Обзор алгоритмов предобработки текстовых данных 11
2.2. Обзор статистических моделей обработки естественного языка 17
2.3. Обзор нейросетевых моделей обработки естественного языка .. 25
2.4. Метрики качества моделей 31
3. ПРОЕКТИРОВАНИЕ 34
3.1. Требования к системе 34
3.2. Варианты использования системы 34
3.3. Проектирование архитектуры системы 36
3.4. Проектирование серверной части 37
3.5. Проектирование микросервиса на архитектуре REST 39
3.6. Проектирование интерфейса пользователя 40
4. РЕАЛИЗАЦИЯ 42
4.1. Средства реализации 42
4.2. Подготовка данных для обучения 43
4.3. Реализация алгоритмов анализа текстовых данных 45
4.4. Реализация микросервиса на архитектуре REST 59
4.5. Реализация интерфейса пользователя 62
5. ТЕСТИРОВАНИЕ 68
ЗАКЛЮЧЕНИЕ 72
ЛИТЕРАТУРА 73
ВВЕДЕНИЕ
В настоящее время цифровая трансформация в социальной сфере стала ключевым трендом. Упрощается система коммуникации между поставщиками услуг и потребителями, растет количество обращений граждан в социальные службы.
Г осударственный сектор - одна из главных площадок реализации правительственных инициатив в сфере ИТ. Гражданин может обратиться в госучреждение устно, по почте, с помощью телефонного звонка, электронного письма или оформления обращения через веб-сайт учреждения. Обращение должно быть рассмотрено в сжатые сроки и с гарантированным качеством вне зависимости от формы обращения.
C развитием информационной культуры граждан растет число обращений, следовательно, высока вероятность увеличения времени на их рассмотрение и формирование решений.
Сегодня в работе органов государственной власти и местного самоуправления в большинстве случаев встречаются элементы интерактивной работы с гражданами, однако зачастую имеющиеся технические решения слабо готовы к реализации полного цикла работы с обращениями граждан.
В начале января 2021 года президент России Владимир Путин поручил до 1 мая принять законы о масштабном применении искусственного интеллекта в стране. Речь идет о федеральных законах, по которым можно будет вводить экспериментальные режимы в отдельных отраслях для расширения использования ИИ.
Так, в рамках цифровой трансформации Росстата будет внедрено решение, обеспечивающее автоматическое распознавание и классификацию обращений граждан, поступающих в систему электронного документооборота Росстата. В рамках цифровой трансформации Роспотребнадзора будет осуществлено совершенствование сервиса ведомства по работе с обращениями граждан путем внедрения технологий ИИ для автоматизации предварительных консультаций («онлайн-чат-бот»), процесса обработки обращений (онлайн и офлайн) и подготовки ответов.
Все это подтверждает актуальность затронутой темы.
Исходные данные
Исходными данными к работе служит открытый набор данных обращений граждан региона Татарстан. В задании имеется ссылка на этот набор данных. Есть аналогичные данные и от других регионов, но они попадают под NDA (соглашение о неразглашении конфиденциальной информации) компании «Интерсвязь» и не были использованы в данной работе.
За 2020 год только в Министерство образования и науки Республики Татарстан поступило 7656 обращений (в том числе 7570 в письменном виде). Основными источниками поступления обращений являются следующие: интернет-приемная, электронная почта, почта, электронный документооборот. При этом наиболее распространенная тематика обращений - социальная сфера и жилищно-коммунальная сфера [1].
Набор данных республики Татарстан содержит 31312 записей - текстов обращений граждан, которым соответствуют 37 тематических меток категорий и 121 метка об исполнителе.
Набор данных включает следующие поля:
1) дата подачи заявки;
2) категория, присвоенная модератором;
3) последний исполнитель;
4) ID исполнителя;
5) статус заявки.
Цель и задачи исследования
Целью работы является разработка интеллектуальной системы автоматизированной обработки обращений граждан, обеспечивающей их эффективную классификацию. Для достижения этой цели необходимо решить следующие задачи:
1) провести анализ существующих решений и методов автоматизированной обработки обращений граждан;
2) спроектировать архитектуру системы;
3) выбрать и обучить модели для работы с текстовыми данными с предварительной подготовкой данных;
4) провести тестирование моделей, отобрать лучшие и сравнить результаты с существующими решениями;
5) разработать веб-интерфейс для интеллектуальной системы автоматизированной обработки обращений граждан;
6) провести тестирование реализованной системы.
Структура и объем работы
Выпускная квалификационная работа состоит из введения, пяти основных разделов, заключения и библиографии. Объем работы составляет 75 страниц, объем библиографии - 23 наименования.
Краткий обзор содержания работы
В первом разделе «Анализ предметной области» приводится обзор существующих решений и программных аналогов. Во втором разделе «Теоретическая часть» описывается обзор алгоритмов предобработки текстовых данных, статистических и нейросетевых векторных моделей для обработки естественного языка, а также описываются метрики качества. В третьем разделе «Проектирование» описываются требования к системе, варианты использования системы, приводится проектирование архитектуры в целом, а также ее компонентов, таких как серверная часть и веб-интерфейс, а также проектирование алгоритмов анализа текстовых данных. В четвертом разделе «Реализация» описываются средства реализации, как осуществлялась подготовка данных для обучения, а также реализация серверной части, вебинтерфейса и алгоритмов анализа текстовых данных. В пятом разделе «Тестирование» приводятся результаты тестирования веб-интерфейса и алгоритмов анализа текстовых данных. В заключении приводятся основные результаты работы и направления дальнейших исследований.
В ходе данной работы была разработана система автоматизированной обработки обращений граждан.
В ходе работы были достигнуты поставленные цели:
1) проведен анализ существующих решений и методов автоматизированной обработки обращений граждан;
2) спроектирована архитектура системы;
3) выполнена предварительная подготовка данных;
4) выполнено тестирование статистических и нейросетевых моделей и отобрана лучшая;
5) разработан микросервис на архитектуре REST, а также веб-интерфейс пользователя системы;
6) проведено тестирование реализованной системы.
Данная работа была выполнена по инициативе заказчика - компании «Интерсвязь». По результату работы имеется акт о внедрении данного проекта в компании «Интерсвязь».
Выполненная работа является на сегодняшний день актуальной. В дальнейшем могут быть существенно улучшены метрики качества классификации обращений граждан путем обучения полученных моделей на новых данных; могут быть добавлены новые категории обращений граждан и новые исполнители.
