📄Работа №209300
Тема: Разработка интеллектуальной системы автоматизированной обработки обращений граждан
Характеристики работы
Тип работы
Дипломные работы, ВКР
Предмет
Программирование
Объем:
72 листов
Год:
2021
Просмотров:
25
4720
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
ВВЕДЕНИЕ 5
1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ 8
1.1. Обзор существующих решений 8
1.2. Обзор программных аналогов 9
2. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 10
2.1. Обзор алгоритмов предобработки текстовых данных 11
2.2. Обзор статистических моделей обработки естественного языка 17
2.3. Обзор нейросетевых моделей обработки естественного языка .. 25
2.4. Метрики качества моделей 31
3. ПРОЕКТИРОВАНИЕ 34
3.1. Требования к системе 34
3.2. Варианты использования системы 34
3.3. Проектирование архитектуры системы 36
3.4. Проектирование серверной части 37
3.5. Проектирование микросервиса на архитектуре REST 39
3.6. Проектирование интерфейса пользователя 40
4. РЕАЛИЗАЦИЯ 42
4.1. Средства реализации 42
4.2. Подготовка данных для обучения 43
4.3. Реализация алгоритмов анализа текстовых данных 45
4.4. Реализация микросервиса на архитектуре REST 59
4.5. Реализация интерфейса пользователя 62
5. ТЕСТИРОВАНИЕ 68
ЗАКЛЮЧЕНИЕ 72
ЛИТЕРАТУРА 73
ВВЕДЕНИЕ
1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ 8
1.1. Обзор существующих решений 8
1.2. Обзор программных аналогов 9
2. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 10
2.1. Обзор алгоритмов предобработки текстовых данных 11
2.2. Обзор статистических моделей обработки естественного языка 17
2.3. Обзор нейросетевых моделей обработки естественного языка .. 25
2.4. Метрики качества моделей 31
3. ПРОЕКТИРОВАНИЕ 34
3.1. Требования к системе 34
3.2. Варианты использования системы 34
3.3. Проектирование архитектуры системы 36
3.4. Проектирование серверной части 37
3.5. Проектирование микросервиса на архитектуре REST 39
3.6. Проектирование интерфейса пользователя 40
4. РЕАЛИЗАЦИЯ 42
4.1. Средства реализации 42
4.2. Подготовка данных для обучения 43
4.3. Реализация алгоритмов анализа текстовых данных 45
4.4. Реализация микросервиса на архитектуре REST 59
4.5. Реализация интерфейса пользователя 62
5. ТЕСТИРОВАНИЕ 68
ЗАКЛЮЧЕНИЕ 72
ЛИТЕРАТУРА 73
ВВЕДЕНИЕ
📖 Аннотация
В данной работе представлена разработка и внедрение интеллектуальной системы для автоматизированной обработки текстовых обращений граждан, направленная на повышение эффективности работы государственных и коммерческих служб. Актуальность исследования обусловлена цифровой трансформацией социальной сферы, ростом числа обращений и необходимостью их оперативной обработки в рамках государственных инициатив по внедрению искусственного интеллекта, что требует создания технических решений, охватывающих полный цикл работы с обращениями. В результате исследования был проведен анализ существующих методов, спроектирована архитектура системы на основе микросервисов, выполнено сравнение статистических и нейросетевых моделей классификации текста, а также реализован веб-интерфейс и REST API; система успешно внедрена в компании «Интерсвязь», что подтверждено соответствующим актом. Научная значимость заключается в адаптации и сравнительном анализе современных методов обработки естественного языка (NLP) для конкретной прикладной задачи, а практическая — в создании рабочего инструмента, сокращающего время обработки обращений и минимизирующего человеческий фактор. Теоретической основой послужили работы Антонова С.В. по анализу подсистем обработки текстов, исследования Кварацхелии А.Г. и соавторов, посвященные классификации обращений, а также фундаментальные труды Mikolov T. et al. по векторным представлениям слов и Kusner M. et al. по метрикам для текстовых данных.
📖 Введение
В настоящее время цифровая трансформация в социальной сфере стала ключевым трендом. Упрощается система коммуникации между поставщиками услуг и потребителями, растет количество обращений граждан в социальные службы.
Г осударственный сектор - одна из главных площадок реализации правительственных инициатив в сфере ИТ. Гражданин может обратиться в госучреждение устно, по почте, с помощью телефонного звонка, электронного письма или оформления обращения через веб-сайт учреждения. Обращение должно быть рассмотрено в сжатые сроки и с гарантированным качеством вне зависимости от формы обращения.
C развитием информационной культуры граждан растет число обращений, следовательно, высока вероятность увеличения времени на их рассмотрение и формирование решений.
Сегодня в работе органов государственной власти и местного самоуправления в большинстве случаев встречаются элементы интерактивной работы с гражданами, однако зачастую имеющиеся технические решения слабо готовы к реализации полного цикла работы с обращениями граждан.
В начале января 2021 года президент России Владимир Путин поручил до 1 мая принять законы о масштабном применении искусственного интеллекта в стране. Речь идет о федеральных законах, по которым можно будет вводить экспериментальные режимы в отдельных отраслях для расширения использования ИИ.
Так, в рамках цифровой трансформации Росстата будет внедрено решение, обеспечивающее автоматическое распознавание и классификацию обращений граждан, поступающих в систему электронного документооборота Росстата. В рамках цифровой трансформации Роспотребнадзора будет осуществлено совершенствование сервиса ведомства по работе с обращениями граждан путем внедрения технологий ИИ для автоматизации предварительных консультаций («онлайн-чат-бот»), процесса обработки обращений (онлайн и офлайн) и подготовки ответов.
Все это подтверждает актуальность затронутой темы.
Исходные данные
Исходными данными к работе служит открытый набор данных обращений граждан региона Татарстан. В задании имеется ссылка на этот набор данных. Есть аналогичные данные и от других регионов, но они попадают под NDA (соглашение о неразглашении конфиденциальной информации) компании «Интерсвязь» и не были использованы в данной работе.
За 2020 год только в Министерство образования и науки Республики Татарстан поступило 7656 обращений (в том числе 7570 в письменном виде). Основными источниками поступления обращений являются следующие: интернет-приемная, электронная почта, почта, электронный документооборот. При этом наиболее распространенная тематика обращений - социальная сфера и жилищно-коммунальная сфера [1].
Набор данных республики Татарстан содержит 31312 записей - текстов обращений граждан, которым соответствуют 37 тематических меток категорий и 121 метка об исполнителе.
Набор данных включает следующие поля:
1) дата подачи заявки;
2) категория, присвоенная модератором;
3) последний исполнитель;
4) ID исполнителя;
5) статус заявки.
Цель и задачи исследования
Целью работы является разработка интеллектуальной системы автоматизированной обработки обращений граждан, обеспечивающей их эффективную классификацию. Для достижения этой цели необходимо решить следующие задачи:
1) провести анализ существующих решений и методов автоматизированной обработки обращений граждан;
2) спроектировать архитектуру системы;
3) выбрать и обучить модели для работы с текстовыми данными с предварительной подготовкой данных;
4) провести тестирование моделей, отобрать лучшие и сравнить результаты с существующими решениями;
5) разработать веб-интерфейс для интеллектуальной системы автоматизированной обработки обращений граждан;
6) провести тестирование реализованной системы.
Структура и объем работы
Выпускная квалификационная работа состоит из введения, пяти основных разделов, заключения и библиографии. Объем работы составляет 75 страниц, объем библиографии - 23 наименования.
Краткий обзор содержания работы
В первом разделе «Анализ предметной области» приводится обзор существующих решений и программных аналогов. Во втором разделе «Теоретическая часть» описывается обзор алгоритмов предобработки текстовых данных, статистических и нейросетевых векторных моделей для обработки естественного языка, а также описываются метрики качества. В третьем разделе «Проектирование» описываются требования к системе, варианты использования системы, приводится проектирование архитектуры в целом, а также ее компонентов, таких как серверная часть и веб-интерфейс, а также проектирование алгоритмов анализа текстовых данных. В четвертом разделе «Реализация» описываются средства реализации, как осуществлялась подготовка данных для обучения, а также реализация серверной части, вебинтерфейса и алгоритмов анализа текстовых данных. В пятом разделе «Тестирование» приводятся результаты тестирования веб-интерфейса и алгоритмов анализа текстовых данных. В заключении приводятся основные результаты работы и направления дальнейших исследований.
Г осударственный сектор - одна из главных площадок реализации правительственных инициатив в сфере ИТ. Гражданин может обратиться в госучреждение устно, по почте, с помощью телефонного звонка, электронного письма или оформления обращения через веб-сайт учреждения. Обращение должно быть рассмотрено в сжатые сроки и с гарантированным качеством вне зависимости от формы обращения.
C развитием информационной культуры граждан растет число обращений, следовательно, высока вероятность увеличения времени на их рассмотрение и формирование решений.
Сегодня в работе органов государственной власти и местного самоуправления в большинстве случаев встречаются элементы интерактивной работы с гражданами, однако зачастую имеющиеся технические решения слабо готовы к реализации полного цикла работы с обращениями граждан.
В начале января 2021 года президент России Владимир Путин поручил до 1 мая принять законы о масштабном применении искусственного интеллекта в стране. Речь идет о федеральных законах, по которым можно будет вводить экспериментальные режимы в отдельных отраслях для расширения использования ИИ.
Так, в рамках цифровой трансформации Росстата будет внедрено решение, обеспечивающее автоматическое распознавание и классификацию обращений граждан, поступающих в систему электронного документооборота Росстата. В рамках цифровой трансформации Роспотребнадзора будет осуществлено совершенствование сервиса ведомства по работе с обращениями граждан путем внедрения технологий ИИ для автоматизации предварительных консультаций («онлайн-чат-бот»), процесса обработки обращений (онлайн и офлайн) и подготовки ответов.
Все это подтверждает актуальность затронутой темы.
Исходные данные
Исходными данными к работе служит открытый набор данных обращений граждан региона Татарстан. В задании имеется ссылка на этот набор данных. Есть аналогичные данные и от других регионов, но они попадают под NDA (соглашение о неразглашении конфиденциальной информации) компании «Интерсвязь» и не были использованы в данной работе.
За 2020 год только в Министерство образования и науки Республики Татарстан поступило 7656 обращений (в том числе 7570 в письменном виде). Основными источниками поступления обращений являются следующие: интернет-приемная, электронная почта, почта, электронный документооборот. При этом наиболее распространенная тематика обращений - социальная сфера и жилищно-коммунальная сфера [1].
Набор данных республики Татарстан содержит 31312 записей - текстов обращений граждан, которым соответствуют 37 тематических меток категорий и 121 метка об исполнителе.
Набор данных включает следующие поля:
1) дата подачи заявки;
2) категория, присвоенная модератором;
3) последний исполнитель;
4) ID исполнителя;
5) статус заявки.
Цель и задачи исследования
Целью работы является разработка интеллектуальной системы автоматизированной обработки обращений граждан, обеспечивающей их эффективную классификацию. Для достижения этой цели необходимо решить следующие задачи:
1) провести анализ существующих решений и методов автоматизированной обработки обращений граждан;
2) спроектировать архитектуру системы;
3) выбрать и обучить модели для работы с текстовыми данными с предварительной подготовкой данных;
4) провести тестирование моделей, отобрать лучшие и сравнить результаты с существующими решениями;
5) разработать веб-интерфейс для интеллектуальной системы автоматизированной обработки обращений граждан;
6) провести тестирование реализованной системы.
Структура и объем работы
Выпускная квалификационная работа состоит из введения, пяти основных разделов, заключения и библиографии. Объем работы составляет 75 страниц, объем библиографии - 23 наименования.
Краткий обзор содержания работы
В первом разделе «Анализ предметной области» приводится обзор существующих решений и программных аналогов. Во втором разделе «Теоретическая часть» описывается обзор алгоритмов предобработки текстовых данных, статистических и нейросетевых векторных моделей для обработки естественного языка, а также описываются метрики качества. В третьем разделе «Проектирование» описываются требования к системе, варианты использования системы, приводится проектирование архитектуры в целом, а также ее компонентов, таких как серверная часть и веб-интерфейс, а также проектирование алгоритмов анализа текстовых данных. В четвертом разделе «Реализация» описываются средства реализации, как осуществлялась подготовка данных для обучения, а также реализация серверной части, вебинтерфейса и алгоритмов анализа текстовых данных. В пятом разделе «Тестирование» приводятся результаты тестирования веб-интерфейса и алгоритмов анализа текстовых данных. В заключении приводятся основные результаты работы и направления дальнейших исследований.
✅ Заключение
В ходе данной работы была разработана система автоматизированной обработки обращений граждан.
В ходе работы были достигнуты поставленные цели:
1) проведен анализ существующих решений и методов автоматизированной обработки обращений граждан;
2) спроектирована архитектура системы;
3) выполнена предварительная подготовка данных;
4) выполнено тестирование статистических и нейросетевых моделей и отобрана лучшая;
5) разработан микросервис на архитектуре REST, а также веб-интерфейс пользователя системы;
6) проведено тестирование реализованной системы.
Данная работа была выполнена по инициативе заказчика - компании «Интерсвязь». По результату работы имеется акт о внедрении данного проекта в компании «Интерсвязь».
Выполненная работа является на сегодняшний день актуальной. В дальнейшем могут быть существенно улучшены метрики качества классификации обращений граждан путем обучения полученных моделей на новых данных; могут быть добавлены новые категории обращений граждан и новые исполнители.
В ходе работы были достигнуты поставленные цели:
1) проведен анализ существующих решений и методов автоматизированной обработки обращений граждан;
2) спроектирована архитектура системы;
3) выполнена предварительная подготовка данных;
4) выполнено тестирование статистических и нейросетевых моделей и отобрана лучшая;
5) разработан микросервис на архитектуре REST, а также веб-интерфейс пользователя системы;
6) проведено тестирование реализованной системы.
Данная работа была выполнена по инициативе заказчика - компании «Интерсвязь». По результату работы имеется акт о внедрении данного проекта в компании «Интерсвязь».
Выполненная работа является на сегодняшний день актуальной. В дальнейшем могут быть существенно улучшены метрики качества классификации обращений граждан путем обучения полученных моделей на новых данных; могут быть добавлены новые категории обращений граждан и новые исполнители.
ИЛИ
Поиск аналога
📕 Список литературы
🖼 Скриншоты
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.