Введение 3
Актуальность 3
Цель работы 4
Задачи работы 4
Практическая значимость 5
Глава 1. Обзор существующих решений в области анализа текстов системы документооборота 6
1.1. Обзор существующих готовых программных продуктов 6
1.2. Обзор методов анализа текстов и выделения сущностей 7
1.3. Обзор подходов оценки качества выделения сущностей 10
Глава 2. Разработка программного комплекса для интеллек­туального анализа текстов системы документообо­рота 12
2.1. Проектирование и реализация архитектуры программного комплекса 12
2.2. Разработка методов интеллектуального анализа текстов системы документооборота 16
2.3. Тестирование и оценка качества 23
2.3.1 Постановка эксперимента 23
2.3.2 Результаты 25
2.3.3 Выводы 29
Заключение 30
Результаты работы 30
Перспективы развития 30
Список литературы 31
Приложение 37
Купить

Актуальность
В настоящее время задача анализа текста и, как частный случай, за­дача выделения именованных сущностей в текстах стоит особо остро. По­явился запрос у общества [1] (косвенно описано в [2]) на виртуальных циф­ровых помощников (Apple Siri, Яндекс.Алиса)[3, 4] и различные интеллек­туальные системы, работающие в узких предметных областях [5, 6, 7]. По­мощники в узких областях призваны минимизировать человеческий фак­тор и вероятные ошибки в принимаемых решениях.
В условиях всё больше увеличивающихся масштабов документообо­рота вообще и электронного документооборота в частности, человеку ста­новится всё труднее воспринимать и обрабатывать такое количество ин­формации, что и порождает спрос на такие системы. Многие компании на рынке программных продуктов для бизнеса предлагают различные систе­мы упрощающие и ускоряющие обработку информации.
Компания Digital Design [8] более 25 лет на рынке программного обес­печения, в том числе, в области решений «бизнес для бизнеса», поэтому ситуация, когда запрос общества и бизнеса на системы облегчающие (и ускоряющие) обработку текстов был бы проигнорирован, была невозмож­на.
Для успешного функционирования любых цифровых помощников не­обходимо техническое решение, позволяющие последнему «понимать» текст, а это означает, в частности, выделять именованные сущности: факты, со­бытия, действующих лиц и организации, нормативные акты и большое ко­личество иной информации, легко воспринимаемой человеком, при этом, не всегда имеющей чёткую структуру.
Выделить именованную сущность означает — либо найти в тексте координаты (порядковые номера слов в тексте) её начала и конца, а также определить тип сущности, либо определить тип сущности и заполнить поля («свойства») соответствующие определенному на предыдущем шаге типу. В данной работе под выделением именованных сущностей подразумевается именно поиск координат начала и конца именованной сущности.
Обработка естественного языка (NLP) зародилась ещё в 50-е годы прошлого столетия, хотя существуют работы в этой области, появившиеся ещё раньше. За это время эта область расширилась, нашла применение в реальной жизни и породила достаточно большое количество дочерних задач. Одна из них — выделение именованных сущностей.
Компанией Digital Design была поставлена задача создать программ­ный комплекс, решающий задачу выделения именованных сущностей в текстах системы документооборота.
В данной работе рассмотрены готовые программные решения, кото­рые могли бы быть применены к решению этой задачи, проанализированы различные методы и подходы к её решению, выбрана оптимальная конфи­гурация, проведена разметка данных и создан программный комплекс.
Цель работы
Целью работы является разработка программного комплекса интел­лектуального анализа текстов системы документооборота на основе нейро­сетей, который можно было бы использовать для создания системы всплы­вающих подсказок, дающих краткое описание документа, организации, част­ного лица или иной ссылки, встреченной в рассматриваемом документе. Эти два комплекса помогут решить проблему минимизации человеческого фактора в принимаемых решениях в различных юридических и законода­тельных процессах.
Задачи работы
Для достижения цели были поставлены следующие задачи:
• Обзор существующих готовых программных продуктов в области вы­деления именованных сущностей и методов интеллектуального ана­лиза текста (выделения именованных сущностей [9, 10, 11, 12], токе- низация текста [13, 14] и др.)
• Обзор форматов разметки и утилит разметки текстовых коллекций для выделения именованных сущностей
• Выбор архитектуры программного комплекса
• Разработка программного комплекса
• Разработка скриптов, переводящих формат выбранной утилиты для разметки (brat [15]) в формат, воспринимаемый модулем предсказа­ний и обратно
• Создание возможности предварительно автоматически разметить но­вые документы, что поможет эксперту меньше тратить времени на редактирование разметки
• Разметка текстовой коллекции
• Проведение экспериментов
Практическая значимость
Разработанное решение позволило бы облегчить работу государствен­ных служащих за счёт отсутствия необходимости поиска информации по упомянутым в документе гражданам, организациям, органам власти и т.д., если его интегрировать в корпоративную систему документооборота и до­бавить краткие описания к найденным с помощью данного решения сущ­ностям.
Купить