Тема: Выделение именованных сущностей в текстовых документах

Объемы информации, текстовых документов повышаются. С каждым годом количество информации увеличивается. Данный процесс происходит по совершенно естественным причинам: мир растет и развивается, люди учатся и самосовершенствуются, пишут картины, сочиняют стихи, проводят научные исследования, etc. Всё это неуклонно повышает объемы информации.
Письменность давным-давно зарекомендовала себя как надёжный источник сохранения и передачи информации. Ещё совсем недавно, несколько сотен лет назад, объемы текстовой информации весьма эффективно регулировались по крайне прозаичной причине: дороговизна и сложность производства материала для записи. С изобретением и поразительно стремительным развитием цифровых запоминающих устройств и интернета, увеличение объемов информации приобретает лавинообразный характер. Уже сейчас для нормальной работы в Интернете жизненно необходимы методы поиска и извлечения информации.
Существует множество различных задач обработки естественного языка, вот несколько наиболее часто исследуемых задач:
1) Автоматическое реферирование(АШошайс summarization) - создание читаемого краткого изложения текста.
2) Машинный перевод(Масйте translation) - автоматический перевод с одного естественного языка на другой. Одна из наиболее сложных задач, считается, что она принадлежит к классу так называемых «AI- полных задач».
3) Морфологическая сегментация(Morphological segmentation) - разделение слов на морфемы. Сложность задачи целиком зависит от сложности морфологии рассматриваемого языка.
4) Частеречная pa3MeTKa(Part-of-speech tagging) - задача определения части речи для поданного на вход предложения. Многие слова могут служить различными частями речи в зависимости от контекста.
5) Синтаксический анализ(Рагапд) - создание синтаксического дерева, синтаксическую структуру входной последовательности и хорошо подходит для дальнейшей обработки.
6) Информационный поиск(1п&гшайоп retrieval) - процесс выявления в некотором множестве документов всех тех, которые удовлетворяют заранее определенному запросу.
7) Анализ тональности тeкстa(Sentiшent analysis) - определение и извлечение субъективной информации, обычно из множества документов. Часто используется для определения «полярности» отзывов. Особенно эффективно для распознания общественного мнения в социальных медиа.
8) Извлечение инфоpмaции(Inforшation extraction, IE) - извлечение структурированной семантической информации из текста.
Так же, помимо упомянутых выше, существует ещё множество задач и подзадач так или иначе связанных с обработкой естественных языков.
Термин «Named entity»(Имeновaннaя сущность, NE), который сейчас широко используется, впервые был введён в употребление на шестой Message Understanding Conference (MUC-6) в 1996 году. В то время конференция фокусировалась на задаче извлечения информации. В процессе определения задачи заметили, что необходимо уметь распознавать в тексте такие вещи как имена, организации, местоположения и числовые выражения, включая время, дату, деньги, etc. Идентификация ссылок на подобные сущности в тексте была определена как одна из важных подзадач IE и названа «Распознание именованных сущностей».
Решению данной задачи посвящено наше исследование.

Купить

Подводя итоги работы, можно сказать следующее:
Были исследованы существующие методы извлечения именованных сущностей и получения списков именованных сущностей из Википедии.
В рамках работы был предложен и реализован метод классификации Википедии по пяти классам, объединяющий классические подходы извлечения информации из Википедии.
Проведено тестирование качества разработанных методов с использованием набора данных и способа оценки качества, предложенных на конференции CoNLL’03.В результате, тестирование показало, что на данный момент он неконкурентоспособен по сравнению с уже реализованными моделями.
На данный момент вопрос улучшения качества предложенного метода остаётся открытым для дальнейшей работы.

Купить