Введение 2
2 Постановка задачи 4
2.1 Общий вид 4
2.2 Формальный вид 4
3 Типы отношений в научных документах 5
3.1 Иерархические 5
3.2 Вспомогательные 6
3.3 Свойства отношений 7
4 Алгоритмы извлечения отношений 8
4.1 Алгоритмы KNN и MKNN 8
4.2 Алгоритм, основанный на онтологии 8
4.2.1 NELL 9
4.3 Системы, использующие алгоритм шаблонов 12
4.3.1 Snowball 12
4.3.2 OpenIE6 3.0 (OLLIE) 14
4.4 Сравнение рассмотренных систем 18
5 Алгоритм извлечения отношения <автор, отношение, автор > 19
5.1 Реализация 20
5.2 Результат 21
6 Заключение 26
7 Приложение
На сегодняшний день текстовая аналитика является одним из главных направлений разработок информационных технологий, а структурирование информации, описанной на естественном языке и извлечение из нее связей - одной из важных задач для современного общества.
Одной из особенностей естественного языка является возможность представления одной информации многими разными способами даже на определенном одном языке. Естественным образом возникает необходимость некоторого единого представления и структурирования данного исходного неструктурированного текста. Как только информация, представленная в тексте, становится упорядоченной и привязанной к некоторой системе идентификаторов, появляется возможность для автоматической работы с ней: извлечения связей, поиска нужной информации, поиска похожих текстов и прочих задач обработки текста.
В данной работе мы рассмотрели одну из перечисленных задач, как извлечение связей между публикациями. При работе с коллекцией неструктурированных текстов возникает вопрос о связности публикаций. В данной работе мы попытаемся ответить на этот вопрос.
Целью моей дипломной работы является создание алгоритма, который осуществит выявления связи между авторами статей и публикаций.
Данная работа поделена на несколько блоков.
В первом блоке отмечена постановка задачи в общем и формальном видах.
Во втором блоке рассмотрены типы отношений и их свойства.
В третьем блоке дан обзор уже существующих алгоритмов и систем, подробно рассмотрена их работа, представлено сравнение систем.
В четвертом блоке предложен алгоритм извлечения связей между публикациями в рамках определенной научной коллекции, предоставлено описание и показана его реализация.
В блоке "Приложение" прикреплен код программы, осуществляющий извлечение отношений между авторами публикации, т.е. показывает публикацию, написанную определенными авторами и доступные ссылки на скачивание, а также прикреплен XML - файл, в котором прописаны метаданные о публикации. Представленная программа выполнена в виде веб-приложения на языке РНР.
В настоящей работе были рассмотрены вопросы при выполнении извлечения отношений при работе с текстом, определение отношений, типы отношений и их свойства. Дан обзор алгоритмов извлечения отношений и систем, извлекающих отношения на основе онтологий, шаблонов. Предложен алгоритм, выявляющий связи между авторами в виде совместно написанных публикаций. Создан Web-сервис, который позволяет обнаружить связь между статьями следующим образом: пользователь вводит в формы фамилии, имена и отчества автором для поиска семантической связи между ними. Количество авторов может достигать n человек. Приложение в свою очередь выводит результат в виде таблицы, содержащий название публикации, год издания, издательство, а также кликабельные URL - ссылки, по которым можно перейти на сайт для доступного скачивания публикации. Количество ссылок может быть не ограничено.
В ходе реализации программы были рассмотрены следующие случаи:
• общий случай, при котором формы заполнены в последовательности, указанной в публикации.
• заполнение форм в последовательности, отличающейся от указанной в публикации.
• отсутствие совместных публикаций.
• возможность написания с ошибкой
При дальнейшем исследовании данной темы и усовершенствования алгоритма предполагает автоматизирование извлечения всех метаданных из публикаций формата .txt и .pdf с целью заполнения словаря, возможность поиска связей при запросе, указывающем не всех авторов, возможность считывания метаданных с публикаций, выложенных на сайтов для работы во всемирной паутине. На сегодняшний день вышеперечисленные дополнения актуальны в связи с переходом бумажной научной коллекции на цифровую и предназначены для более удобной работы с публикациями.
