Тема: Сравнительный анализ методов извлечения терминологии

Широкий размах строительства и необходимость освоения передового опыта зарубежных стран требует разносторонней информации о достижениях этих стран в области строительной техники и технологий.
Современное состояние терминологической работы потребовало создания строительного терминологического словаря для стран, призванного улучшить взаимопонимание учёных и специалистов разных стран, работающих в строительстве и архитектуре.
В некоторых странах в течение ряда лет проводится систематическая работа по созданию, упорядочению и согласованию терминологии в области строительства.
Задача словаря - обеспечить языковое и смысловое согласование, упорядочение и унификацию строительной терминологии, применяемой в странах, помочь международному сотрудничеству и взаимной информации специалистов в области строительства и архитектуры.
Значимость любого терминологического словаря определяется тем, в какой мере он помогает пользователям в понимании необходимых им текстов по специальности, а также в порождении собственной профессиональной обусловленной речи. Словарь является представлением о слове как информационном комплексе, при котором термин рассматривается не только как член определённой понятийной системы, но и как полноправный член лексической системы.
Актуальность работы обусловлена растущей тенденцией к использованию терминологии при термин творчестве; представляется весьма закономерным и важным изучение терминов, образованных от имен собственных, их функционирования и формальных характеристик.
Объектом исследования являются методы сравнительно анализа извлечения терминологии.
Предмет исследования - применение программных методов для сравнительного анализа терминов.
Практическая значимость состоит в реализации программных методов по извлечению терминологии и сравнительного анализа.
Цель данной работы состоит в изучении методов сравнительного анализа по извлечению терминологии и написания программного кода на языке Python с автоматическим извлечением терминов.
Для проведения исследования был составлен текстовый корпус, содержащий термины, в основу текста легли архитектурно-строительные термины.
Исходя из поставленной цели, были сформулированы следующие задачи:
1. Провести обзор исследований методов сравнительного анализа по извлече­нию терминологии с помощью программного алгоритма.
2. Изучить программный алгоритм для сравнительного анализа по извлечению терминологии из текста.
3. Провести сравнительный анализ результатов программ, написанный на языке Python.
Настоящая работа состоит из введения, трёх глав, заключения, списка литературы. В первой главе рассматриваются теоретические вопросы, связанные с общей характеристикой терминологией, их формальной структурой и способами образования, а также освещается их употребления в специальной строительной литературе. Вторая глава посвящена автоматичес­кому извлечению терминов; в ней приводится характеристика существую­щих программ и описывается программа, созданная в рамках данного исследования. В третьей главе описывается практическая часть алгоритмов Yake, TF-IDF, TextRank spaCy. Описывается формулы и получе­ния результатов сравнительного анализа.
Купить

Автоматическое извлечение терминов из текстов предметной области представляет собой задачу, которая имеет множество приложений. Термины, извлекаемые автоматическим способом, могут использоваться как классификационные признаки для рубрикации документов, как семантические концепты для генерации тезаурусов, онтологий и терминоло­гических словарей и т.д. Практически во всех задачах, связанных с автоматической обработкой текстов, как то аннотирование, индексирование, классификация, машинный перевод, извлечение знаний и т.д., требуется извлечение терминологии. Для решения указанной задачи разработано большое количество эффективных методов и подходов, среди которых самыми простыми и устойчивыми являются методы, основанные на статистике употребления слов.
В данной работы были изучены основные характеристики терминологии как особого пласта языка, модели образования терминов и особенности их функционирования в языковой системе. Были исследованы способы формирования терминов на основе имен собственных и выделены наиболее продуктивные структурные схемы, среди которых стоит отметить словосочетания типа ‘существительное + прилагательное.
Примеры из таблицы выполнены на языке Python. В Python имеется большое количество библиотек для обработки естественного языка: сверх быстрой токенизации, анализа, лемматизации текстов и распознавания сущностей. Для извлечения исследуемых терминов были разработаны алгоритмы, которые в дальнейшем были реализованы на языке программирования Python с использованием библиотеки для обработки естественного языка.
Анализ полученных в ходе эксперимента результатов показал, что разработанные алгоритмы обладают рядом недостатков, но, тем не менее, демонстрируют неплохие результаты. Для усовершенствования работы программы было предложено подключение распознавателя именованных сущностей, создания словаря основ имен собственных и словаря слов, наиболее часто встречающихся в исследуемых терминологических словосочетаниях.
Таким образом, поставленные во введении настоящей работы задачи выполнены в полном объеме, сформированная цель достигнута.
Купить