ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ МЕТОДОВ АВТОМАТИЧЕСКОГО ВЫДЕЛЕНИЯ КЛЮЧЕВЫХ ВЫРАЖЕНИЙ В КОРПУСАХ РУССКОЯЗЫЧНЫХ ТЕКСТОВ
|
Введение 4
Глава 1. Теоретические основания процедуры автоматического извлечения ключевых выражений 9
1.1. Проблемы, возникающие при извлечении ключевых выражений 12
Глава 2. Анализ и отбор методов автоматического извлечения ключевых выражений 15
2.1. Методы, основанные на статистическом подходе 15
2.1.1. Логарифмическая функция правдоподобия 15
2.1.2. TF-IDF 16
2.1.3. Критерий Хи-квадрат 17
2.1.4. YAKE 17
2.2. Методы, основанные на лингвистическом подходе 18
2.2.1. Инструмент PullEnti 18
2.2.2. RAKE 19
2.3. Методы, основанные на машинном обучении 21
2.3.1. TextRank 21
2.3.2. KeyBERT 21
2.3.3. Topia 22
Глава 3. Лингвистические данные для проведения экспериментов 24
Глава 4. Методика проведения исследования 26
4.1. Проблемы извлечения ключевых выражений экспертным и компьютерным способами 26
4.2. Методика проведения экспериментов 27
4.3. Процедура сравнения методов автоматического выделения ключевых выражений 30
Глава 5. Проведение экспериментов и процедуры сравнения результатов экспертов и методов автоматического извлечения ключевых выражений 32
5.1. Публицистический подкорпус 32
5.2. Научный подкорпус 50
5.3. Художественный подкорпус 69
6. Оценка результатов экспериментов 90
6.1. Теоретические основания оценки результатов 90
6.2. Проведение расчетов оценки результатов 91
Глава 7. Разработка собственного экстрактора ключевых выражений 102
7.1. Исследование структуры ключевого выражения на подкорпусе научных текстов 102
7.2. Экстрактор ключевых выражений, основанный на грамматике русского языка 105
7.2.1. Грамматика экстрактора 105
7.2.2. Метрика экстрактора 108
7.2.3. Реализация экстрактора 109
7.3. Результаты работы экстрактора для публицистического, научного и художественного подкорпусов текстов 110
7.4. Проведение расчетов оценки результатов экстрактора 117
Заключение 119
Список источников 121
Приложение А. Листинг программы для автоматической сборки корпуса 125
Приложение Б. Листинг программы для сборки ключевых выражений из научных статей 126
Приложение В. Листинг программы для морфологического анализа слов и словосочетаний 129
Приложение Г. Листинг программы для экстрактора ключевых выражений на основе грамматики 138
Глава 1. Теоретические основания процедуры автоматического извлечения ключевых выражений 9
1.1. Проблемы, возникающие при извлечении ключевых выражений 12
Глава 2. Анализ и отбор методов автоматического извлечения ключевых выражений 15
2.1. Методы, основанные на статистическом подходе 15
2.1.1. Логарифмическая функция правдоподобия 15
2.1.2. TF-IDF 16
2.1.3. Критерий Хи-квадрат 17
2.1.4. YAKE 17
2.2. Методы, основанные на лингвистическом подходе 18
2.2.1. Инструмент PullEnti 18
2.2.2. RAKE 19
2.3. Методы, основанные на машинном обучении 21
2.3.1. TextRank 21
2.3.2. KeyBERT 21
2.3.3. Topia 22
Глава 3. Лингвистические данные для проведения экспериментов 24
Глава 4. Методика проведения исследования 26
4.1. Проблемы извлечения ключевых выражений экспертным и компьютерным способами 26
4.2. Методика проведения экспериментов 27
4.3. Процедура сравнения методов автоматического выделения ключевых выражений 30
Глава 5. Проведение экспериментов и процедуры сравнения результатов экспертов и методов автоматического извлечения ключевых выражений 32
5.1. Публицистический подкорпус 32
5.2. Научный подкорпус 50
5.3. Художественный подкорпус 69
6. Оценка результатов экспериментов 90
6.1. Теоретические основания оценки результатов 90
6.2. Проведение расчетов оценки результатов 91
Глава 7. Разработка собственного экстрактора ключевых выражений 102
7.1. Исследование структуры ключевого выражения на подкорпусе научных текстов 102
7.2. Экстрактор ключевых выражений, основанный на грамматике русского языка 105
7.2.1. Грамматика экстрактора 105
7.2.2. Метрика экстрактора 108
7.2.3. Реализация экстрактора 109
7.3. Результаты работы экстрактора для публицистического, научного и художественного подкорпусов текстов 110
7.4. Проведение расчетов оценки результатов экстрактора 117
Заключение 119
Список источников 121
Приложение А. Листинг программы для автоматической сборки корпуса 125
Приложение Б. Листинг программы для сборки ключевых выражений из научных статей 126
Приложение В. Листинг программы для морфологического анализа слов и словосочетаний 129
Приложение Г. Листинг программы для экстрактора ключевых выражений на основе грамматики 138
Увеличение потока текстовой информации в современном мире порождает необходимость эту информацию структурировать, упорядочивать, делать более простой и быстрой для поиска. Именно для решения задач компрессии потока текстовой информации необходимы методы автоматической обработки текстов. Одной из важнейших таких задач является процедура автоматического извлечения ключевых выражений из текстов для рубрикации, индексировании, классификации, бизнес-стратегиях, лексикографии, библиотечном деле, информационном поиске и так далее. Ключевые выражения также помогают составить быструю оценку содержания документов, что становится актуальнее в настоящем мире.
Исследования в области автоматического извлечения ключевых выражений широко проводятся на материале английского языка. Существует множество алгоритмов и исследований особенно в последние десятилетия. Исследования с использованием русскоязычного материала можно найти у таких исследователей, как Е.В.Ягунова, О.А.Митрофанова, Т.Ю.Шерстинова, А.Д.Москвина и др. Довольно часто предпринимаются попытки адаптирования алгоритмов для работы с англоязычными документами под работу с русскоязычными. Однако сопоставительных исследований работы разных алгоритмов не было проведено и оценено на материале русского языка. В настоящем исследовании впервые описываются алгоритмы, способные работать с русскоязычными документами смешанных функциональных стилей, с дальнейшей обработкой результатов оценки эффективности.
Актуальность работы обуславливается необходимостью структурирования потока текстовой информации при помощи компрессии. В данной работе проводится исследование природы текстового документа на предмет местоположения ключевого выражения относительно традиционного деления текста на введение, основную часть и заключение. Таким образом, деление документа на части и извлечение ключевых выражений из определенной его части в разы сократит время обработки текста на естественном языке.
Извлечение ключевых выражений из документов является довольно традиционной, а значит, старой процедурой, но с изменением типа текстов и задач работы с этим текстом, актуальным является сравнение методов с целью определения их эффективности.
Новизна исследования заключается в использовании сопоставительного анализа на смешанных корпусах разных функциональных стилей - публицистическом, научном и художественном. Впервые проводится исследование сравнения не только самих алгоритмов на предмет эффективности, но и сравнение ключевых выражений, извлеченных алгоритмами и размеченных экспертами. Данное решение обусловлено целью исследовать природу текстов и определения местоположения ключевых выражений в тексте.
Объектом исследования выступает природа ключевых выражений в корпусе русскоязычных текстов смешанных стилей. Предметом настоящей работы являются методы, использованные для извлечения ключевых выражений из текстов.
Цель исследования состоит в том, чтобы экспериментальным путем определить местоположение ключевых выражений относительно всего текста при помощи сравнения экспертной разметки и различных методов автоматического выделения ключевых выражений при работе с русскоязычными текстами различной тематики и стилей.
Для достижения данной цели требуется решить следующие задачи:
1. исследовать теоретические основания процедуры автоматического выделения ключевых выражений, проанализировать подходы к выделению ключевых выражений с точки зрения психолингвистики (А.С.Штерн, Л.В.Сахарный, Л.Н.Мурзин, Е.В.Ягунова и др.);
2. произвести отбор методов автоматического выделения ключевых выражений для проведения экспериментов (tf-idf, Log-likelihood, Chisquare, RAKE, YAKE, TextRank, KeyBERT, Topia, PullEnti), дать характеристику каждого из методов и обосновать свой выбор;
3. подготовить лингвистические данные для проведения экспериментов: произвести сборку и предобработку исследовательских корпусов текстов разных стилей (художественный, научный, публицистический);
4. разработать процедуру сравнения разметки экспертов и методов автоматического выделения ключевых выражений;
5. произвести планирование и проведение экспериментов:
a) определить параметры экспериментов: определить объемы текстов, длину ключевых выражений, объемы списков ключевых выражений, способы их ранжирования и т.д.
b) автоматически извлечь ключевые выражения из корпусов текстов;
c) извлечь ключевые выражения при помощи экспертов;
d) разработать и провести процедуры оценки результатов;
e) сравнить данные, полученные с помощью исследуемых методов автоматического выделения ключевых выражений и эталона.
6. проанализировать результаты экспериментов: определить местоположение ключевого выражения относительно всего текста.
Материалом исследования является русскоязычный корпус, состоящий из трех подкорпусов разных функциональных стилей: публицистического, научного и художественного. В каждом подкорпусе содержится 50 документов, то есть в сумме корпус составляет 150 текстов на русском языке. Сборка корпуса производилась автоматически и вручную, предварительная обработка текста проводилась при помощи графематического анализа с удалением таблиц, рисунков и так далее. Особенностью каждого документа в подкорпусах является наличие аннотации (развернутый заголовок для новостного текста, собственно аннотация и ключевые слова для научной статьи и опорные слова, вынесенные автором произведения перед каждой главой с сюжетными событиями повествования).
В настоящем исследовании была выдвинута гипотеза о существовании зависимости ключевого выражения и его местоположения. В данном случае проверялось наличие ключевых выражений в начале текста.
Для проверки или опровержения гипотезы был проведен следующий эксперимент:
1. тексты подкорпусов функциональных стилей разбиты на 2 части - начало и остаток. Для текста каждого функционального стиля было собственное деление ввиду разной природы текстов. Для публицистического подкорпуса - заголовок и первые два-три предложения новости, для научного - аннотация и первый абзац статьи, для художественного - размеченные автором опорные слова и первый абзац главы;
2. первые части текстов размечены экспертами;
3. вторые части текста автоматически обработаны автоматическими методами извлечения ключевых выражений;
4. произведена процедура сравнения ключевых выражений, размеченных экспертами и извлеченных алгоритмами. Таким образом, проверялось количество совпадений результатов алгоритма с результатами эталона - экспертной разметкой;
5. проведена процедура оценки эффективности по каждому методу.
Теоретическая значимость исследования заключается в обосновании существования зависимости местоположения ключевых выражений относительно всего текста. С одной стороны, исследуется природа и структура построения текста. С другой стороны, исследуется эффективность извлечения ключевых выражений алгоритмами, способными работать с русскоязычными документами.
Практическая значимость исследования заключается в реализации собственного экстрактора ключевых выражений, основанного на грамматических правилах. В рамках настоящей работы на материале научного подкорпуса было проведено исследование структуры ключевых выражений. Выяснилось, что у ключевого выражения научного подкорпуса есть ограничения в виде отсутствия ключевых выражений, состоящих из глагольной группы.
Объем и структура диссертации. Работа состоит из 7 глав, введения, заключения, списка источников и 4 приложений. Главы 1 и 2 посвящены теоретическим вопросам: проблемам, возникающим при извлечении ключевых выражений, а также обзору научной литературы по избранным методам автоматического извлечения ключевых выражений. Глава 3 содержит информацию о лингвистических данных, необходимых для проведения эксперимента, то есть о сборке корпуса и структуре документов. В главе 4 приводится методика проведения экспериментов с описанием параметров, необходимых для экспериментов. Глава 5 посвящена непосредственно проведению самого эксперимента с разбиением на параграфы подкорпусов разных функциональных стилей. В главе приводятся примеры текстов, ключевые выражения экспертов и методов, а также результаты совпадений разметки информантов и выдачи алгоритмов. В главе 6 содержатся результаты оценки эффективности полученных результатов совпадений. Завершающая 7 глава посвящена исследованию природы ключевого выражения на материале научного подкорпуса, а также описанию разработанного самостоятельно экстрактора ключевых выражений. Приложения содержат листинги программ, использованных для проведения исследования на разных этапах работы. Общий объем работы составляет 143 страницы, основное содержание изложено на 120 страницах, текст содержит 44 таблицы, 5 рисунков и 99 формул, приложение занимает 18 страниц. Список источников состоит из 31 позиции.
Исследования в области автоматического извлечения ключевых выражений широко проводятся на материале английского языка. Существует множество алгоритмов и исследований особенно в последние десятилетия. Исследования с использованием русскоязычного материала можно найти у таких исследователей, как Е.В.Ягунова, О.А.Митрофанова, Т.Ю.Шерстинова, А.Д.Москвина и др. Довольно часто предпринимаются попытки адаптирования алгоритмов для работы с англоязычными документами под работу с русскоязычными. Однако сопоставительных исследований работы разных алгоритмов не было проведено и оценено на материале русского языка. В настоящем исследовании впервые описываются алгоритмы, способные работать с русскоязычными документами смешанных функциональных стилей, с дальнейшей обработкой результатов оценки эффективности.
Актуальность работы обуславливается необходимостью структурирования потока текстовой информации при помощи компрессии. В данной работе проводится исследование природы текстового документа на предмет местоположения ключевого выражения относительно традиционного деления текста на введение, основную часть и заключение. Таким образом, деление документа на части и извлечение ключевых выражений из определенной его части в разы сократит время обработки текста на естественном языке.
Извлечение ключевых выражений из документов является довольно традиционной, а значит, старой процедурой, но с изменением типа текстов и задач работы с этим текстом, актуальным является сравнение методов с целью определения их эффективности.
Новизна исследования заключается в использовании сопоставительного анализа на смешанных корпусах разных функциональных стилей - публицистическом, научном и художественном. Впервые проводится исследование сравнения не только самих алгоритмов на предмет эффективности, но и сравнение ключевых выражений, извлеченных алгоритмами и размеченных экспертами. Данное решение обусловлено целью исследовать природу текстов и определения местоположения ключевых выражений в тексте.
Объектом исследования выступает природа ключевых выражений в корпусе русскоязычных текстов смешанных стилей. Предметом настоящей работы являются методы, использованные для извлечения ключевых выражений из текстов.
Цель исследования состоит в том, чтобы экспериментальным путем определить местоположение ключевых выражений относительно всего текста при помощи сравнения экспертной разметки и различных методов автоматического выделения ключевых выражений при работе с русскоязычными текстами различной тематики и стилей.
Для достижения данной цели требуется решить следующие задачи:
1. исследовать теоретические основания процедуры автоматического выделения ключевых выражений, проанализировать подходы к выделению ключевых выражений с точки зрения психолингвистики (А.С.Штерн, Л.В.Сахарный, Л.Н.Мурзин, Е.В.Ягунова и др.);
2. произвести отбор методов автоматического выделения ключевых выражений для проведения экспериментов (tf-idf, Log-likelihood, Chisquare, RAKE, YAKE, TextRank, KeyBERT, Topia, PullEnti), дать характеристику каждого из методов и обосновать свой выбор;
3. подготовить лингвистические данные для проведения экспериментов: произвести сборку и предобработку исследовательских корпусов текстов разных стилей (художественный, научный, публицистический);
4. разработать процедуру сравнения разметки экспертов и методов автоматического выделения ключевых выражений;
5. произвести планирование и проведение экспериментов:
a) определить параметры экспериментов: определить объемы текстов, длину ключевых выражений, объемы списков ключевых выражений, способы их ранжирования и т.д.
b) автоматически извлечь ключевые выражения из корпусов текстов;
c) извлечь ключевые выражения при помощи экспертов;
d) разработать и провести процедуры оценки результатов;
e) сравнить данные, полученные с помощью исследуемых методов автоматического выделения ключевых выражений и эталона.
6. проанализировать результаты экспериментов: определить местоположение ключевого выражения относительно всего текста.
Материалом исследования является русскоязычный корпус, состоящий из трех подкорпусов разных функциональных стилей: публицистического, научного и художественного. В каждом подкорпусе содержится 50 документов, то есть в сумме корпус составляет 150 текстов на русском языке. Сборка корпуса производилась автоматически и вручную, предварительная обработка текста проводилась при помощи графематического анализа с удалением таблиц, рисунков и так далее. Особенностью каждого документа в подкорпусах является наличие аннотации (развернутый заголовок для новостного текста, собственно аннотация и ключевые слова для научной статьи и опорные слова, вынесенные автором произведения перед каждой главой с сюжетными событиями повествования).
В настоящем исследовании была выдвинута гипотеза о существовании зависимости ключевого выражения и его местоположения. В данном случае проверялось наличие ключевых выражений в начале текста.
Для проверки или опровержения гипотезы был проведен следующий эксперимент:
1. тексты подкорпусов функциональных стилей разбиты на 2 части - начало и остаток. Для текста каждого функционального стиля было собственное деление ввиду разной природы текстов. Для публицистического подкорпуса - заголовок и первые два-три предложения новости, для научного - аннотация и первый абзац статьи, для художественного - размеченные автором опорные слова и первый абзац главы;
2. первые части текстов размечены экспертами;
3. вторые части текста автоматически обработаны автоматическими методами извлечения ключевых выражений;
4. произведена процедура сравнения ключевых выражений, размеченных экспертами и извлеченных алгоритмами. Таким образом, проверялось количество совпадений результатов алгоритма с результатами эталона - экспертной разметкой;
5. проведена процедура оценки эффективности по каждому методу.
Теоретическая значимость исследования заключается в обосновании существования зависимости местоположения ключевых выражений относительно всего текста. С одной стороны, исследуется природа и структура построения текста. С другой стороны, исследуется эффективность извлечения ключевых выражений алгоритмами, способными работать с русскоязычными документами.
Практическая значимость исследования заключается в реализации собственного экстрактора ключевых выражений, основанного на грамматических правилах. В рамках настоящей работы на материале научного подкорпуса было проведено исследование структуры ключевых выражений. Выяснилось, что у ключевого выражения научного подкорпуса есть ограничения в виде отсутствия ключевых выражений, состоящих из глагольной группы.
Объем и структура диссертации. Работа состоит из 7 глав, введения, заключения, списка источников и 4 приложений. Главы 1 и 2 посвящены теоретическим вопросам: проблемам, возникающим при извлечении ключевых выражений, а также обзору научной литературы по избранным методам автоматического извлечения ключевых выражений. Глава 3 содержит информацию о лингвистических данных, необходимых для проведения эксперимента, то есть о сборке корпуса и структуре документов. В главе 4 приводится методика проведения экспериментов с описанием параметров, необходимых для экспериментов. Глава 5 посвящена непосредственно проведению самого эксперимента с разбиением на параграфы подкорпусов разных функциональных стилей. В главе приводятся примеры текстов, ключевые выражения экспертов и методов, а также результаты совпадений разметки информантов и выдачи алгоритмов. В главе 6 содержатся результаты оценки эффективности полученных результатов совпадений. Завершающая 7 глава посвящена исследованию природы ключевого выражения на материале научного подкорпуса, а также описанию разработанного самостоятельно экстрактора ключевых выражений. Приложения содержат листинги программ, использованных для проведения исследования на разных этапах работы. Общий объем работы составляет 143 страницы, основное содержание изложено на 120 страницах, текст содержит 44 таблицы, 5 рисунков и 99 формул, приложение занимает 18 страниц. Список источников состоит из 31 позиции.
В ходе исследования была достигнута следующая цель: экспериментальным путем было определено, что существует зависимость местоположения ключевых выражений относительно всего текста при помощи сравнения экспертной разметки и различных методов автоматического выделения ключевых выражений при работе с русскоязычными текстами различной тематики и стилей. Ключевые выражения содержатся в самом начале текста и с малой вероятностью появляются в основной части и заключении документа.
В настоящей работе было проведено исследование природы ключевых выражений относительно структуры текста. Гипотеза о существовании зависимости местоположения ключевого выражения подтвердилась в ходе эксперимента, который состоял в том, чтобы поделить текст на две части, извлечь ключевые выражения из начала при помощи экспертов, а при помощи алгоритмов из оставшейся части и сравнить количество совпадений. Суммы совпадений оказались настолько низкими, что был сделан вывод о концентрации ключевых выражений в самом начале текста. Оценка эффективности алгоритмов не поднялась выше 0,2, что говорит о малом количестве встречаемости ключевых выражений результатов алгоритмов и разметки экспертов.
Важно отметить тот факт, что для подкорпусов всех трех функциональных стилей - публицистического, научного и художественного - наблюдается подтверждение гипотезы. Самые высокие показатели совпадений получились у публицистического подкорпуса, самые низкие - у художественного. Такая ситуация объясняется простой и краткостью новостных текстов публицистического подкорпуса и объемом и сложностью документов художественного подкорпуса.
В ходе работы над диссертацией был создан и опробован собственный экстрактор ключевых выражений, основанный на грамматике. Данный алгоритм способен извлекать выражения, нужные пользователю, то есть необходимо написать правила грамматики, и алгоритм начнет работу.
Для настоящего исследования были написаны правила грамматики, основанные на ключевых выражениях научного подкорпуса. Экстрактор наравне с другими традиционными алгоритмами извлекал ключевые выражения. Результаты оценки эффективности были признаны средними относительно остальных алгоритмов, однако, опровергнуть гипотезу разработанному экстрактору не удалось, показатели совпадений и f-меры по-прежнему остались в пределах от 0 до 0,2.
В настоящей работе было проведено исследование природы ключевых выражений относительно структуры текста. Гипотеза о существовании зависимости местоположения ключевого выражения подтвердилась в ходе эксперимента, который состоял в том, чтобы поделить текст на две части, извлечь ключевые выражения из начала при помощи экспертов, а при помощи алгоритмов из оставшейся части и сравнить количество совпадений. Суммы совпадений оказались настолько низкими, что был сделан вывод о концентрации ключевых выражений в самом начале текста. Оценка эффективности алгоритмов не поднялась выше 0,2, что говорит о малом количестве встречаемости ключевых выражений результатов алгоритмов и разметки экспертов.
Важно отметить тот факт, что для подкорпусов всех трех функциональных стилей - публицистического, научного и художественного - наблюдается подтверждение гипотезы. Самые высокие показатели совпадений получились у публицистического подкорпуса, самые низкие - у художественного. Такая ситуация объясняется простой и краткостью новостных текстов публицистического подкорпуса и объемом и сложностью документов художественного подкорпуса.
В ходе работы над диссертацией был создан и опробован собственный экстрактор ключевых выражений, основанный на грамматике. Данный алгоритм способен извлекать выражения, нужные пользователю, то есть необходимо написать правила грамматики, и алгоритм начнет работу.
Для настоящего исследования были написаны правила грамматики, основанные на ключевых выражениях научного подкорпуса. Экстрактор наравне с другими традиционными алгоритмами извлекал ключевые выражения. Результаты оценки эффективности были признаны средними относительно остальных алгоритмов, однако, опровергнуть гипотезу разработанному экстрактору не удалось, показатели совпадений и f-меры по-прежнему остались в пределах от 0 до 0,2.
Подобные работы
- Мультимодальное тематическое моделирование многоязычного корпуса общественно-политических текстов
Бакалаврская работа, лингвистика. Язык работы: Русский. Цена: 4200 р. Год сдачи: 2022 - Восприятие поэтических текстов носителями русского языка: психолингвистическое исследование с использованием методики регистрации движений глаз
Магистерская диссертация, психолингвистика. Язык работы: Русский. Цена: 5350 р. Год сдачи: 2021 - ПЕРЦЕПТИВНАЯ ПОЭТИКА ТВОРЧЕСТВА В. НАБОКОВА ФРАНЦУЗСКОГО ПЕРИОДА (1937-1940)
Диссертации (РГБ), литература. Язык работы: Русский. Цена: 4325 р. Год сдачи: 2022