Введение 4
Глава 1. Развитие методов автоматического реферирования текстов 8
1.1. История автоматического реферирования 8
1.1.1 Ранние работы 9
1.1.2 Методы машинного обучения по признакам 10
1.1.3 Методы на основе графов 12
1.1.4 Методы на основе нейронных сетей 12
1.2. Работы по реферированию текстов на русском языке 15
1.2.1 Статистический подход 15
1.2.2 Подход на основе риторических структур 16
1.2.3 Алгебраический подход 17
1.2.4 Подход на основе машинного обучения 17
1.2.5 Подход на основе тезауруса 18
1.2.6 Подход на основе симметричного реферирования 19
1.2.7 Гибридный подход 20
1.3. Выводы 21
Глава 2. Нейронные сети 22
2.1. Рекуррентные нейронные сети 22
2.2. Архитектура Transformer 24
2.2.1 Механизм самовнимания 25
2.2.2 Позиционное кодирование 26
2.2.3 Нормализация по слою и нейронная сеть с прямой связью 27
2.2.4 Многоголовое внимание 28
2.3. Предварительно обученные языковые модели 28
2.4. Реферирование текстов при помощи нейронных сетей 30
2.4.1 Экстрактивный подход 30
2.4.2 Абстрактивный подход 31
2.5. Проблемы реализации систем автоматического рефериро­вания на основе нейронных сетей 34
2.6. Методы автоматической оценки работы систем рефериро­вания 37
2.6.1 Базовые модели автоматического реферирования 37
2.6.2 Метрики оценки систем автоматического реферирования 38
2.7. Данные для обучения систем реферирования 40
2.8. Выводы 41
Глава 3. Реализация моделей для автоматического реферирования 43
3.1. Данные для обучения моделей реферирования 43
3.2. Модель для экстрактивного реферирования SummaRuNNer 46
3.2.1 Описание модели 46
3.2.2 Моделирование текста 48
3.2.3 Детали обучения 49
3.2.4 Результаты и оценка 50
3.3. Экстрактивное реферирование на базе предварительно обу­ченной языковой модели ruBERT 52
3.3.1 Описание модели 53
3.3.2 Детали обучения 54
3.3.3 Результаты и анализ 55
3.4. Модель для абстрактивного реферирования Pointer-Generator Network 56
3.4.1 Описание модели 57
3.4.2 Механизм покрывающего внимания 58
3.4.3 Детали обучения 60
3.4.4 Результаты и оценка 61
3.5. Абстрактивное реферирование на базе предварительно обу­ченной языковой модели mBART 63
3.5.1 Описание модели 64
3.5.2 Детали обучения 65
3.5.3 Результаты и анализ 66
3.6. Выводы 68
Заключение 72
Список литературы 75
Приложение 84
Купить

Актуальность:
Сегодня мы живем в эпоху «информационного взрыва». Данный фено­мен представляет собой экспоненциальное увеличение количества информа­ции во всех сферах деятельности человека (Эпштейн 1999). Столь быстрые темпы роста количества доступных данных приводят к информационной пе­регрузке, когда количество поступающей полезной информации превосходит объективные возможности ее восприятия человеком. Полезной считается та информация, которая необходима для решения задач, обеспечивающих жиз­недеятельность личности или социальной организации (Еляков 2005). В связи с этим, в сфере компьютерной лингвистики возникла задача автоматического реферирования, также известная как задача саммаризации текста (от англ. text summarization). Чтобы выполнить требования по эффективному состав­лению реферата документа, система автоматического реферирования должна выполнять множество различных задач, главными из которых являются из­влечение полезной информации из одного источника, извлечение связанной информации из нескольких источников и создание удобочитаемого и грамот­ного краткого текста, передающего всю смысловую информацию оригинала.
Реферат, по определению В. И. Соловьева, это семантически адекват­ное, ограниченное малым объемом и вместе с тем возможно полное изло­жение основного содержания первичного содержания документа (Соловьев 1975, с. 20).
Исходя из данного определения, можно сделать вывод, что реферат должен обладать следующими характеристиками:
1. Информативность: реферат должен содержать в себе самую важную информацию исходного текста (или текстов);
2. Краткость: реферат не должен содержать излишнюю информацию и должен иметь значительно меньший объем, чем исходный текст (или тексты).
Использование программ для автоматического создания рефератов в иноязычной литературе обычно называется задачей обобщения документов (англ. document summarization). Работы в данном направлении ведутся уже более полувека, начиная с методов, основанных на частотности слов (Luhn 1958; Baxendale 1958) и методов машинного обучения по признакам (Aone и др. 1997; Lin 1999). В последнее время модели на основе нейронных се­тей достигли заметных успехов во многих областях обработки естественного языка (Collobert и др. 2011; Devlin и др. 2018). В нейросетевых моделях слова сначала моделируются при помощи векторных представлений, образуя так называемые «вложения слов» (англ. word embeddings), а затем подвергаются нелинейным преобразованиям. Таким образом, одним из преимуществ ней­ронных сетей является их гибкость. Различные нейронные архитектуры могут быть спроектированы для решения множества разных задач, а несколько сло­ев нейронной сети могут быть объединены и сформированы в единую боль­шую сеть, которая может извлекать еще большее количество признаков. Для настройки параметров сети обычно используются методы оптимизации на ос­нове градиентного спуска. Кроме того, благодаря архитектуре кодировщик- декодировщик (англ. encoder-decoder) (Bahdanau и др. 2014), модели нейрон­ных сетей показали впечатляющую эффективность при выполнении таких задач компьютерной лингвистики, как машинный перевод (Bahdanau и др. 2014), генерация описаний изображений (Xu и др. 2015) и упрощение пред­ложений (Zhang и Lapata 2017). Потенциал нейросетевых моделей для созда­ния краткого и грамотного текста привел ко многим достижениям в задачах генерации естественного языка, в том числе и в задаче автоматического ре­ферирования текста. Несмотря на то, что исследования в данной области имеют довольно долгую историю, подавляющее большинство работ в данном направлении рассматривают резюмирование текстов на английском языке. Таким образом, вопрос о применении существующих нейронных систем ре­ферирования к текстам на русском языке приобретает особую актуальность и требует проведения глубокого исследования.
Объектом исследования являются методы автоматического рефери­рования текстов.
Предмет исследования - применение нейросетевых методов для ре­шения задачи автоматического реферирования текстов на русском языке.
Практическая значимость состоит в реализации нейросетевых ме­тодов автоматического реферирования текстов на русском языке и анализе результатов их применения.
Цель данной работы состоит в изучении методов автоматического ре­ферирования текстов и написании программного кода для реализации таких нейросетевых моделей как SummaRuNNer (Nallapati и др. 2016) и Pointer­Generator Network (See и др. 2017), а также для настройки предварительно обученных языковых моделей ruBERT (Kuratov и Arkhipov 2019) и mBART (Liu и др. 2020), и применения их к задаче обобщения текстов на русском языке.
Исходя из поставленной цели, были сформулированы следующие зада­чи:
1. Провести обзор исследований методов автоматического реферирования текстов;
2. Изучить архитектуру нейросетевых моделей, применяющихся для ав­томатического реферирования текстов;
3. Построить несколько систем автоматического обобщения русскоязыч­ных текстов на основе нейросетевых моделей;
4. Осуществить оценку применения данных систем к русскоязычным тек­стам;
5. Идентифицировать ошибки в реферировании текстов данными метода­ми и предложить возможное объяснение их появлению.
Методы и материалы исследования:
Реализация выбранных в ходе исследования методов автоматическо­го реферирования текста проводилась на языке программирования Python с использованием среды разработки Google Colab.
В качестве данных для обучения моделей были использован корпус новостных статей Rossiya Segodnya (Gavrilov и др. 2019).
Автоматическая оценка реализованных методов была проведена с ис­пользованием метрик BLEU, ROUGE и chrF.
Данная работа состоит из введения, трех глав, заключения, списка ис­пользованной литературы и приложения.
Во введении формулируется проблема, обосновывается актуальность работы, описывается практическая значимость исследования, определяются цель, задачи и методы данной работы, обозначаются предмет и объект иссле­дования.
Первая глава работы представляет собой теоретическую часть иссле­дования. В ней рассматриваются различные подходы к задаче автоматиче­ского реферирования, от самых ранних методов до современных. Отдельно рассматриваются подходы к реферированию текстов на русском языке.
Вторая глава также носит теоретический характер. В данной главе рас­сматриваются основы архитектур рекуррентных нейронных сетей и архитек­туры глубоких нейронных сетей Transformer, применяющихся при решении задачи автоматического реферирования. В данной главе мы также рассмат­риваем подходы к автоматическому реферированию при помощи нейронных сетей и методы их автоматической оценки. Здесь же приводится список до­ступных корпусов, которые применимы для решения задачи автоматического обобщения текстов на русском языке.
Третья глава описывает практическую часть исследования, в ходе ко­торой описываются алгоритмы работы созданных систем автоматического реферирования, детали их имплементации и приводятся результаты оценки качества их работы по метрикам BLEU, ROUGE и chrF. В данной главе также проводится исследование ошибок, допущенных системами автоматического реферирования и дается возможное объяснение их возникновению.
В заключении обобщаются теоретические и практические результаты работы, анализируются преимущества и недостатки использованных методов. Также приводятся перспективы будущих исследований.
В приложении приведены примеры сгенерированных системами рефе­ратов.
Купить