Глава 1. Введение 3
Глава 2. Постановка задачи 5
2.1. Задачи 5
Глава 3. Существующие модели экстрактивной суммаризации 6
Глава 4. Тестирование MatchSum 8
4.1. Воспроизведение результатов 8
4.2. Тестирование MatchSum с русскоязычным набором данных 9
Глава 5. Обученные модели для абстрактивной суммаризации русскоязычного текста 10
Глава 6. Обучение модели абстрактивной суммаризации на русскоязычном наборе данных 11
6.1. Архитектура 11
6.2. Используемые технологии и данные 11
6.3. Процесс обучения модели 12
Глава 7. Тестирование на других наборах данных 14
Глава 8. Заключение 15
Список литературы 16
В настоящее время в мире распространена задача суммаризации текста. Суммаризация текста применяется при составлении анотации к научным статьям или к новостям, к краткому пересказу произведений и в других случаях.
Сейчас существуют два способа автоматической суммаризации текста. Один из них экстрактивный[1], второй абстрактивный[2]. Расскажем о каждом из них поподробнее.
Экстрактивная суммаризация является наиболее простым видом для реализации и понимания. Ее принцип заключается в выделении из текста наиболее важных информационных блоков. Каждый блок может являться абзацем, предложением и так далее[3]. Работа данного подхода показана на рисунке 1.
Абстрактивная суммаризация является более сложным подходом для выделения главной мысли из текста. Она заключается в создании собственного краткого содержания, которое может содержать слова, которые не имеет исходный текст. Работа данного подхода показана на рисунке 2.
Если подвести итог, то оба подхода имеют как минусы, так и плюсы:
• экстрактивный подход более прост для изучения;
• экстрактивный подход более прост для реализации;
• абстрактивный подход выполняет свою работу более качественно.
Рис. 1: Абстрактивная суммаризация
Рис. 2: Экстрактивная суммаризация
На данный момент наиболее развиты системы по суммаризации англоязычных текстов. Существует множество обученных моделей на множествах данных, таких как CNN, Reddit, XSum и так далее. Тогда как решений для русскоязычных текстов не так много, как и самих множеств данных.
В этой связи возникла потребность в успешном обучении модели для суммаризации русскоязычного текста с приемлимым Rouge. Далее будем говорить о задачах, которые были поставлены непосредственно в данном проекте.
В ходе данной работы были достигнуты следующие результаты.
• Изучены существующие модели экстрактивной суммаризации на примере MatchSum.
• Воспроизведены результаты исследований MatchSum и проведены тесты с русскоязычным текстом.
• Изучены решения для абстрактивной суммаризации русскоязычного текста и воспроизведены результаты.
• Была обучена собственная модель абстрактивной суммаризации при помощи библиотеки TensorFlow на данных от Gazeta.
• Проведено тестирование с набором данных от Lenta.
Код для обучения модели представлен на GitHub: https://github.com/VLiamin/AbstractiveModel.
