Глава 1. Введение 3
Глава 2. Постановка задачи 5
2.1. Задачи 5
Глава 3. Существующие модели экстрактивной суммаризации 6
Глава 4. Тестирование MatchSum 8
4.1. Воспроизведение результатов 8
4.2. Тестирование MatchSum с русскоязычным набором данных 9
Глава 5. Обученные модели для абстрактивной суммаризации русскоязычного текста 10
Глава 6. Обучение модели абстрактивной суммаризации на русскоязычном наборе данных 11
6.1. Архитектура 11
6.2. Используемые технологии и данные 11
6.3. Процесс обучения модели 12
Глава 7. Тестирование на других наборах данных 14
Глава 8. Заключение 15
Список литературы
В настоящее время в мире распространена задача суммаризации текста. Суммаризация текста применяется при составлении анотации к научным статьям или к новостям, к краткому пересказу произведений и в других случаях.
Сейчас существуют два способа автоматической суммаризации текста. Один из них экстрактивный[1], второй абстрактивный[2]. Расскажем о каждом из них поподробнее.
Экстрактивная суммаризация является наиболее простым видом для реализации и понимания. Ее принцип заключается в выделении из текста наиболее важных информационных блоков. Каждый блок может являться абзацем, предложением и так далее[3]. Работа данного подхода показана на рисунке 1.
Абстрактивная суммаризация является более сложным подходом для выделения главной мысли из текста. Она заключается в создании собственного краткого содержания, которое может содержать слова, которые не имеет исходный текст. Работа данного подхода показана на рисунке 2.
Если подвести итог, то оба подхода имеют как минусы, так и плюсы:
• экстрактивный подход более прост для изучения;
• экстрактивный подход более прост для реализации;
• абстрактивный подход выполняет свою работу более качественно.
На данный момент наиболее развиты системы по суммаризации англоязычных текстов. Существует множество обученных моделей на множествах данных, таких как CNN, Reddit, XSum и так далее. Тогда как решений для русскоязычных текстов не так много, как и самих множеств данных.
В этой связи возникла потребность в успешном обучении модели для суммаризации русскоязычного текста с приемлемым Rouge. Далее будем говорить о задачах, которые были поставлены непосредственно в данном проекте.
2. Постановка задачи
Целью данной работы является создание качественного решения для абстрактивной суммаризации русскоязычного текста. Для достижения этой цели были сформулированы следующие задачи.
2.1 Задачи
• Изучить существующие модели экстрактивной суммаризации.
• Воспроизвести результаты исследователей и провести тестирование с другим набором данных.
• Изучить решения для абстрактивной суммаризации русскоязычного текста и воспроизвести результаты.
• Самостоятельное обучение модели абстрактивной суммаризации на русскоязычном наборе данных.
• Тестирование на других наборах данных.
В ходе данной работы были достигнуты следующие результаты.
• Изучены существующие модели экстрактивной суммаризации на примере MatchSum.
• Воспроизведены результаты исследований MatchSum и проведены тесты с русскоязычным текстом.
• Изучены решения для абстрактивной суммаризации русскоязычного текста и воспроизведены результаты.
• Была обучена собственная модель абстрактивной суммаризации при помощи библиотеки TensorFlow на данных от Gazeta.
• Проведено тестирование с набором данных от Lenta.
Код для обучения модели представлена на GitHub: https://github.com/VLiamin/AbstractiveModel.
