ВВЕДЕНИЕ 4
ОБЗОР ЛИТЕРАТУРЫ 7
1 ЭКСТРАКТИВНЫЙ ПОДХОД 8
1.1 Алгоритм ранжирования предложений 8
1.2 Лемматизация и стемминг 9
1.3 Извлечение именованных сущностей 9
1.4 Инструменты для обработки естественных языков 10
2 АБСТРАКТИВНЫЙ ПОДХОД 12
2.1 Рекуррентные нейронные сети 13
2.2 Трансформер 17
2.3 Механизм внимания 21
2.4 Вектор запроса, вектор ключа и вектор значения. 24
2.5 Матричные вычисления механизма внимания 27
2.6 Многопоточный механизм внимания 28
2.7 Позиционное кодирование 32
2.8 Остаточные соединения 33
2.9 Декодер 34
2.10 Полносвязный слой с функцией активации Softmax 35
2.11 Описание данных 38
2.11 Обучение нейронной сети 39
2.12 Эксперименты 41
3 СРАВНЕНИЕ РЕАЛИЗОВАННЫХ ПОДХОДОВ 43
ЗАКЛЮЧЕНИЕ 45
СПИСОК ЛИТЕРАТУРЫ 46
ПРИЛОЖЕНИЕ
В настоящее время на передний план выходит проблема информационной перегрузки. В связи с высоким ростом количества новостных сайтов, социальных сетей сложно иметь даже поверхностное представление об информации, содержащейся среди всего многообразия представленных документов. Однако, использование современных методов обработки естественных языков позволяет решить данную проблему. В частности, широко применяются алгоритмы для автоматического реферирования текстов.
Автоматическое реферирование - процесс построения краткого содержимого документа, т.е. автоматическое создание реферата. Реферат создается путем выделения наиболее информативных элементов текста. Элементами текста могут выступать слова, предложения, абзацы.
Автоматическое реферирование текстов используется в поисковых системах для того, чтобы уменьшить область поиска. Рефераты могут быть полезны для людей, которым нужно по большому количеству документов на определенную тему за короткий промежуток времени получить представление о данной области. Помимо этого, рефераты применяются в онлайн - переводчиках.
В то же время, методы машинного обучения, в частности глубокого обучения демонстрируют большой успех в различных областях, начиная от самых простых задач, таких как предсказание оттока пользователей (churn prediction) для различного рода услуг (сотовая связь, интернет-услуги, платные подписки), предсказание кредитоспособности заемщика (кредитный скоринг), заканчивая задачами, которые изначально считались выполнимыми только человеком.
Стоит понимать, что несмотря на успешное применение искусственных нейронные сетей в отдельных задачах, они далеки от того, что можно было бы назвать интеллектом. Безусловно, все алгоритмы машинного обучения используют прецеденты, аналогично людям при обучении. В случае человека, новый прецедент рассматривается аналитически, исходя из прошлого опыта и знаний. Для алгоритмов машинного обучения используется лишь статистический подход. Можно утверждать, что человеческий интеллект понимает суть поставленной задачи и решает ее путем логического вывода, а алгоритмы машинного обучения могут только подобрать наиболее вероятный вариант.
Исходя из вышеизложенного следует, что для получения качественно работающей модели машинного обучения необходимо значительно больше прецедентов, чем требуется человеческому интеллекту.
Очевидно, что для сложных задач сложно собрать обучающие выборки достаточных больших размеров - в большинстве производственных задач также используют, методы, основанные на правилах, например, в «Алиса» . Работа чат-бота “Алисы” от компании “Яндекс” основывается на распознавании базовых сценариев, для которых уже разработаны некоторые ответы. Методы, основанные на правилах, являются аналитическим подходом, представленном в формальном виде на одном из языков программирования.
Особый интерес представляют методы машинного обучения в задаче реферирования, для которых существуют подходы, основанные на правилах.
Задача реферирования с точки зрения человека является достаточно тривиальной. Тем не менее, составление алгоритма автоматического выделения “смысла в сжатой форме” приводит к определенным сложностям в связи с трудностью формализации понятия “смысл”. Первые работы по данной тематике посвящены так называемому экстрактивному подходу. Экстрактивный подход заключаются в выделении нескольких предложений, в которых содержится большая часть информации исходного текста. Выделение таких предложений является менее сложной задачей в сравнении с задачей выделения смысла.
Алгоритмы экстрактивного подхода работают следующим образом: (i) Исходный текст разбивается на предложения; (ii) для каждого предложения считается мера информативности; (iii) На основе самых информативных предложений строится реферат документа.
Помимо экстрактивного подхода также существует абстрактивный подход. Данный подход основывается на применении нейронных сетей. Исходный текст сжимается с использованием техник перефразирования и позволяет получить более короткие рефераты.
Таким образом, целью настоящей работы является решение проблемы избыточности информации путем применения методов реферирования на основе экстрактивного и абстрактивного подходов.
В данной работе была рассмотрена задача автоматического реферирования и применения результатов ее решение к проблеме избыточности информации.
Были рассмотрены два различных подхода автоматического реферирования - экстрактивные и абстрактивные методы решения.
Одной из важных особенностей экстрактивного подхода является то, что существует большое количество качественно работающих алгоритмов, основанных на правилах. В отличие от экстрактивных методов для абстрактивных подходов решения аналогичных правил не существует.
Были выявлены особенности используемых подходов.
В случае экстрактивного подхода полученные аннотации часто теряют связность изложения, но сохраняют основные тезисы новостной статьи.
Абстрактивные методы демонстрируют качественные результаты, но при этом требуют больших вычислительных ресурсов и больших объемов данных. Однако, даже использование большого количестве тренировочных данных никаким образом не гарантирует грамотно сформированной аннотации на выходе нейронной сети.
