РАЗРАБОТКА СИСТЕМЫ ДЛЯ АВТОМАТИЧЕСКОГО РЕФЕРИРОВАНИЯ НОВОСТНЫХ ТЕКСТОВ

АННОТАЦИЯ 3
ГЛОССАРИЙ 4
ВВЕДЕНИЕ 5
1. Теоретическая база 8
1.1 Реферирование 8
1.2 Автоматическое реферирование 9
1.2.1 История 9
1.2.2 Подходы к анализу исходного текста 10
1.2.3 Подходы по типу получаемого реферата 12
1.2.3.1Экстрактивное автоматическое реферирование 13
1.2.3.2Абстрактное автоматическое реферирование 18
1.3 Метрики оценки качества реферирования 23
1.3.1 Метрики экстракции 24
1.3.2 Метрики абстракции 25
2. Анализ проблемы и существующих решений 26
2.1 Постановка проблемы 26
2.2 Обзор существующих решений 27
2.3 Преимущества разрабатываемого сервиса 28
3. Реализация алгоритмов автоматического реферирования 29
3.1. Технологии для реализации 29
3.2. Реализация экстракции 29
3.2.1. Модель Word2Vec 29
3.2.2. Подготовка данных для обучения 34
3.2.3 Обучение модели Word2Vec 36
3.2.4 Реализация алгоритма реферирования 38
3.3 Реализация абстракции 40
4. Проектирование веб-сервиса 46
4.1 Анализ требований 46
4.2 Прототипы дизайна 49
4.3 Архитектура проекта 52
5. Реализация 55
ЗАКЛЮЧЕНИЕ 60
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 61
Купить

В современном мире важность получения новых знаний с наименьшими затратами времени велика как никогда, особенно в случае с новостными текстами, так как в них содержится наиболее важная и актуальная информация о тех или иных событиях, происходящих в реальном времени, и потому как нахождение в актуальной новостной повестке было важно и раньше, и со временем важность лишь усиливается.
В это же время одной из самых серьезных проблем в современном мире является повсеместно увеличивающийся объём информации, которую современному человеку необходимо воспринимать, запоминать и в дальнейшем использовать в своей деятельности. Согласно последним исследованиям, объём информации и её использования уже растут экспоненциально. Это также является причиной важности и необходимости методов для обработки больших объёмов информации в более удобный для быстрого восприятия вид.
Таким образом, рост важности и спроса на быстрое освоение новой информации большого объема обеспечивают актуальность подобных методов, а именно актуальность автоматического реферирования - метода, направленного на создание краткой версии, то есть реферата, исходного текстового документа, содержащего наиболее важную информацию в сжатом виде, с помощью компьютерной программы, использование которого вместо объемных исходных текстов позволяет гораздо эффективнее работать с большими объемами информации. Соответственно теми же самыми причинами обусловлена актуальность систем по автоматическому реферированию текстов.
Также подобная система будет востребована среди специалистов, создающих сами новости, например, для проверки того, какие информационные блоки являются наиболее важными, а также для генерации заголовков.
Хорошим решением для такого рода систем является представление в виде веб-сервиса. Но на данный момент в широком доступе не существует удобных веб-сервисов, обрабатывающих русскоязычные новостные тексты, а также предоставляющих возможность выбора подхода к генерации реферата и требуемой тематики новостей, к которой относится исходный текст.
Основными подходами к автоматическому являются экстракция - извлечение из исходного текста наиболее важных и существенных информационных блоков и абстракция - генерация реферата, состоящего из нового текста, который не содержался в исходном тексте и который содержательно обобщает его. Экстракция и абстракция являются подходами к автоматическому реферированию согласно классификации по типу получаемого реферата.
Также важен подход к анализу исходного текста. Существуют различные уровни, располагающие своими особенностями и методами. Работа над системой будет проводиться с использованием методов машинного обучения. Другие подходы и методы автоматического реферирования будут рассмотрены более подробно в соответствующей главе.
Таким образом, целью работы является разработка системы для автоматического реферирования новостных текстов на русском языке с возможностью выбора подхода к реферированию по типу получаемого реферата с помощью использования методов машинного обучения.
Для достижения цели были поставлены задачи:
1. Рассмотреть теоретическую базу автоматического реферирования текстов.
2. Выбрать и обучить подходящие модели машинного обучения.
3. Реализовать алгоритмы автоматического реферирования.
4. Спроектировать систему для автоматического реферирования новостных текстов на русском языке, представленную в виде веб-сервиса.
5. Разработать спроектированный сервис.

Купить