Введение 3
1. Постановка задачи 4
2. Алгоритм TextRank 4
2.1. Модель TextRank 5
2.2. Неориентированные графы 6
2.3. Взвешенные графы 7
2.4. Текст как граф 8
2.5. Извлечение предложений 9
2.6. Алгоритм Стеммер Портера 11
2.7. Определение английского стеммера 12
3. Анализ тональности комментариев 14
4. Reddit API 16
5. Реализация 19
5.1. Алгоритм TextRank 19
5.2. Анализ эмоциональной окраски 19
5.3. Reddit API 20
5.4. БД SQLite 20
5.5. Интерфейс 20
6. Эксперименты 24
6.1. Тестирование алгоритма TextRank 24
6.2. Данные с Reddit 36
7. Вывод 50
Заключение 51
Список литературы 52
Приложение

Купить

Количество электронной информации в интернете растет каждый день. В основном, она представлена в виде текста. Из него можно извлечь большую пользу. Особую ценность такая информация представляет для крупных компаний, но даже там не всегда находятся человеческие ресурсы для обработки большого количества дынных. Но сбор информации — это только начало, необходимо ее обработать и выделить самое важное. На помощь приходит такое направление, как обработка естественного языка. Одна из задач данного направления - автоматизированное обобщение текста (АОТ). АОТ помогает сжать текстовую информацию и предоставить ее кратко, с основными моментами исходного документа, для того чтобы упростить обработку огромного количества данных. При обобщении документа делается попытка создать репрезентативное краткое содержание всего документа, путем нахождения наиболее информативных предложений. Для АОТ существуют алгоритмы, разработанные в разное время. Они основываются на различном математическом аппарате и на других алгоритмах. Каждый из них имеет свои преимущества и недостатки. АОТ окажет огромное влияние на нашу жизнь в будущем, с ростом информационных источников и постоянно растущей издательской деятельности, эта технология просто необходима.
Помимо задачи автоматизированного обобщения, существует задача классификации данных. Решение этой задачи важно для анализа и оценки данных. Также к ней сводится ряд других задач, например: определение текстов по их тематике, эмоциональной окраски и др.
Решение задач автоматизированного обобщения и классификации должно быть результативным, а для этого необходимы реальные данные. Их можно получить путем парсинга html страниц, различных социальных сетей и информационных ресурсов. Но некоторые порталы предоставляют доступ для получения информации напрямую. Это очень удобно и позволяет получить актуальную информацию для анализа.
Данная работа посвящена реализации алгоритма TextRank для автоматизированного обобщения текста. А также прикладным задачам: получению данных с интернет-портала Reddit и определению эмоциональной окраски комментариев.

Купить