Обработка новостных сообщений в научной области

Введение 3
Глава 1. Предметная область 5
1.1 Общие сведения о текстовом анализе 5
1.2 Построение векторной модели 7
1.2.1 Лингвистическая обработка 8
1.2.2 Математическая обработка 11
Глава 2. Методы исследования 14
2.1 Задача классификации данных 14
2.2 Алгоритмы классификации 15
2.2.1 Метод C4.5 15
2.2.2 Наивный байесовский метод. 19
2.3 Метрики оценивания качества 22
Глава 3. Формирование данных для классификатора 25
3.1 Разработка схемы классификации 25
3.2 Организация обучающего и тестового множеств 26
3.2.1 Общие сведения по полученным выборкам 28
3.2.2 Информация по полученным классам в тестовой выборке 29
3.2.3 Информация о размерах классов в обучающей выборке 30
Глава 4 Проведение экспериментов 32
4.1 Описание шагов предобработки данных 32
4.2 Результаты экспериментов 33
Заключение 50
Список литературы 51


Купить

Важным аспектом в современном обществе является гонка технологий и постоянный рост темпов научного прогресса. Развитие существующего потенциала учёных, помощь в продвижении их идей, предоставление максимально комфортных условий для проведения исследований – все эти вопросы регулярно подымаются как отдельным государством, так и мировым сообществом в целом. С целью их разрешения формируется огромное количество фондов и программ, которые проводят всевозможные конкурсы и мероприятия с различными целевыми группами. Но встаёт проблема доступности данной информации для отдельного учёного. Объявления, как правило, публикуются на сайтах организаторов, т.е. данные весьма разрознены, и отдельному лицу сложно своевременно отслеживать новые публикации. При получении информации с различных источников результатом будет являться весьма большой объём документов, большая часть которых не будет интересна отдельному лицу.
Таким образом, видна актуальная задача сбора сообщений в научной сфере и их автоматического представления в виде удобном для быстрого фасетного поиска. Предполагается, что последнее позволит учёному настроить нужные фильтры и получить только тот набор объявлений, который интересен непосредственно ему.
Получение первичных результатов для разработки такой системы легло в основу данной дипломной работы, целью которой является создания аппарата автоматической классификации научных (в первую очередь конкурсных) объявлений по заданной системе классов ряда категорий. Для достижения выбранной цели решались следующие задачи:
• анализ значительного объёма данных для определения категорий, которые могут быть интересны пользователю (например, для кого сделано объявление, тип объявления, возрастная группы и т.д.) и выделение основных классов внутри категорий, например, по целевой группе: аспиранты, студенты, доктора наук, кандидаты наук и др.
• разработка тестовой и обучающей коллекций на основе определённых категорий и классов.
• изучение подходов к обработке естественно языка и задачи классификации, выбор стратегии обработки данных.
• изучение и имплементация двух алгоритмов машинного обучения, решающих задачу классификации
• оценить влияние использования различных подходов нормализации документов и значений ключевых параметров алгоритмов, определение лучших результатов.
В качестве материала по рассматриваемой теме были использованы объявления о конкурсах, которые ранее были получены с сайта УНИ СПБГУ. Данные были классифицированы и размечены вручную. Всего рассматривались четыре категории, количество документов в которых составило:
• Категория участников - 492
• Тип конкурс - 399
• Тип объявления - 329
• Масштаб конкурса - 297
В роли инструментария, который позволил написать необходимую программу для проведения исследования, использовалась библиотека алгоритмов машинного обучения Weka. В ходе работы были изучены такие общие принципы Weka, как область применения, какие задачи возможно решить при помощи данного пакета, доступные методы, структура входных данных, API (интерфейс программирования приложений).

Купить