Тема: Автоматическая классификация текстов с использованием нейронных сетей

С появлением компьютеров и увеличением объемов хранимой информации в электронном виде перед нами открываются новые возможности для исследований не только в области физики, химии, биологии, но и в области литературоведения и языка. С помощью компьютера можно обрабатывать большие объемы информации, позволяя широко применять статистические методы в языкознании и литературе.
На сегодняшний день автоматическая классификация текстовых документов, т.е. определение принадлежности текста к некому классу в ситуации стабильно возрастающего объема потребляемой информации является актуальной и крайне интересной задачей. Классификация текста может осуществляться по общей тематике текста, по использованию определенных понятий, стилей.
Классификация применяется в решении многих практических задач, таких как:
■ фильтрация документов;
■ распознавание спама;
■ автоматическое аннотирование;
■ поиск текстовых документов;
■ навигация по большим информационным ресурсам;
■классификация новостей;
■ индексация данных в поисковых запросах и т.д.
Целью данной работы является разработка и создание программы для автоматической классификации текстов по функциональным стилям - научный, официально-деловой, разговорный, публицистический, художественный с использованием нейронных сетей.
Чтобы достичь поставленную цель необходимо решить следующие задачи:
1. проанализировать литературу с описанием работы нейронных сетей и их применение для решения задач классификации текстовых документов;
2. описать основные подходы к решению задач классификации текстов;
3. создать обучающую выборку;
4. создать алгоритм для классификации текстов в соответствии с поставленной целью.
Научная новизна работы заключается в объединении двух подходов - п- грамм и нейронные сети с последующей реализацией автоматического классификатора.
Актуальность темы заключается в том, что создание программы для классифицирования текстов на разных языках, разных стилей существенно упростит и ускорит процессы их обработки, классификации.
Объектом исследования работы является метод n-грамм и нейронные сети в задачах классификации текстов.
Практическая значимость дипломной работы состоит в том, что введение и использование этой программы на предприятии соответствующего профиля позволит сократить финансовые расходы, время- и трудозатраты на обработку документов на различных языках, т.к. позволит обрабатывать собрание текстовых документов на всех языках за один цикл, а не настраивать алгоритм каждый раз под каждый конкретный язык.
Теоретическую основу диплома составляют научные труды и публикации отечественных и иностранных ученых по вопросам в области компьютерной лингвистики, в частности для решения задач классификации текстовой информации.
Методологическую основу диплома составляет анализ имеющихся методов распознавания текстов.
Эмпирическую основу исследования составляют обучающие выборки публицистического, научного, художественного, официально-делового и разговорного текстов на двух языках - русском и английском, а также одна из осуществлений алгоритма n-грамм с применением нейронных сетей с адаптацией под необходимые исследования и использовалась для решения поставленных задач.

Купить

В данной выпускной квалификационной работе было показано, каким образом нейронные сети способны помочь в работе с текстовыми данными. Исследования в области нейронных сетей достаточно наглядны. По сравнению с другими вычислительными методами они имеют значительные преимущества. У моделей, разработанных на основе нейронных сетей динамичные требования: им необходимы незначительные предварительные знания относительно формирования задачи.
Нейронные сети широко применяются в различных отраслях. Нейросети должны использоваться для обобщения данных, а не для определения, атрибуты и критерии которого крайне важны при сборе и анализе данных. Обучающиеся машины нашли широкое распространение при формализации знаний из данных реального мира, но все же сами обучающиеся машины не могут создавать принципы формализации - здесь не обойтись без помощи человека.
При выполнении выпускной квалификационной работы были решены поставленные задачи:
изучена литература с описанием работы нейронных сетей и их применение для решения задач классификации текстов;
- описаны основные подходы к решению задач классификации текстов;
- выбран наиболее предпочтительный алгоритм для реализации собственной модели;
- собрана обучающая выборка;
- создан алгоритм для классификации текстов.
В процессе работы была разработана программа «Анализатор текста» для автоматической классификации текстов по функциональным стилям.
В процессе выполнения работы был изучен большой объем информации, освоены значительные объемы по изучению классификаторов текстов, нейронных сетей. Все это позволило нам убедиться в колоссальности данной среды.
Целью выпускной квалификационной работы являлась разработка и создание программы для автоматической классификации текстов по функциональным стилям - научный, официально-деловой, разговорный, публицистический, художественный с использованием нейронных сетей для двух языков - русский и английский. Цель была достигнута.

Купить