Введение 3
1. Постановка задачи 5
2. Процедура автоматической обработки текста 7
2.1. Стемминг 7
3. Алгоритм вычисления меры схожести документов коллекции 9
3.1. Библиотека gensim 9
3.2. Модель bag-of-words 12
3.3. Алгоритм решения 16
3.4. Описание методов 22
4. Описание приложения 27
4.1. Клиент-серверная архитектура 27
4.2. ModelViewController 27
4.3. Freemarker 29
4.4. Обнаружение схожих текстов Python 33
5. Реализация алгоритма в виде веб-сервиса 35
6. Заключение 37
Используемая литература 38
Приложение
В последнее время все более актуальным становится вопрос улучшения работы поисковых сервисов и большая персонализация результатов запросов. Вместе с тем, актуальной становится проблема разработки информационных технологий для анализа и извлечения полезной информации из огромного количества накопленных коллекций научных документов по ряду тематических областей. Необходима их предварительная автоматическая обработка для дальнейшего использования. При обработке текстовой информации возникает целый ряд задач, одной из которых является установлении смысловой связи между различными документами. Решив эту задачу и установив связь между документами, появится возможность создания некой рекомендательной системы, которая позволила бы рекомендовать пользователю остальные документы по соответствующей теме.
Целью работы является создание алгоритма, позволяющего в автоматическом режиме установить смысловую близость между несколькими текстовыми документами на основе метода машинного обучения. В качестве тестового набора использовались коллекции курсовых работ, выпускных квалификационных работ и магистерских диссертаций.
Вся работа разделена на несколько глав. В первой главе постановка задачи, даны основные определения. Во второй главе дипломной работы даны основные анализы автоматической обработки текстов и описание алгоритма стемминга. Третья разделена на несколько подпунктов, представлены решение поставленной задачи на основе метода машинного обучения, алгоритм решения и описания библиотеки gensim и метода bag- of-words. В четвертой главе подробно описано приложение и его функционал. Реализация алгоритма и функционал сайта представлены в пятой главе. Далее идет заключение и список использованной литературы. В приложении представлен код программы, который реализует в настоящей работе алгоритм для определения смысловой близости документов. Программа выполнена в виде веб-приложения на двух языках: Java Script и Python.
Описанная работа посвящена решению проблемы поиска аналогичных статей по запросу пользователя. В основу разработанного метода был положен метод машинного обучения. Были рассмотрены такие методы, как машинное обучение, стемминг, baf-of-words и библиотека gensim. Описано преставление документа в виде вектора, основанное на том, что чем больше коэффициент схожести векторов, тем больше похожи данные документы.
Практическая часть, заключается в создании и разработке программы, на языке Java и Python, как веб приложения, метода автоматического подбора схожих статей .Программа обеспечивает возможность автоматической обработки текста, позволяющего в автоматическом режиме установить смысловую близость различных документов с получением результата в виде рекомендации наиболее схожей статьи из заданного набора .
Помощь студентам и аспирантам в выполнении работ от наших партнеров
