ВВЕДЕНИЕ 6
1 Обзор 8
1.1 Анализ существующих решений 8
1.1.1 Анализ конкурентов 8
1.1.2 Трудности обработки русского языка в NLP 10
1.2 Стек технологий 11
1.2.1 Технологии и инструменты разработки клиентской части 11
1.2.1.1 HTML 11
1.2.1.2 CSS 11
1.2.2 Технологии и инструменты разработки серверной части 12
1.2.2.1 Jinja2 12
1.2.2.2 Flask 12
1.2.3 Фреймворки, библиотеки, модели и алгоритмы NLP 13
1.2.3.1 pymorphy2 13
1.2.3.2 spaCy 14
1.2.3.3 textBlob 14
1.2.3.4 googletrans 15
1.2.3.5 Расстояние Дамерау-Левенштейна 16
1.2.3.6 rake-nltk 17
1.2.3.7 Модели huggingFace 18
1.2.3.8 API Яндекс.Спеллер 18
2 Интерфейс 20
2.1 Общая информация о сайте и его архитектура 20
2.2 Информация о каждой странице сайта 22
2.2.1 Переводчик 23
2.2.2 Анализ тональности 23
2.2.3 Ключевые слова и суммаризация 24
2.2.4 Сравнения 26
2.2.5 Семантический граф 28
2.2.6 Морфологический анализ 29
ЗАКЛЮЧЕНИЕ 31
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ . . 32
ПРИЛОЖЕНИЕ А Исходный код ресурса 33
Объем текстовой информации, доступной для анализа и дальнейших выводов, в современном мире растет очень быстро. Поэтому становится все более актуальной разработка инструментов и сервисов, которые смогут автоматически, быстро и бесплатно подготавливать к обработке и непосредственно обрабатывать и анализировать тексты. Одним из ключевых инструментов в данной теме являются методы обработки естественного языка (Natural Language Processing-NLP).
Цель проекта: создать сайт с требуемой для проведения анализа текста на русском функциональностью, включая: морфологический анализ, проверка орфографии, извлечение именованных сущностей, анализ тональностей, построение поверхностно семантического графа, выделение ключевых слов, перевод, суммаризация и анализ схожести текстов.
Для достижения заданной цели были определены следующие задачи:
• Изучить современный технологии и инновации, связанные с разработкой веб-приложений;
• Изучить документацию необходимых NLP-библиотек;
• Реализовать нужные алгоритмы;
• Создать веб-сайт для более удобного взаимодействия с пользователем.
Прежде чем приступить к созданию проекта, был проведен анализ существующих решений. Основными аналогами являются веб-сайты AOT.ru и retext.AI. Первый сервис может помочь с анализом морфологии слов и построением семантического графа, а второй с суммаризацией и извлечением ключевых слов. Более подробна их функциональность и недостатки описаны в пункте 1.1.1 Анализ конкурентов.
Русский язык в связи со своей долгой историей, обширностью, огромным количеством правил и исключений, множеством падежных форм, окончаний, различных видов спряжений и склонений, а также отсутствием четкой структуры предложений является очень сложным для изучения. Именно поэтому обработка текстов на русском - такая нетривиальная и интересная задача.
В результате проделанной работы был создан функциональный веб - сайт, предоставляющий широкий спектр возможностей для анализа текста. Все поставленные задачи успешно решены: рассмотрены ключевые этапы создания приложения, начиная с изучения алгоритмов обработки и анализа текста, и заканчивая их реализацией и внедрением. Особое внимание уделено интеграции разработанного приложения с веб-интерфейсом, обеспечивающим удобное взаимодействие с пользователями.
Выбор именно веб-приложения обусловлен удобством и универсальностью взаимодействий. Таким образом, не нужно скачивать отдельные приложения под каждую задачу.
Разработанный сервис может быть полезен лингвистам, людям, которые хотят профессионально изучать русский язык, иностранцам, которые хотят научиться говорить на нем правильно, а также аналитикам данных.
В рамках ВКР была поставлена задача создать веб-приложение, которое осуществляет анализ текстовой информации с применением современных методов обработки естественного языка и современных технологий.
Поставленная задача решена в полном объеме. Созданное приложение имеет дружественный интерфейс и богатый функционал, который позволяет пользователю осуществлять анализ текстовой информации по различным параметрам.
В ходе работы были изучены методы анализа текста, необходимые библиотеки, алгоритмы, модели и языки программирования. Также были проанализированы конкуренты. После этого была был создан веб-ресурс, решающий поставленные задачи.
В дальнейшем планируется добавить дополнительную
функциональность, чтение разных форматов документов, обеспечить безопасность сайта от внешних атак и загрузить программу на удаленный сервер для беспрерывной работы.
Можно заключить, что данный проект внес вклад в развитие инструментов для анализа текстовых данных и он может быть использован в научной и профессиональной деятельности.
