Аннотация 2
Введение 3
Глава 1 Технологии анализа текстовых данных 6
1.1 Сферы использования технологий анализа текстовых данных 6
1.2 Моделирование метода выявления интересов пользователя 11
Глава 2 Разработка системы анализа поисковой активности в социальных
сетях 15
2.1 Методика исследования поисковых запросов 15
2.2 Подробное описание алгоритма обработки текстовых данных из
поисковых запросов 19
Глава 3 Создание приложения для исследования поисковых запросов 23
3.1 Особенности выполнения программного блока 23
3.2. Результаты тестирования приложения 33
3.3. Расчет экономической эффективности 36
Заключение 38
Список используемой литературы и используемых источников 39
Технологии text mining растут из-за необходимости в анализе естественных языков. Они используются для чат-ботов, обработки текстов, определения темы и эмоций. В бакалаврской работе представлена система, анализирующая запросы пользователя в соцсетях с применением text mining.
Выбор темы обусловлен ростом популярности соцмедиа. По статистике Вконтакте, ее ежедневно посещает 54% россиян. Чтобы удерживать интерес, важно понимать предпочтения пользователей.
Для определения интересов пользователя можно использовать как информацию, указанную им в своем профиле (например, место проживания, хобби и т.д.), так и статистические данные о страницах, которые он просматривал в социальных сетях (вроде тематических сообществ и групп).
В этом исследовании предлагается дополнить перечень источников данных о предпочтениях пользователя, включив в него информацию, извлеченную из анализа его поисковых запросов.
Одним из трудностей использования поисковых запросов для выявления интересов пользователя является их частое представление в текстовой форме без определенной структуры. Для получения нужной информации из такого текста требуется применение методов text mining.
Цель работы - создать систему анализа запросов для определения интересов пользователя.
Чтобы достичь поставленной цели, следует решить ряд задач:
• разработать модель процесса выявления интересов пользователя;
• спроектировать систему анализа поисковых запросов в социальных сетях;
• осуществить реализацию и провести тестирование созданной системы;
Используемые методы исследования включают в себя технологии анализа текстов (text mining), методы проектирования информационных систем и программные технологии.
Практическое значение этой бакалаврской работы связано с созданием программного решения для определения интересов пользователя, исходя из анализа его текстовых поисковых запросов. Работа включает в себя введение, три главы, заключение, список литературы и приложения.
В первой главе работы представлен обзор актуальных исследований в области text mining, рассматриваются вопросы удержания внимания пользователей социальных медиа, также проводится моделирование процесса выявления интересов пользователей с использованием нотации IDEF0.
Во второй главе акцент делается на дизайне системы анализа поисковых запросов в социальных сетях. Здесь представлена схема работы предлагаемого программного решения и детализирован алгоритм обработки текстовой информации.
Третья глава охватывает этапы создания программного продукта. В ней также демонстрируются исходы тестирования программного модуля на основе реальных поисковых запросов автора.
В заключении изложены итоги проведенной выпускной квалификационной работы.
В рамках бакалаврской работы будет разработано приложение на языке Python, обеспечивающее анализ текстовых поисковых запросов. Оно включает в себя функции: импорт и просмотр данных запросов, их первичную обработку, удаление стоп-слов, приведение слов к их основной форме, частотный анализ и визуализацию наиболее употребляемых слов в форме "облака тегов". Проведено тестирование программы на актуальных текстовых запросах.
Бакалаврская работа состоит из 40 страниц текста, 26 рисунков, и 20 источников.
В заключении рассмотрим итоги бакалаврской работы:
• изучение литературы показало, что важной целью для компаний, управляющих социальными сетями, является удержание аудитории на своих ресурсах;
• чтобы привлекать внимание пользователей, платформам нужно выявлять их интересы, чтобы предлагать актуальный контент;
• в данной работе предложен способ определения интересов посетителей на основе их текстовых запросов, анализируемых методами text mining;
• литературный обзор выделил ключевые этапы text mining: сбор информации, обработка текста, его фильтрация, преобразование признаков и анализ данных;
• используя методологию IDEF0, было проведено моделирование процесса "Определение интересов пользователя", что выделило ключевые компоненты процесса и определило функциональную роль планируемой информационной системы;
• раскрыта последовательность программы, которая включает сбор информации о пользователях, создание списка запросов и выявление интересов путем анализа частотности встречаемости текстовых элементов;
• предложен алгоритм анализа запросов интересующих тем. Этот алгоритм обрабатывает и анализирует текстовые запросы, создание графиков популярности слов и облаков слов;
• на Python создано приложение для анализа запросов, включая этапы обработки, очистки от лишних слов, приведение слов к их основной форме и визуализацию результатов;
• Программа была протестирована на реальных текстовых запросах, что подтвердило ее эффективность и корректную работу.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
