Тема: Исследование и реализация алгоритма поиска ассоциативных правил в большом наборе данных
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
📋 Содержание
Глава 1 Постановка задачи исследования алгоритма поиска ассоциативных правил в большом наборе данных 7
1.1 Математическое описание задачи поиска ассоциативных правил в
большом наборе данных 7
1.2 Методы поиска ассоциативных правил 9
Глава 2 Обзор и анализ алгоритмов поиска ассоциативных правил 15
Глава 3 Реализация и тестирование алгоритма поиска ассоциативных правил в большом наборе данных 22
3.1 Выбор средства разработки программы 22
3.2 Реализация и тестирование алгоритма 26
Заключение 35
Список используемой литературы и используемых источников 38
📖 Введение
Из-за значительного увеличения количества транзакций и клиентов анализ затрат по времени и потреблению компьютерной памяти становится выше. Чтобы повысить производительность рекомендаций по товарам и услугам используется подход, основанный на поиске и анализе правил ассоциации в больших наборах данных. «Для решения данной задачи используется методы и алгоритмы интеллектуального анализа данных, направленные на выявление часто встречающихся закономерностей, корреляций или ассоциаций в наборах данных в различных реляционных и транзакционных базах данных.
Алгоритм поиска ассоциативных правил в машинном обучении имеют решающее значение для извлечения ценной информации из данных, особенно в сценариях, где традиционные математические подходы могут оказаться непригодными» [10].
Актуальность темы исследования и реализации алгоритмов поиска ассоциативных правил в больших наборах данных обусловлена их широким применением в различных сферах, необходимостью обработки растущих объемов данных и развитием технологий анализа данных. Разработка эффективных алгоритмов и их оптимизация для работы с большими данными являются важными задачами, которые имеют как научное, так и практическое значение.
Объектом исследования бакалаврской работы является большой набор данных.
Предметом исследования бакалаврской работы является алгоритм поиска ассоциативных правил.
Цель бакалаврской работы - исследование и программная реализация алгоритма поиска ассоциативных правил в большом наборе данных.
Для достижения данной цели необходимо выполнить следующие задачи:
- выполнить постановку задачи исследования алгоритма поиска ассоциативных правил в большом наборе данных;
- проанализировать алгоритмы поиска ассоциативных правил в большом наборе данных;
- разработать и протестировать программу, реализующую алгоритм поиска ассоциативных правил в большом наборе данных.
«Методы исследования - методы интеллектуального анализа данных (Data mining), методы и технологии разработки программного обеспечения» [10].
Практическая значимость бакалаврской работы заключается в разработке программы, позволяющий производить поиск ассоциативных правил в большом наборе данных.
Данная работа состоит из введения, трех глав, заключения, списка используемой литературы и используемых источников.
Выпускная квалификационная работа состоит из 40 страниц текста, 20 рисунков, 3 таблиц и 25 источников.
✅ Заключение
Актуальность темы исследования и реализации алгоритмов поиска ассоциативных правил в больших наборах данных обусловлена их широким применением в различных сферах, необходимостью обработки растущих объемов данных и развитием технологий анализа данных. Разработка эффективных алгоритмов и их оптимизация для работы с большими данными являются важными задачами, которые имеют как научное, так и практическое значение.
Выполненные в рамках бакалаврской работы задачи представлены следующими основными результатами:
- произведена постановка задачи исследования алгоритма поиска ассоциативных правил в большом наборе данных. Использование ассоциативных правил позволяет компаниям повышать эффективность бизнес-процессов, оптимизировать ресурсы и увеличивать прибыль. Например, рекомендательные системы на основе ассоциативных правил увеличивают продажи и улучшают пользовательский опыт. Методы поиска ассоциативных правил - это техники, используемые для выявления интересных взаимосвязей и закономерностей в больших наборах данных, особенно в контексте анализа данных и машинного обучения. Методы поиска ассоциативных правил играют важную роль в анализе данных и могут быть применены в различных областях, таких как маркетинг, розничная торговля, биоинформатика и другие. Выбор конкретного метода поиска ассоциативных правил зависит от характера данных, объема данных и требований к эффективности;
- дан обзор и произведен анализ алгоритмов поиска ассоциативных правил. Ручной анализ больших объемов данных становится невозможным из-за их сложности и масштаба. Алгоритмы поиска ассоциативных правил позволяют автоматизировать процесс выявления полезных паттернов, что экономит время и ресурсы. «По результатам сравнения для поиска ассоциативных правил в больших наборах данных выбран алгоритм Apriori. Apriori использует принцип антимонотонности: если набор элементов не является частым, то все его надмножества также не могут быть частыми. Это позволяет значительно сократить пространство поиска» [14].
Благодаря этому свойству, алгоритм избегает полного перебора всех возможных комбинаций, что особенно важно для больших наборов данных. Данный алгоритм может сократить количество рассматриваемых кандидатов, исследуя только те наборы элементов, количество поддержки которых больше минимального количества поддержки. «Apriori стал основой для разработки многих других алгоритмов поиска ассоциативных правил (например, FP-Growth). Его идеи и принципы используются в более современных и оптимизированных методах. Для повышения эффективности алгоритма Apriori разработаны его модификации AprioriTid и AprioriHybrid» [14];
- выполнены реализация и тестирование алгоритма поиска ассоциативных правил в большом наборе данных. «Для реализации программ выбраны язык Python и среда Jupyter Notebook. Для реализации классического алгоритма Apriori на первом этапе использован модуль Apyori - это простая реализация алгоритма Apriori на Python, предоставляемая в виде API и интерфейсов командной строки. Модуль Apyori состоит всего из одного файла и не зависит от других библиотек, что позволяет использовать его в переносимом виде и может быть использован в качестве API» [16]. Для повышения эффективности анализа больших наборов данных на втором этапе использован модифицированный Apriori из библиотеки MLxtend.
Таким образом, Классический алгоритм Apriori недостаточно эффективен при работе с большими массивами данных. Поэтому на следующем этапе использована его эффективная модификация на основе метода FP-Growth. Тестирование подтвердило высокую эффективность данного алгоритма.
Результаты бакалаврской работы могут представлять интерес для разработчиков и специалистов, занимающимся исследованием и реализацией алгоритмов поиска ассоциативных правил в больших наборах данных.
Исследование и реализация алгоритмов поиска ассоциативных правил вносят вклад в развитие теории анализа данных и машинного обучения.
Практическая реализация таких алгоритмов позволяет решать реальные задачи в различных отраслях.



