Введение 5
Глава 1 Анализ текущего состояния развития машинного обучения 8
1.1 Области применения алгоритмов машинного обучения 8
1.2 Сравнительный анализ алгоритмов классификации данных 14
Глава 2 Разработка алгоритма для сравнения эффективности различных алгоритмов машинного обучения 17
2.1 Постановка задачи классификации данных 17
2.2 Показатели для сравнения эффективности алгоритмов 18
Глава 3 Приложение для сравнения эффективности алгоритмов классификации данных 25
3.1 Обзор разработанного приложения 25
3.2 Графический интерфейс пользователя 26
3.3 Проектные решения используемые в приложении 31
3.4 Пример работы приложения 37
Заключение 42
Список используемой литературы и используемых источников 44
Рост популярности алгоритмов машинного обучения привело к развитию многих научных отраслей, таких как машинное зрение, экспертные системы, интеллектуальный анализ данных, обработка естественного языка [1, 2]. Популярность машинного обучения обусловлена возможностью этих алгоритмов самостоятельно, без участия человека, анализировать данные и описывать закономерности в них в виде моделей. Так, например, алгоритмы машинного обучения позволяют строить модели классификации и регрессии на основе имеющихся данных [3, 4].
Модели классификации используется при решении таких задач, как прогнозирование, диагностика, распознавание образов и идентификация [8, 9, 10]. Примером задачи классификации является построение, на основе исторических данных банка, модели, определяющей класс платежеспособности клиента по его имеющимся данным. Класс платежеспособности клиента используется для определения рекламируемых услуг в приложении банка и при формировании персональных условий кредитования.
Развитие области машинного обучения приводит к появлению все новых и новых алгоритмов классификации [11]. Каждый алгоритм основан на своем подходе к решению задачи классификации и имеет свой математический аппарат. Разнообразие алгоритмов машинного обучения связано с тем, что пока не существует такого одного универсального алгоритма, который бы подходил для любых исходных данных [5, 6, 7].
Некоторые алгоритмы не умеют работать с пропущенными значениями в данных, другие алгоритмы требовательны к количеству анализируемых данных, также существуют алгоритмы, которые не допускают наличие в данных неинформативных признаков, потому что не умеют их отсеивать и т.д.
Таким образом, можно выделить следующие проблемы в области интеллектуального анализа данных:
- большое разнообразие технологий машинного обучения приводит к необходимости подбора наиболее подходящего алгоритма под имеющиеся данные;
- никогда заранее не известно, какой из алгоритмов машинного обучения позволит построить наиболее точную модель классификации на основе имеющихся данных.
Для решения этих проблем в работе предложено разработать приложения для сравнения эффективности алгоритмов классификации данных.
Объектом исследования является классификация данных.
Предметом работы является автоматизация сравнения алгоритмов классификации данных.
Цель выпускной квалификационной работы - разработка приложения для сравнения эффективности алгоритмов классификации данных.
Поставленная цель в бакалаврской работе решается путем выполнения следующих задач:
- проведения сравнительного анализ алгоритмов классификации данных;
- определение показателей для сравнения эффективности
алгоритмов классификации данных;
- разработка и тестирование приложения для сравнения эффективности алгоритмов классификации.
В данной работе используются такие методы исследования, как программное моделирования алгоритмов машинного обучения и статистический анализ данных.
Практическая значимость работы заключается в разработке исследовательского программного обеспечения. Представленное программное обеспечение использоваться разработчиками интеллектуальных система для предварительного анализа эффективности алгоритмов на имеющихся данных.
Данная работа состоит из введения, трех глав, заключения, списка используемой литературы.
В первой главе освящаются вопросы практического применения алгоритмов машинного обучения и дается сравнительная характеристика алгоритмов классификации данных.
Вторая глава посвящена разработке методике для сравнения эффективности различных алгоритмов классификации данных.
В третьей главе разработанное программное обеспечение для сравнения эффективности алгоритмов классификации данных .
В заключении представлены результаты, полученные при написании бакалаврской работы.
Бакалаврская работа состоит из страниц 47 страниц текста, 23 рисунков, 1 таблицы и 20 источников.
Приведем в качестве заключения основные выводы и результаты, полученные при выполнении бакалаврской работы:
- анализ литературных источников показал, что развитие машинного обучения привело к возникновению большого числа алгоритмов, способных решать задачу классификации данных. Но так как заранее никогда не известно, какой из алгоритмов окажется наиболее эффективным при анализе имеющегося набора данных, актуальной задачей становится разработка программного обеспечения для сравнения эффективности алгоритмов;
- проведен анализ способов применения алгоритмов машинного обучения для решения практических задач из различных областей, выделены наиболее часто используемые алгоритмы классификации данных и проведен их сравнительный анализ с точки зрения взаимодействия с обучающей выборкой данных.
- рассмотрена формальная постановка задачи классификации, метрики, используемые для оценки точности работы классификаторов, особенности использования матрицы ошибок для контроля корректности работы классификаторов;
- разработана методика сравнения эффективности работы алгоритмов для классификации данных, которая включает в себя разделение исходных данных на обучающую и тестовую выборки, использование обучающей выборки данных для построения множества классификаторов основанных различных алгоритмах (knn, random forest, svm, decision tree, neural network), проверку точности работы классификаторов на тестовой выборке и визуализацию работы классификаторов с использованием матрицы ошибок;
- на языке Python разработано приложения для тестирования эффективности алгоритмов классификации, которое позволяет: импортировать данные для последующего анализа из файлов формата xslx и csv, строить классификаторы с использованием различных алгоритмов машинного обучения (knn, random forest, svm, decision tree, neural network), тестировать построенные классификаторы для оценки точности их работы, просматривать результаты работы классификаторов в виде матрицы ошибок и сравнивать эффективность работы алгоритмов классификации;
- показана работа приложения выборках данных «Ирисы Фишера», «Классификация вина», а результаты тестирования показали работоспособность программного обеспечения для сравнения эффективности работы классификаторов данных.
Таким образом можно заключить, что поставленная цель была достигнута, а все задачи исследования решены в полном объеме.
Практическая значимость работы заключается в разработке исследовательского программного обеспечения. Представленное программное обеспечение использоваться разработчиками интеллектуальных система для предварительного анализа эффективности алгоритмов на имеющихся данных.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
