Разработка и апробация алгоритма восстановления пропущенных значений

Аннотация 2
Перечень условных обозначений и сокращений 8
Введение 9
1 Обзор предметной области 13
1.1 Методы обработки пропущенных значений 15
1.2 Обзор методов машинного обучения с учителем 22
1.2.1 Постановка задачи классификации 22
1.2.2 Постановка задачи регрессии 23
1.2.3 Основные методы обучения с учителем 23
1.2.4 Оценка качества классификации и регрессии 31
1.2.5 Способы борьбы с переобучением 34
1.3 Подходы к оценке качества работы методов восстановления пропущенных
значений 35
1.4 Выводы по главе 36
2 Предложенный алгоритм 38
2.1 Особенности реализации алгоритма вменения пропущенных значений... 38
2.2 Выводы по главе 41
3 Экспериментальные исследования 43
3.1 Характеристики исходных данных 43
3.2 Инструментарий для исследования 44
3.3 Оценка методов восстановления пропущенных значений 45
3.4 Результаты исследований 46
3.5 Выводы по главе 49
Заключение 51
Список использованных источников и литературы 52

Купить

Методы интеллектуального анализа данных выделились в отдельную отрасль прикладного искусственного интеллекта в 1960-м году. За прошедшие десятилетия произошло несколько важных прорывов в области инновационных компьютерных системах, что привело к бурному развитию и распространению данного направления. Интеллектуальный анализ данных позволяет искать ценную информацию в больших объемах данных [1].
Одним из основных разделов интеллектуального анализа данных является машинное обучение. Основной задачей в рамках машинного обучения является создание предсказательных моделей для решения прикладных задач в различных сферах человеческой деятельности, например, банковской сферы, индустриальной аналитики или ранней диагностики заболеваний [2].
Однако зачастую возникает проблема репрезентативности данных, которая неизбежна при сборе и анализе. Репрезентативность данных снижается за счет пропущенных значений, шума и человеческого фактора при сборе информации. Процесс, направленный на решение обозначенной проблемы, называется предварительная обработка данных [3, 4].
Распространенной проблемой, которую необходимо решить с помощью предварительной обработки данных, является обработка пропущенных значений [5, 6]. Данная проблема распространена повсеместно в различных предметных областях. Существуют методы машинного обучения, позволяющие создавать предсказательные модели, несмотря на наличие пропущенных значений в данных, например, некоторые алгоритмы градиентного бустинга. С другой стороны, существуют методы, такие как нейронные сети и k-ближайших соседа, которые требуют осторожного обращения с неполной информацией. Однако методы способные создавать предсказательные модели, не смотря на пропущенные значения, хотя и являются неплохим решениям, всё же чаще всего в таком случае внутри алгоритма модели используется один из простых методов вменения пропущенных значений. Данный аспект может значительно снизить эффективность построенной модели. Другим не мало важным аспектом является многогранность интеллектуального анализа данных, и он не сводится только лишь к построению предсказательных моделей и в таком случае проблема пропущенных значений никуда не уходит и требует решения [7].
На данный момент подавляющее большинство методов вменения пропущенных значений обрабатывают наборы данных содержащие только количественные переменные. Ситуация, когда в наборе данных содержатся признаки смешанного типа, как количественные, так и качественные, встречается повсеместно в различных задачах широкого спектра предметных областей. Чаще всего исследователи в данной ситуации прибегают к раздельному вменению пропущенных значений для каждого типа признаков. Однако, такой подход игнорируют возможные отношения между типами переменных.
В связи с этим возникает проблема эффективного вменения пропущенных значений для данных, содержащих одновременно как количественные, так и качественные переменные.
В данной работе рассматривается проблема недостаточной изученности вменения пропущенных значений в наборах данных, содержащих признаки смешанного типа. Объектом исследования является процесс вменения пропущенных значений в наборах данных, содержащих признаки смешанного типа. Предметом исследования являются различные методы вменения пропущенных значений.
Таким образом, целью работы является повышение качества восстановления пропущенных значений в наборах данных, содержащих признаки смешанного типа, путем модификации существующих алгоритмов.
Для достижения поставленной цели, в работе необходимо решить следующие задачи:
1. Изучение научных статей и литературы, посвящённых вменению пропущенных значений и способах оценки качества вменения пропущенных значений.
2. Выявление наиболее эффективных алгоритмов вменения пропущенных значений, основанных на различном математическом аппарате.
3. Выявление эффективных способов оценки качества вменения пропущенных значений для различных типов данных.
4. Реализация собственного алгоритма или модификация существующего с целью создания алгоритма, позволяющего эффективно обрабатывать наборы данных, содержащие признаки смешанного типа.
5. Проведение экспериментов с различными алгоритмами восстановления пропущенных значений с целью объективной оценки предложенного в рамках исследования алгоритма, оценка и интерпретация полученных результатов.
При проведении исследований использовались следующие методы: анализ литературных источников по предварительной обработке данных, восстановлению пропущенных значений, методам оценки качества восстановления пропущенных значений и обобщение полученной информации, анализ методов машинного обучения с учителем и способам оценки качества их работы, проведение экспериментов по сравнению эффективности работы различных методов вменения пропущенных значений, визуализация и интерпретация полученных результатов.
Научной новизной обладают следующие результаты исследования: предложенный алгоритм восстановления пропущенных значений, позволяющий эффективно обрабатывать наборы данных, содержащие признаки смешанного типа, основанный на использовании различных методов машинного обучения с учителем и рекомендациях исследований в области применения методов машинного обучения в данной области.
Практическая значимость исследования: реализована программная библиотека на языке Python, содержащая предложенный алгоритм восстановления пропущенных значений, предоставляющая удобное API для внедрения данного алгоритма в процесс интеллектуального анализа данных.
Основная часть выпускной квалификационной работы состоит из трех разделов: в первом разделе рассматривается обзор литературы по восстановлению пропущенных значений и методам машинного обучения и способам оценки качества их работы; во втором разделе располагается описание предложенного алгоритма восстановления пропущенных значений; в третьем разделе описываются экспериментальные исследования, проведенные с целью оценки эффективности предложенного алгоритма в сравнение с аналогами.

Купить