ВВЕДЕНИЕ 3
1. Формулировка и методы решения задачи бинарной классификации 7
1.1. Задача бинарной классификации 7
1.2. Формулировка SVM 7
1.3. Обучение SVM 13
2. Экспериментальные исследования 20
2.1. Постановка экспериментов 20
2.2. Критерии качества модели 21
2.3. Статистический анализ 23
3. Детали имплементации 24
4. Результаты 31
4.1. Сравнение точности работы алгоритмов 31
4.2. Сравнение скорости сходимости алгоритмов 34
ЗАКЛЮЧЕНИЕ 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 37
СПИСОК ИЛЛЮСТРИРОВАННОГО МАТЕРИАЛА 39
СПИСОК ТАБЛИЦ 40
ПРИЛОЖЕНИЕ. Листинг

Купить

В настоящее время во многих сферах жизни человека все более и более широкое применение находят методы искусственного интеллекта(ИИ). Они привели к существенным изменениям во многих отраслях промышленности, медицины, бизнеса и науки. Толчком этому послужило появление множества эффективных способов решений сложных задач, которые в свою очередь были найдены благодаря разработке новейших методов машинного обучения (например, глубокого обучения) и развитию технологий (например, вычислений на GPU).
Особую популярность ИИ имеют в области компьютерного зрения. Таким образом приложения ИИ получили особый стимул к развитию после запуска проекта ILSVRC (англ. ImageNet Large Scale Visual Recognition Challenge), в рамках которого сверточная нейронная сеть показала беспрецедентное улучшение качества классификации изображений в сравнении с существующими на тот момент методами машинного обучения.
Независимо от области, в которой они используются, множество приложений ИИ реализованы методами машинного обучения (см. Рис. 1). В частности, многие практические задачи, такие как обнаружение объекта на видеозаписи или прогнозирование реакции на лечение на основе генетической предрасположенности, сводятся к задаче классификации. В таком случае, для каждого интересующего нас объекта формируется вектор признаков, и каждому из них присваиваются метки класса. В большинстве случаев требуется решить задачу многоклассовой классификации, но бинарная классификация составляет базу для всех других видов классификации. Таким образом, задачу многоклассовой классификации можно свести к бинарной с использованием таких методов, как «один против всех».
Значительный вклад в теорию машинного обучения, в частности в классификацию объектов, внес Вапник В.М., который имел математический взгляд на задачу машинного обучения. Вапник предложил рассматривать обучение как задачу оптимизации [3], что дает возможность применить теорию оптимизации при разработке систем искусственного интеллекта. В данный момент машинное обучение включает в себя множество дисциплин, такие как математическая статистика, теория информации, теория алгоритмов, теория вероятностей и функциональный анализ.
В 1963 году Владимир Вапник и Алексей Червоненкис предложили метод построения оптимальной разделяющей гиперплоскости, который стал основой для разработки метода опорных векторов (англ. Support Vector Machine, SVM) [4]. Метод стал одним из самых популярных алгоритмов машинного обучения с учителем для классификации объектов. Реализовано множество успешных приложений, использующих в своей основе SVM и примененных в различных областях, как анализ изображений, распознавание символов, биоинформатика и классификация документов.
Часто, опираясь на регрессионный анализ или на свойства задачи регрессионного анализа, мы предполагаем для оценки отклонения при построении классификационной гиперплоскости использовать критерий минимизации суммы квадратов отклонений, то есть мы проводим гиперплоскость так, чтобы она на обучающей последовательности минимизировала сумму квадратов отклонений с двух сторон. Однако, стоит заметить, что это не единственный критерий, а также нам не известен тип и свойства данных, которые берутся для классификации.
Когда отклонения в обучающих данных небольшие, тогда метод наименьших квадратов дает улучшение при классификации. В том случае, когда есть достаточно большие выбросы, тогда используются другие критерии, например, негладкие или равномерные. Наша задача сравнить критерии разного типа, таким образом, наша задача состоит в том, чтобы сравнить известный традиционный критерий и новый нетрадиционный критерий. В данном случае мы берем критерий по минимизации максимального отклонения, который дает равномерное отклонение.
В данной работе были реализованы два линейных классификатора с наиболее распространенными критериями: базовый SVM, который использует минимизацию сумму квадратов отклонений, и модифицированный SVM с равномерными штрафами, то есть с критерием минимизации максимума отклонений. Для решения возникающих задач используются методы бикоординатного типа [5].
Одной из задач диссертационной работы является проведение сравнительного анализа двух реализованных нами алгоритмов бинарной классификации. В рамках наших экспериментов для обучения и тестирования моделей использовалась база данных «Ирисы Фишера», содержащая данные о трех видах ирисов (по 50 экземпляров каждый). В нашем случае перед нами стояла задача отделения вида «Ириса виргинского» (англ. Iris virginica) от двух других, «Ириса щетинистого» (англ. Iris setosa) и «Ириса разноцветного» (англ. Iris versicolor). Далее нами были сравнены точность и скорость схождения обученных классификаторов. Результаты наших экспериментов продемонстрировали статистически значимые улучшения нового классификатора как с точки зрения точности, так и скорости обучения, по сравнению с базовым алгоритмом SVM. Таким образом, этот метод может быть реализован в реальных приложениях, как более эффективный с точки
Цель нашей работы провести сравнительный анализ алгоритмов бинарной классификации.
В рамках нашей диссертационной работы получены следующие новые научные результаты:
- разработан алгоритм линейного SVM с равномерными штрафами;
- разработан алгоритм обучения для нового алгоритма SVM;
- проведен сравнительный анализ двух алгоритмов бинарной классификации.
Для решения поставленной задачи нами были применены методы теории оптимизации, машинного обучения и математической статистики. Для практической реализации были использованы современные методы программирования на языке Python в веб-оболочке Jupyter Notebook.

Купить