Введение 2
- Классы, признаки, решающее правило
- Содержательная формулировка задачи классификации
- Различные постановки задачи классификации
1. Байесовская теория 3
- Априорные вероятности и условные распределения
- Теорема Байеса
2. Обучение с учителем 7
- Обучающее множество
- Оценка параметров условных распределений
- Оценка плотности условных распределений
- Метод ближайших соседей -Эксперименты
3. Моделирование многомерных случайных величин с нормальным законом
распределения 19
- Двумерное нормальное распределение
- Общий случай
4. 0писание программных средств 22
- Исходная информация
- Алгоритм
- Пользовательский интерфейс
- Тестирование программы
Список использованных источников 28
Приложение
Задача классификации - формализованная задача, в которой имеется множество объектов, разделенных некоторым образом на классы. Задано конечное подмножество объектов, для которых известно, к каким классам они относятся. Это множество называется обучающей выборкой. Классовая принадлежность остальных объектов неизвестна. Требуется построить алгоритм, способный классифицировать произвольный объект исходного множества.
Свойства объектов, используемые для их классификации, называются признаками. Признак - это некоторая количественная характеристика объекта произвольной природы. Совокупность признаков, относящихся к одному объекту, называется вектором признаков. Вектора признаков принимают значения в пространстве признаков. В рамках задачи классификации считается, что каждому объекту ставится в соответствие единственное значение вектора признаков. Классификатором или решающим правилом называется правило отнесения объекта к одному из классов на основании его вектора признаков.
Имеются различные постановки задачи классификации. Если известны априорные вероятности и распределения векторов признаков в каждом классе, то в этом случае можно построить (байесовское) решающее правило с минимальной вероятностью ошибки при классификации. При решении прикладных задач, связанных с классификацией объектов, априорные вероятности и условные распределения классов, описывающие изменчивость признаков, часто отсутствуют. В типичном случае имеется лишь общее представление об исследуемой ситуации и некоторый набор конструктивных выборок, соответствующих конкретным объектам, из числа подлежащих классификации. Задача, следовательно, заключается в том, чтобы найти способ построения классификатора, используя эту информацию. Построение решающего правила по выборке принято называть обучением, а саму выборку - обучающей. В настоящей работе будет предполагаться, что известно количество классов, что имеется набор объектов, для каждого из которых известен номер класса, которому он принадлежит. В связи с этим выборка называется помеченной, а обучение - обучением с учителем. Если разделение объектов обучающей выборки на классы не задается и требуется классифицировать объекты только на основе их сходства друг с другом, то такое обучение называется обучением без учителя.
