ВВЕДЕНИЕ 4
1 Общие сведения о технической диагностике, задачах классификации и кластеризации 6
1.1 Основные понятия технической диагностики 6
1.2 Задача распознавания образов. Классификация и кластеризация 7
1.3 Основные методы классификации данных 10
1.3.1 Байесовские методы классификации 10
1.3.2 Метрические методы классификации 11
1.3.3 Линейные методы классификации 11
1.4 Основные методы кластеризации данных 11
1.4.1 Эвристические графовые алгоритмы 12
1.4.2 Статистические алгоритмы 13
1.4.3 Иерархическая кластеризация 13
1.4.4 Самоорганизующиеся карты Кохонена 13
1.5 Алгоритм кластерного анализа ЕогеІ. Модификации. Преимущества и недостатки 14
1.5.1 Алгоритм Forel 14
1.5.2 Алгоритм Forel-2 14
1.5.3 Преимущества и недостатки алгоритма 15
1.6 Алгоритм кластеризации Ланса-Уильямса. Модификации. Преимущества
и недостатки 15
1.6.1 Способы вычисления расстояний в алгоритме Ланса-Уильямса 16
1.6.2 Свойства, характеризующие качество кластеризации 17
1.6.2.1 Свойство монотонности 17
1.6.2.2 Свойства растяжения и сжатия 18
1.6.2.3 Свойство редуктивности 18
1.6.3 Достоинства и недостатки алгоритма 19
Выводы к главе 1 21
2 Исследование алгоритмов кластеризации на модельных данных 22
2.1 Программная реализация алгоритмов 22
2.2 Исследование алгоритма Forel на модельных данных 25
2.2.1 Исследование алгоритма Богеіна типах кластерных структур с явно
выделенными кластерами 25
2.2.2 Исследование алгоритма Fore'l на типах кластерных структур с
перемычками 28
2.2.3 Исследование алгоритма Forel на типах кластерных структур с выбросами 30
2.2.4 Исследование алгоритма Forel на данных из репозитория (Ирисы Фишера)32
2.2.5 Результаты работы алгоритма БогеІ 34
2.3 Исследование модификации алгоритма Forel на модельных данных 36
2.3.1 Исследование модификации алгоритма Forel на типах кластерных структур с явно выделенными кластерами 36
2.3.2 Исследование модификации алгоритма ForelHa типах кластерных
структур с перемычками 37
2.3.3 Исследование модификации алгоритма Forel на типах кластерных
структур с выбросами 38
2.3.4 Исследование модификации алгоритма Богеіна данных из репозитория
(Ирисы Фишера) 40
2.3.5 Результаты работы модификации алгоритма Forel 41
2.4 Исследование алгоритма Ланса-Уильямса на модельных данных 43
2.4.1 Исследование алгоритма Ланса-Уильямсана типах кластерных структур с
явно выделенными кластерами 43
2.4.2 Исследование алгоритма Ланса-Уильямсана типах кластерных структур с
перемычками 44
2.4.3 Исследование алгоритма Ланса-Уильямсана типах кластерных структур с
выбросами 46
2.4.4 Исследование алгоритма Ланса-Уильямсана данных из репозитория
(Ирисы Фишера) 48
2.4.5 Результаты работы алгоритма Ланса-Уильямса 50
2.5 Сводная таблица результатов работы всех реализованных алгоритмов . . . 52
Выводы к главе 2 53
ЗАКЛЮЧЕНИЕ 54
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 55
На сегодняшний день одной из основных задач при создании сложных систем является техническая диагностика. Этонаука, которая возникла в связи с потребностями современной техники. Техническая диагностика - область знаний, охватывающая теорию, методы и средства определения технического состояния объектов. При текущем уровне сложности радиоэлектронной и вычислительной техники частота применения данной отрасли научно¬технических знаний растет с каждым днем. Это явление обусловлено постоянным усовершенствованием сложных систем и необходимостью увеличения производительности различных технических объектов.Все возрастающее значение сложных и дорогостоящих технических систем, особенно в машиностроении и радиоэлектронике, требования безопасности, безотказности и долговечности делают весьма важной оценку состояния системы, ее надежности.
Техническая диагностика решает обширный круг задач, многие из которых являются смежными с задачами других научных дисциплин. Основной задачей технической диагностики является распознавание состояния технической системы в условиях ограниченной информации.
Актуальной является задача технической диагностики электрорадио изделий (ЭРИ), так как современные космические аппараты состоят из сотни тысяч надежных изделий: различных транзисторов, диодов, диодных матриц и др. При поломке одного из изделий выходит из строя весь космический аппарат, поэтому особо важно дать точную оценку их надежности, так как ремонт или замена изделий во время эксплуатации невозможны. Именно поэтому задача определения качества так важна на сегодняшний день.
Теоретическим фундаментом для решения основной задачи технической диагностики следует считать общую теорию распознавания образов. Эта теория занимается распознаванием образов любой природы, машинным распознаванием речи, печатного и рукописного текстов.
Техническая диагностика изучает алгоритмы распознавания применительно к задачам диагностики, которые обычно могут рассматриваться как задачи кластеризации и классификации. Алгоритмы распознавания в технической диагностике частично основываются на диагностических моделях, устанавливающих связь между состояниями технических систем и их отображениями в пространстве диагностических сигналов.
Решение задачи технической диагностики, особенно для сложных технических систем и оборудования, позволяет получить большой экономический эффект и повысить промышленную безопасность соответствующих опасных производственных объектов. Техническая диагностика благодаря раннему обнаружению дефектов позволяет предотвратить внезапные отказы оборудования, что повышает надежность, эффективность и безопасность промышленных производств, а также дает возможность эксплуатации сложных технических систем по фактическому техническому состоянию.
Таким образом, решение задачи технической диагностики является актуальной проблемой, имеющей существенное значение для повышения эффективности проведения экспериментов и требующей развития существующих и разработки новых алгоритмов, способных точно и эффективно проводить кластеризацию в столь сложных условиях.
На сегодняшний день существует множество методов кластерного анализа. Различные алгоритмы кластеризации могут быть более или менее успешны при различных ситуациях. Простые алгоритмы, такие как k-means, EM-алгоритм, алгоритм кратчайшего незамкнутого пути, как правило, узко специализированы и дают адекватные результаты только в одной-двух ситуациях. Более сложные алгоритмы, такие как Forel, алгоритм Ланса- Уильямса, нейронная сеть Кохонена справляются с несколькими типами ситуаций.
Существует множество изданий, посвященных вопросам кластерного анализа, авторами некоторых из них являются Загоруйко Н. Г., Айвазян С. А., Бухштабер В. М., Мандель И. Д. и др. Так же, существует Школа анализа данных, основанная Яндексом, где преподают машинное обучение, компьютерное зрение, анализ текстов на естественном языке и другие направления современных компьютерных наук. Одним из преподавателей основ машинного обучения в Школе анализа данных является Воронцов К. В.
Целью дипломной работы является повышение эффективности при решении задачи технической диагностики с помощью реализации, применения и исследования алгоритмов кластерного анализа БогеІи Ланса- Уильямса.
В связи с поставленной целью в дипломной работе решаются следующие задачи:
• реализация алгоритмов кластерного анализа Forel и Ланса-Уильямса;
• применение реализованных алгоритмов кластерного анализа;
• исследование реализованных алгоритмов БогеІ и Ланса-Уильямса;
• модификация aлгоритмa Forel и сравнение результатов работы с базовым алгоритмом;
• проведение сравнительного анализа результатов.
В результате выполнения дипломной работы было достигнуто повышение эффективности при решении задачи технической диагностики электрорадиоизделий, а так же реализованы программные приложения для алгоритмов кластерного анализа и модификаций данных алгоритмов.Данные алгоритмы позволяют выявлять схожие группы в выборке объектов в зависимости от целей кластеризации. Методом статистического моделирования подтверждена работоспособность алгоритмов.
В работе приведены результаты исследований алгоритмов кластерного анализа Forel, Ланса-Уильямса и их модификаций на специально сгенерированных модельных данных, на данных из репозитория, а так же, проведен анализ результатов кластеризации электрорадиоизделий.
В ходе исследований было выявлено, что алгоритм Forelявляется подходящим алгоритмом для кластеризации данных, для которых выполняется гипотеза компактности, то есть, необходимо, чтобы кластеры образовывали компактно локализованные подмножества в пространстве объектов, а так же, чтобы граница между классами имела достаточно простую форму.
Повышение точности кластеризации данных других типов кластерных структур с помощью алгоритма Forel было достигнуто путем модификации данного алгоритма. Модифицированный алгоритм Forelпокaзaл в разы лучшие результаты кластеризации, однако оба алгоритма не дали удовлетворительных результатов при кластеризации данных обизмерениях характеристик микросхем 1526ЛЕ5, так как для этих данных не выполняется гипотеза компактности, а так же, межкластерные расстояния незначительно отличаются от внутрикластерных.
Наилучшие результаты при кластеризации данных всех типов кластерных структур показал иерархический дивизимный алгоритм Ланса-Уильямса. Так же, данный алгоритм дал наилучшие результаты при кластеризации данных об измерениях характеристик микросхем 1526ЛЕ5.
Таким образом, поставленная в дипломной работе цель и выдвинутые задачи достигнуты в полной мере. Реализованные программные приложения могут в дальнейшем применяться на практике для диагностирования данных в любой сфере жизнедеятельности человека.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
