Аннотация
Введение 5
1. Обзор существующих видов аномалий 8
1.1 Задачи поиска аномалий 9
1.2 Виды аномалий 13
1.2.1 Точечные аномалии 15
1.2.2 Контекстные аномалии 15
1.2.3 Коллективные аномалии 17
1.3 Выводы по первой главе 19
2. Методы и подходы поиска аномалий 20
2.1 Классификация методов поиска аномалий 20
2.2 Вероятностный подход 23
2.3 Линейные методы 25
2.4 Метрические методы 27
2.5 Изолирующий лес 29
2.6 Скрытые Марковские модели 30
2.7 Спектральные методы 31
2.8 Классификация градиентным бустингом 31
2.9 Функции потерь 33
2.10 Метрики 34
2.11 Прочие методы и дополнительная информация 37
2.12 Выводы по второй главе 45
3 Построение алгоритма классификации 46
3.1 Описание исходных данных 20
3.2 Предварительная обработка данных 20
3.3 Формирование признакового пространства 20
3.4 Выводы по третьей главе 20
4 Эксперименты 55
4.1 Обучение классификатора 20
4.2 Результаты и обсуждения 20
4.3 Дополнительные сведения по датчикам 20
4.4 Выводы по четвёртой главе 20
Заключение 63
Приложение А Значения точностей, разработанных в работе моделей и статистической модели, используемой для сравнения 67
Операционные возможности электронных вычислительных машин достигли небывалых ранее масштабов. Показатели эффективности непрерывно возрастают. За последние несколько десятков лет назад было разработано множество методов и алгоритмов для обработки данных и построения на их основе моделей, но в современных условиях те же методы с их современными модификациями в совокупности с возможностями ЭВМ находят применение во множестве актуальных задач. Внедрение автоматизированных систем поддержки принятия решения направлено преимущественно на две группы задач: повышение безопасности производства, включающее анализ и предотвращение аварий и экономические эффекты от оптимизации режимов потребления ресурсов.
Стратегия заключается в построении моделей на основе данных, поступающих с датчиков, расположенных на реальных физических объектах.
Задача повышения эффективности работы технологических участков достигается минимизацией потерь. Потери включают в себя простой оборудования, расходы на ремонт, замену, устранение последствий аварий, сбои, нештатные ситуации и другое. Некоторые потери неизбежны, но всегда достигается задача минимизации существующих издержек производства с сопровождающимся повышением качества. В статье рассматривается обнаружение аномалий в множестве технологических сигналов, разработка соответствующих алгоритмов и моделей для создания и построения которых требуется множество ресурсов, знаний и информации о предметной области.
Данная статья призвана структурировать имеющуюся информацию, чтобы помочь ответить на вопрос: какие бывают методы обнаружения аномалий в технологических сигналах, какие методы следует использовать в конкретной ситуации, с каким типом или типами данных.
Широкое применение в задачах обнаружения аномалий нашли методы машинного обучения. К достоинствам методов машинного обучения относится их простая параметризуемость, возможность задавать различные метрики и количество степеней свободы модели. К алгоритмам машинного обучения, применяющихся для обнаружения аномалий, относятся алгоритмы таких типов как классификация, кластеризация, статистические методы.
Данная работа посвящена проблемам в области обнаружения аномалий (выбросов) в технологических сигналах, существующих на данный момент.
Рассматриваются три существующих вида аномалий. Как вводная часть к разработке алгоритмов обнаружения аномалий в множестве технологических сигналов раскрывается сущность распознавания аномалий и даются ответы на следующие вопросы: что такое режимы распознавания аномалий, какие бывают методы распознавания выбросов. Затем приводится классификация в соответствии с условиями и стратегиями обнаружения аномалий. В частности, рассматриваются методы кластеризации и способы её применения в исследуемой области.
Целью данной работы является обобщение информации о различных методах обнаружения аномалий и их практическое на технологических сигналах. В соответсвии с целью поставлены следующие задачи:
• Изучить данные, на основе которых будут проводиться эксперименты;
• Разработать общий план экспериментов;
• Выбрать инструменты для исследования;
• Реализовать эксперименты;
• Оценить полученные решения.
Структура работы. Работа состоит из введения, четырех глав, заключения, списка используемой литературы и двух приложений.
Во введении представлена актуальность работы, определена цель и поставлены задачи, дано краткое изложение работы.
В первой главе представлен обзор основных понятий, видов аномалий и их свойств.
Во второй главе представлены методы обнаружения аномалий, сгруппированные по типу аномалий, с которыми их можно использовать, а также приведён сравнительный анализ этих методов.
В третьей главне представлена подготовка данных к анализу, изучение данных, обоснование выбранного набора моделей .
В четвертой главе представлены выводы касательно полученных результатов построенной модели, интерпретация результата и дополнительные комментарии.
В Заключении сформулированы основные результаты и выводы, полученные в ходе проделанной работы.
Данная работа посвящена выявлению аномалий в технологическом сигнале с использованием методов машинного обучения. Было произведено расширение выборки за счет аугментации реальных данных. Получившаяся выборка покрывает большой спектр аномалий, встречающихся в реальных данных с предприятий. Был разработан новый алгоритм классификации технических сигналов путем преобразования их в наборы статистических признаков и последующей их классификации методом градиентного бустинга. Была продемонстрирована работоспособность алгоритма на модельных данных и на синтезированных искусственно. Произведена оценка работы алгоритма на них и анализ полученных оценок.
Полученные результаты подтверждают работоспособность данного алгоритма по классификации технологического сигнала. Ранняя версия данного алгоритма классификации была внедрена в прототип модуля обнаружения аномалий в технологическом сигнале. Предполагается, что разрабатываемый модуль инвариантен к полученным сигналам, и должен показывать достойный результат на широком спектре возможных задач.
Работа была представлена на VIII Международной молодежной научной конференции «Математическое и программное обеспечение информационных, технических и экономических систем».
