РАЗРАБОТКА АЛГОРИТМА ОБНАРУЖЕНИЯ АНОМАЛИЙ В ТЕХНОЛОГИЧЕСКИХ СИГНАЛАХ НА ОСНОВЕ LSTM-СЕТЕЙ
|
Аннотация
ВВЕДЕНИЕ 3
1 Анализ проблемы обнаружения аномалий в технологических сигналах 6
1.1 Сигнал и временной ряд 6
1.2 Аномалии 8
1.3 Метрики качества 11
1.4 Методы обнаружения аномалий 14
1.4.1 Машинное обучение 14
1.4.2 Глубокое обучение 17
1.4.3 Эффективность методов 22
1.5 Выводы 23
2 Разработка методов обнаружения аномалий 24
2.1 Формальная постановка задачи 24
2.2 Описание используемых данных 25
2.3 Инструменты разработки 26
2.4 Алгоритм обнаружения аномалий 27
2.5 Модели обнаружения 31
2.4.1 Модель на основе архитектуры автоэнкодер, использующая простую
LSTM-сеть 32
2.4.2 Модель на основе архитектуры автоэнкодер, использующая
гибридную LSTM-CNN сеть 33
2.6 Выводы 35
3 Эксперимент 36
3.1 Результаты 36
3.2 Выводы 41
ЗАКЛЮЧЕНИЕ 42
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 44
ВВЕДЕНИЕ 3
1 Анализ проблемы обнаружения аномалий в технологических сигналах 6
1.1 Сигнал и временной ряд 6
1.2 Аномалии 8
1.3 Метрики качества 11
1.4 Методы обнаружения аномалий 14
1.4.1 Машинное обучение 14
1.4.2 Глубокое обучение 17
1.4.3 Эффективность методов 22
1.5 Выводы 23
2 Разработка методов обнаружения аномалий 24
2.1 Формальная постановка задачи 24
2.2 Описание используемых данных 25
2.3 Инструменты разработки 26
2.4 Алгоритм обнаружения аномалий 27
2.5 Модели обнаружения 31
2.4.1 Модель на основе архитектуры автоэнкодер, использующая простую
LSTM-сеть 32
2.4.2 Модель на основе архитектуры автоэнкодер, использующая
гибридную LSTM-CNN сеть 33
2.6 Выводы 35
3 Эксперимент 36
3.1 Результаты 36
3.2 Выводы 41
ЗАКЛЮЧЕНИЕ 42
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ 44
Продолжающееся стремительное развитие автоматизированных систем управления на производственных предприятиях требует пристального внимания к их отказоустойчивости. Если какой-либо сбой в такой системе все же происходит, на него необходимо оперативно отреагировать. Для этого часто применяется “ручной” мониторинг технологических показателей, но, хоть такой подход и позволяет обнаружить неполадки, он недостаточно быстр и надежен. Человек не в состоянии отследить все изменения показателей, использующихся системой, тем более что число таких показателей, изменяющихся одновременно может достигать нескольких сотен или тысяч. Поэтому все большую популярность приобретает иной подход, называемый предиктивной аналитикой. Его основная функция - обнаружение неполадок в системе на ранних этапах, до того, как они окажут серьезное влияние на работу системы. Для реализации предиктивной аналитики обычно применяется искусственный интеллект и методы машинного и глубокого обучения.
При анализе технологических данных важнейшей задачей является определение нештатных показателей, лежащих за пределами нормы - аномальных данных, которые обычно являются признаками каких-либо сбоев в системе. То есть такую задачу можно сформулировать как задачу обнаружения аномалий. Сами технологические данные обычно выражаются технологическими сигналами, которые снимаются с датчиков оборудования и представлены временными рядами. Таким образом, обнаружение аномалий - это определение точек временных рядов, которые существенно отличаются от основной части данных.
Целью данного исследования является разработка алгоритма обнаружения аномалий в технологических сигналах, основанного на сетях LSTM. Для работы выбраны именно сети LSTM, так как они доказали свою эффективность в работе с временными последовательностями за счет своей архитектуры, решающей проблему долгосрочной зависимости. В работе будут предложены две модели, основанные на таких сетях, а также архитектуре автоэнкодера и CNN-сетях.
Для достижения цели исследования поставлены следующие задачи:
1. Исследовать временные ряды и технологические сигналы, проанализировать их свойства, а также исследовать аномалии, встречающиеся в технологических сигналах, провести классификацию таких аномалий.
2. Исследовать существующие методы обнаружения аномалий в технологических сигналах, рассмотреть их эффективность, особое внимание уделив LSTM-сетям.
3. Изучить данные, которые будут использованы в исследовании и методы предобработки данных, представленных временными рядами .
4. Построить модели обнаружения аномалий, используя архитектуру LSTM и создать алгоритм обнаружения аномалий, включающий в себя предобработку тренировочных и проверочных данных, обучение построенных моделей обнаружения с помощью тренировочных данных, определение порогового значения, предназначенного для принятия решения о нормальности или аномальности данных, а также процесс обнаружения аномалий в проверочных данных, содержащих в себе аномальные показатели.
5. Протестировать алгоритм на тренировочном наборе данных, содержащих аномальные значения, сравнить эффективность моделей.
Объектом исследования являются технологические сигналы и аномалии в этих сигналах.
Предметом исследования являются методы обнаружения аномалий в технологических сигналах.
Методы исследования, которые были использованы в работе:
1. Исследование информации о предметной области: технологических сигналах, временных рядах, аномалиях и различных методах их обнаружения, метриках качества, структуризация и обработка этой информации для применения на практике.
2. Изучение инструментов обработки для обработки временных рядов и построения моделей обнаружения аномалий во временных рядах.
3. Разработка алгоритмов обнаружения аномалий и проведение экспериментов по обнаружению.
4. Анализ результатов экспериментов, сравнение с существующими решениями.
Научная новизна данной работы заключается в предложенном подходе к обнаружению аномалий, заключающемся в использовании модели обнаружения, основанной на структуре автоэнкодера и гибридной сети обнаружения LSTM-CNN при использовании метода скользящего окна в предобработке данных.
Практическая значимость работы заключается в том, что разработанный в процессе исследования алгоритм может быть использован в реальных производствах для обнаружения аномалий в технологических сигналах.
Работа состоит из 3 глав:
1. В первой главе проанализирована проблема обнаружения аномалий в технологических сигналах, рассмотрены свойства сигналов и временных рядов, а также аномалий в сигналах, приведена классификация этих аномалий, рассмотрены метрики качества, применяемые для определения эффективности методов обнаружения аномалий, а также методы обнаружения аномалий, в частности методы машинного обучения и его подмножества - глубокого обучения.
2. Во второй главе дана формальная постановка задачи, описаны используемые данные, приведены инструменты разработки алгоритма обнаружения аномалий, а также приведены сам алгоритм и используемые в нем модели обнаружения.
3. В третьей главе приведены результаты проведенного эксперимента.
При анализе технологических данных важнейшей задачей является определение нештатных показателей, лежащих за пределами нормы - аномальных данных, которые обычно являются признаками каких-либо сбоев в системе. То есть такую задачу можно сформулировать как задачу обнаружения аномалий. Сами технологические данные обычно выражаются технологическими сигналами, которые снимаются с датчиков оборудования и представлены временными рядами. Таким образом, обнаружение аномалий - это определение точек временных рядов, которые существенно отличаются от основной части данных.
Целью данного исследования является разработка алгоритма обнаружения аномалий в технологических сигналах, основанного на сетях LSTM. Для работы выбраны именно сети LSTM, так как они доказали свою эффективность в работе с временными последовательностями за счет своей архитектуры, решающей проблему долгосрочной зависимости. В работе будут предложены две модели, основанные на таких сетях, а также архитектуре автоэнкодера и CNN-сетях.
Для достижения цели исследования поставлены следующие задачи:
1. Исследовать временные ряды и технологические сигналы, проанализировать их свойства, а также исследовать аномалии, встречающиеся в технологических сигналах, провести классификацию таких аномалий.
2. Исследовать существующие методы обнаружения аномалий в технологических сигналах, рассмотреть их эффективность, особое внимание уделив LSTM-сетям.
3. Изучить данные, которые будут использованы в исследовании и методы предобработки данных, представленных временными рядами .
4. Построить модели обнаружения аномалий, используя архитектуру LSTM и создать алгоритм обнаружения аномалий, включающий в себя предобработку тренировочных и проверочных данных, обучение построенных моделей обнаружения с помощью тренировочных данных, определение порогового значения, предназначенного для принятия решения о нормальности или аномальности данных, а также процесс обнаружения аномалий в проверочных данных, содержащих в себе аномальные показатели.
5. Протестировать алгоритм на тренировочном наборе данных, содержащих аномальные значения, сравнить эффективность моделей.
Объектом исследования являются технологические сигналы и аномалии в этих сигналах.
Предметом исследования являются методы обнаружения аномалий в технологических сигналах.
Методы исследования, которые были использованы в работе:
1. Исследование информации о предметной области: технологических сигналах, временных рядах, аномалиях и различных методах их обнаружения, метриках качества, структуризация и обработка этой информации для применения на практике.
2. Изучение инструментов обработки для обработки временных рядов и построения моделей обнаружения аномалий во временных рядах.
3. Разработка алгоритмов обнаружения аномалий и проведение экспериментов по обнаружению.
4. Анализ результатов экспериментов, сравнение с существующими решениями.
Научная новизна данной работы заключается в предложенном подходе к обнаружению аномалий, заключающемся в использовании модели обнаружения, основанной на структуре автоэнкодера и гибридной сети обнаружения LSTM-CNN при использовании метода скользящего окна в предобработке данных.
Практическая значимость работы заключается в том, что разработанный в процессе исследования алгоритм может быть использован в реальных производствах для обнаружения аномалий в технологических сигналах.
Работа состоит из 3 глав:
1. В первой главе проанализирована проблема обнаружения аномалий в технологических сигналах, рассмотрены свойства сигналов и временных рядов, а также аномалий в сигналах, приведена классификация этих аномалий, рассмотрены метрики качества, применяемые для определения эффективности методов обнаружения аномалий, а также методы обнаружения аномалий, в частности методы машинного обучения и его подмножества - глубокого обучения.
2. Во второй главе дана формальная постановка задачи, описаны используемые данные, приведены инструменты разработки алгоритма обнаружения аномалий, а также приведены сам алгоритм и используемые в нем модели обнаружения.
3. В третьей главе приведены результаты проведенного эксперимента.
В данной работе была исследована задача обнаружения аномалий в технологических сигналах, имеющая высокую актуальность в условиях высоких требований к отказоустойчивости технического оборудования и необходимости оперативно детектировать сбои и неполадки.
В ходе исследования были исследованы технологические сигналы, их свойства и аномалии в сигналах, произведен обзор существующих методов обнаружения аномалий, основывающихся на машинном и глубоком обучении. Создан алгоритм, решающий задачу обнаружения аномалий в сигналах.
Была предложена модель, основывающаяся на гибридном LSTM-CNN автоэнкодере с применением скользящего окна. Использование такой модели за счет применения LSTM-сетей позволяет учитывать предыдущие значения временного ряда, а не только текущее его состояние. В то же время применение метода скользящего окна позволяет эффективнее определять контекстные аномалии, так как каждое значение временного ряда рассматривается в контексте окна меньшего размера. Наконец, предложенная модель за счет применения структуры, относящейся к свёрточным нейронным сетям, которая предоставляет возможность выделить важнейшие особенности из короткой части временного ряда, позволяет увеличить эффективность обнаружения вплоть до 10%, а также уменьшить время обучения модели на 25,7%.
Результаты работы алгоритма на отдельных сигналах имеют высокую точность, на некоторых сигналах точность может быть несколько ниже, так как отдельные типы аномалий хуже отслеживаются моделью и требуют иных подходов к проблеме. Также, для конкретного типа и характера сигнала может потребоваться дополнительная настройка алгоритма для опредления порогового значения - это позволит несколько увеличить эффективность метода.
В целом можно сказать, что алгоритм может быть применен для обнаружения аномалий в реальных технологических сигналах, снятых с датчиков технического оборудования на производственных предприятиях. Для этого необходимо провести обучение модели на данных этого технического оборудования, для сигналов которого она будет применяться, а также более точно настроить пороговое значение в зависимости от конкретных данных.
В ходе исследования были исследованы технологические сигналы, их свойства и аномалии в сигналах, произведен обзор существующих методов обнаружения аномалий, основывающихся на машинном и глубоком обучении. Создан алгоритм, решающий задачу обнаружения аномалий в сигналах.
Была предложена модель, основывающаяся на гибридном LSTM-CNN автоэнкодере с применением скользящего окна. Использование такой модели за счет применения LSTM-сетей позволяет учитывать предыдущие значения временного ряда, а не только текущее его состояние. В то же время применение метода скользящего окна позволяет эффективнее определять контекстные аномалии, так как каждое значение временного ряда рассматривается в контексте окна меньшего размера. Наконец, предложенная модель за счет применения структуры, относящейся к свёрточным нейронным сетям, которая предоставляет возможность выделить важнейшие особенности из короткой части временного ряда, позволяет увеличить эффективность обнаружения вплоть до 10%, а также уменьшить время обучения модели на 25,7%.
Результаты работы алгоритма на отдельных сигналах имеют высокую точность, на некоторых сигналах точность может быть несколько ниже, так как отдельные типы аномалий хуже отслеживаются моделью и требуют иных подходов к проблеме. Также, для конкретного типа и характера сигнала может потребоваться дополнительная настройка алгоритма для опредления порогового значения - это позволит несколько увеличить эффективность метода.
В целом можно сказать, что алгоритм может быть применен для обнаружения аномалий в реальных технологических сигналах, снятых с датчиков технического оборудования на производственных предприятиях. Для этого необходимо провести обучение модели на данных этого технического оборудования, для сигналов которого она будет применяться, а также более точно настроить пороговое значение в зависимости от конкретных данных.
