Использование методов ML для предсказания сбоев в кластерах хранения данных

Введение 4
1. Постановка задачи 5
2. Обзор 6
2.1 Обзор методов построения признаков и выявления аномального поведения 6
2.2 Обзор методов выявления шаблонов в логах 7
3. Исходные данные 9
4. Извлечение шаблонов из логов 11
4.1 Описание алгоритма IPLoM 11
4.1.1 Общее описание алгоритма: 11
4.1.2 Основные шаги алгоритма: 11
4.2 Доработка алгоритма 22
4.3 Улучшение алгоритма 24
5. Построение признаков 25
6. Определение аномального поведения 26
7. Эксперименты 27
7.1 Определение шаблонов 27
7.2 Построение признаков и определение аномального поведения 28
Заключение 30
Список литературы 31

Купить

В наше время люди стали осознавать важность накопления данных в различных областях жизни. Данные собираются в различных сферах: бизнес, индустрия, социальная сфера. Но помимо накопления данных, нужно уметь их использовать. Для этого применяются методы машинного обучения, с помощью которых в данных можно находить закономерности и строить выводы.
Для накопления данных используются системы хранения данных (СХД). СХД состоят из большого числа компьютеров, объединенных в кластеры. СХД должны не просто хранить данные, но и обеспечивать их целостность. Данные бывают критически важными, и их потеря может оказать негативное влияние на компанию, в которой эти данные используются. Несмотря на качество оборудования и программного обеспечения в СХД происходят ошибки, которые могут быть вызваны различными причинами и вести к потере данных.
Вся СХД обслуживается различным программным обеспечением, которое записывает информацию о происходящих в системе событиях в текстовые файлы.
Лог - текстовый файл, содержащий строки, описывающие события, произошедшие в системе. Часть сообщений говорит нам об ошибках в системе. Ошибки в системах хранения данных приводят не только к потере данных, но и к другим видам сбоев, например, зависаниям системы. Затем операторы технической поддержки вынуждены вручную перебирать лог в поисках причины произошедшего сбоя. Но к сбоям могут приводить не только конкретные ошибки, а совокупность ошибок или даже совокупность событий, не являющихся ошибками. Поэтому не нужно концентрироваться на поиске конкретных ошибок, нужно искать аномальное поведение системы. И при наличии аномального поведения высылать предупреждение операторам технической поддержки, чтобы они смогли принять меры и предотвратить будущий сбой .

Купить