Введение 4
1. Постановка задачи 6
2. Обзор существующих подходов 9
2.1. Методы выявления аномалий 9
2.1.1. Метод k-средних 10
2.1.2. Expectation-maximization алгоритм 11
2.1.3. Метод опорных векторов с одним классом 11
2.2. Оценка точности алгоритмов 11
2.3. Обработка данных 12
2.3.1. Обработка категориальных признаков 13
2.3.2. Обработка численных данных 14
3. Экспериментальное сравнение методов 15
3.1. Описание экспериментов 15
3.2. Интерпретация результатов 15
4. Обогащение исходных данных 17
4.1. Работа с API VirusTotal 17
4.2. Выделение атрибутов для анализа 18
5. Описание модуля 20
5.1. Общее описание 20
5.2. Параметры по умолчанию 21
5.3. Параметры моделей 22
5.4. Режим VirusTotal 22
Заключение 23
Список литературы 24
В информационной безопасности анализ поведения пользователей используется для обнаружения внутренних угроз или вредоносных атак, целью которых является причинение вреда или получение несанкционированного доступа к внутренним ресурсам.
Ежедневно создаются десятки тысяч вредоносных программ, а также совершенствуются уже существующие. Атаки становятся не случайными, а целенаправленными, организованными и мотивированными. Обнаружение и дальнейшее предотвращение таких атак является непростой и актуальной на сегодня задачей информационной безопасности.
SIEM-системы обеспечивают анализ в реальном времени событий безопасности, исходящих от сетевых устройств и приложений. Они используются для журналирования данных, их агрегации, а также хранения. Объемы хранимой информации очень велики, но ее большая часть описывает обычное поведение пользователей, которое не является вредоносным. Лишь малый процент этих данных - это информация о разного рода нарушениях безопасности: вторжениях, внедрении вредоносного ПО. Таким образом, проблему обнаружения угроз безопасности можно свести к задаче выявления аномалий или отклонений от нормального поведения пользователей и системы в целом.
Выявление аномалий в Data Mining - это процесс нахождения элементов, событий или наблюдений, которые не соответствуют ожидаемым паттернам или значительно отличаются от других элементов во множестве данных. Аномалии в разных источниках могут упоминаться как отклонения, выбросы, шум или исключения.
В машинном обучении существуют различные подходы к решению данной проблемы [7]. Выбор конкретного алгоритма зависит от специфичности данных, их размеров и других факторов.
В рамках данной работы было рассмотрено несколько методов машинного обучения без учителя, проведено сравнение этих методов на размеченном наборе данных и выбран лучший метод в качестве алгоритма выявления аномалий, используемого в модуле по умолчанию. Также были исследованы различные методы обработки данных и оценки точности алгоритмов, описан подход обогащения данных и реализован модуль анализа поведения пользователей.
В данной работе был реализован модуль анализа поведения пользователей, выявляющий вредоносные соединения. Для достижения поставленной цели были выполнены следующие задачи:
1. Проведен анализ методов машинного обучения без учителя для выявления аномалий сетевых соединений.
2. Проведено сравнение методов на размеченном наборе данных KDD соревнования.
3. Реализовано обогащение реальных исходных данных с помощью внешней системы VirusTotal.
4. На основе проведенных исследований и экспериментов реализован конфигурируемый модуль анализа поведения пользователей, позволяющий выявлять вредоносные соединения на основе логов сетевых соединений NGFW Palo-Alto.
В дальнейших планах рассматривается внедрение реализованного модуля в промышленную эксплуатацию.
