
Тип работы:	Предмет:	Язык работы:

ОБЪЯСНИМЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ДЛЯ СИСТЕМ БОЛЬШОЙ РАЗМЕРНОСТИ

Работа №	143221
Тип работы	Диссертация
Предмет	информатика
Объем работы	82
Год сдачи	2023
Стоимость	5500 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено	19

Не подходит работа?

Узнай цену на написание

Содержание

Введение 4
Глава 1. Объяснимый метод интерпретации решений
ИИ-системы обнаружения аномальных логов 17
1.1 Система обнаружения аномального ИИ 18
1.1.1 Решение на основе машинного обучения: дерево решений 18
1.1.2 Решение на основе нейронной сети: DeepLog 19
1.2 Объяснимая модель и алгоритм 20
1.2.1 Ценность Шепли и объяснимая модель 20
1.2.2 Объяснимое решение для дерева решений 22
1.2.3 Объяснимое решение для DeepLog 23
1.3 Результаты симуляции 25
1.3.1 Объяснимые результаты дерева решений 25
1.3.2 Объяснимые результаты DeepLog 26
1.4 Выводы к главе 1 28
Глава 2. Объяснимый искусственный интеллект: системы большой размерности для обнаружения рака 30
2.1 Система искусственного интеллекта для обнаружения рака 32
2.1.1 Принцип изолированного леса 32
2.1.2 Определения измерений: показатель аномалии 34
2.1.3 Обнаружение аномалий с использованием Isolation Forest 36
2.1.4 Результат обнаружения аномалии 39
2.2 Объяснимое решение и алгоритмы 41
2.2.1 Ценность Шепли и объяснимая модель 41
2.2.2 Двухуровневый подход к многомерному объяснимому ИИ 43
2.2.3 Подход сэмплирования для многомерного объяснимого ИИ 46
2.3 Результаты симуляций 47
2.3.1 Описание набора данных 48
2.3.2 Результаты моделирования глобального объяснения:
двухуровневый подход 48
2.3.3 Результаты моделирования глобального объяснения:
сэмплирование 51
2.3.4 Локальное объяснение: сравнение двухуровневого подхода с
сэмплированием 53
2.4 Заключение к главе 2 55
Глава 3. Объяснимый искусственный интеллект: подход к сэмплированию на основе графа для многомерной системы искусственного интеллекта 56
3.1 Объяснимая система искусственного интеллекта для обнаружения
рака 57
3.1.1 Isolation Forest и обнаружение рака 57
3.1.2 Значение Шепли 57
3.1.3 Подход Шепли к сэмплированию 58
3.1.4 Результаты и анализ 59
3.2 Карта взаимосвязей и сэмплирование на основе смещенного графа. 61
3.2.1 Обзор алгоритма 61
3.2.2 Коэффициент корреляции Пирсона 62
3.2.3 Метод предвзятого случайного поиска пути 63
3.2.4 Измерения для улучшения сходимости 65
3.3 Результаты моделирования 66
3.3.1 Описание набора данных 66
3.3.2 Генерация и конфигурация карты взаимосвязей 66
3.3.3 Анализ результатов 68
3.4 Заключение к главе 3 72
Выводы 74
Литература 76

Введение

По сравнению с классической статистикой и математическими методами, методы машинного обучения имеют большие преимущества в крупномасштабных, сложных и нелинейных системах. Поэтому они становятся все более популярными в промышленных приложениях. Системы искусственного интеллекта (ИИ) обычно используются для решения следующих математических задач:
• Классификация: классифицировать входные данные по различным категориям, таким как классификация текста и классификация изображений.
• Регрессия: для прогнозирования значения непрерывных переменных, таких как прогнозирование цены и прогнозирование сетевого трафика.
• Кластеризация: сгруппировать данные на основе их сходства, например, пользовательских предпочтений и классификации данных по функциям.
• Поиск аномалий: для выявления аномальных экземпляров в выборке, например, обнаружение рака и обнаружение аномальных логов.
• Оптимизация: поиск оптимального решения на основе заданной целевой функции, такой как оптимизация сетевого трафика и оптимизация распределения ресурсов.
• Прогнозирование: предсказывать будущие тенденции на основе прошлых данных, таких как прогноз цен на жилье и прогноз потребительского спроса.
Развитие технологий машинного обучения внесло большой вклад в быстрое развитие ИИ. Для машинного обучения, особенно для глубокого обучения, объяснимый ИИ — большой вызов. Глубокие нейронные сети — это «черный ящик» для всех нас. Алгоритмы ИИ обычно не могут объяснить логику принятия решения. Такие непрозрачные решения недостаточно убедительны, особенно в сферах военной, медицинской и финансовой безопасности, где ставки высоки. Поэтому объяснимый ИИ был бы полезен:
• Для пользователей, когда технология ИИ предназначена для того, чтобы предлагать или помогать принимать решения. Пользователи системы должны иметь возможность понять, почему система предоставляет каждое конкретное решение. Например, врач, ставящий диагноз, должен уметь понимать, почему лечебно-диагностическая система дает такую рекомендацию.
• Для разработчиков, чтобы понять «черный ящик» глубокого обучения. Это позволит им улучшать свои методы и модели машинного обучения.
Данная диссертация посвящена изучению объяснимых решений в системах искусственного интеллекта большой размерности. Анализируя системы обнаружения аномалий, мы успешно строим объяснимые модели с высокой способностью к обобщению. Мы также изучаем различные методы с разных точек зрения, такие как сэмплирование, кластеризация, иерархические и графические методы, чтобы повысить эффективность объяснимого решения и добиться создания более эффективной объяснимой системы ИИ для многомерных задач.

Возникли сложности?

Нужна помощь преподавателя?

Помощь студентам в написании работ!

ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ

Курсовые Статьи Диплом Рязань

Заключение

В этой диссертации было проведено исследование интерпретируемых методов для многомерных систем ИИ. В ходе исследования были предложены и улучшены два интерпретируемых подхода для многомерных задач ИИ в двух основных приложениях ИИ: системах обнаружения аномалий в логах и системах обнаружения рака. В главе 1 рассматривались системы обнаружения аномалий в логах, и было предоставлено объяснение взаимосвязей между входом и выходом с использованием значения Шепли, основанного на деревьях решений. Кроме того, был разработан метод быстрого вычисления значений Шепли с применением двухуровневого подхода к алгоритму DeepLog на основе нейронных сетей. В главе 2 для систем обнаружения рака двухуровневый подход был улучшен до иерархического, основанного на методе k-means с ограничениями и методе сэмплирования для быстрого вычисления значений Шепли. Результаты двух подходов были схожи, были проведены симуляционные тесты как на локальную, так и на глобальную интерпретируемость. В главе 3 был предложен улучшенный вариант сэмплирования, а также было введено понятие карты отношений. Для построения матрицы взаимосвязей был использован коэффициент корреляции Пирсона. Также для улучшения качества и вычислительной эффективности сэмплирования был предложен подход к сэмплированию на основе смещенного случайного блуждания. Кроме того, были предложены более полная метрика сходимости сэмплирования, объединившая индекс корреляции Спирмена и MAE, и более разумная метрика оценки качества сэмплирования, основанная на сходстве между положительными и отрицательными вкладами.
Основные результаты:
• Были разработаны интерпретируемые подходы на основе значения Шеп- ли для систем обнаружения аномалий в логах и двухуровневое решение, основанное на знаниях предметной области, для объяснения вклада событий в обнаружение аномалий логов. Двухуровневый подход значительно
повысил эффективность вычислений.
• Двухуровневый подход для систем обнаружения рака был улучшен до иерархического двухуровневого подхода, основанного на кластеризации k- means с ограничениями, и использовании сэмплирования для быстрого вычисления значений Шепли. Результаты двух подходов были схожи, были проведены симуляционные тесты как на локальную, так и на глобальную интерпретируемость, которые это подтвердили.
• Для дальнейшего улучшения сэмплирования была предложена концепция карты взаимосвязей с использованием коэффициента корреляции Пирсона, а также применение смещенного случайного блуждания для улучшения качества сэмплирования и вычислительной эффективности. Кроме того, были предложены более комплексные показатели качества и сходимости сэмплирования.

Литература

[1] Lundberg SM et al. Explainable machine-learning predictions for the prevention of hypoxaemia during surgery. Nature Biomed. Engin., 2.10 (2018): 749-760.
[2] Holzinger A et al. What do we need to build explainable AI systems for the medical domain? arXiv preprint, arXiv:1712.09923. - 2017.
[3] Chandola V, Banerjee A, Kumar V. Anomaly detection: A survey. ACM Computing Surveys, 2009, 41(3).
[4] Hawkins D. Identification of outliers. Springer Netherlands, 1980, P. 188.
[5] Chalapathy R, Chawla S. Deep learning for anomaly detection: a survey, arXiv: Learning, 2019.
[6] Tkachenko R, Izonin I. Model and principles for the implementation of neural- like structures based on geometric data transformations. Adv Intell Syst Comput 754: 578-587.
[7] Izonin I, Tkachenko R, Kryvinska N, Tkachenko P. Multiple linear regression based on coefficients identification using non-iterative SGTM Neural-Like Structure. In International Work-Conference on Artificial Neural Networks, Springer, Cham, 2019 June, pp: 467-497.
[8] Tkachenko R, Izonin I, Vitynskyi P, Lotoshynska N, Pavlyuk O. Development of the noniterative supervised learning predictor based on the ITO decomposition and SGTM neural-like structure for managing medical insurance costs. Data, 2018, 3(4), 46.
[9] Antwarg L, Shapira B. Explaining anomalies detected by autoencoders using SHAP. arXiv preprint, arXiv:1903.02407. - 2019.
[10] Shapley LS. (August 21, 1951). Notes on the n-Person Game - II: The Value of an n-Person Game. Santa Monica, Calif.: RAND Corporation.
[11] Leon A P, Nikolay A Z. Game Theory (2nd Edition), World Scientific, 2016.
[12] Lundberg SM, Lee SI. A unified approach to interpreting model predictions. Neural Inform. Processing Syst., 2017, pp. 4765-4774.
[13] Sundararajan M, Najmi A. The many shapley values for model explanation. arXiv preprint, arXiv: 1908.08474, 2019.
[14] Aas K, Jullum M, Lpland A. Explaining individual predictions when features are dependent: More accurate approximations to shapley values. arXiv preprint, arXiv:1903.10464, 2019.
[15] Lundberg SM, Erion G, Chen H, DeGrave A, Prutkin JM, Nair B, Katz R, Himmelfarb J, Bansal N, Lee SI. From local explanations to global understanding with explainable AI for trees. Nature machine intelligence, 2020, 2(1): 2522-5839.
... всего 64 источников