📄Работа №143221
Тема: ОБЪЯСНИМЫЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ДЛЯ СИСТЕМ БОЛЬШОЙ РАЗМЕРНОСТИ
Характеристики работы
Тип работы
Диссертация
Предмет
Информатика и вычислительная техника
Объем:
82 листов
Год:
2023
Просмотров:
217
5500
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение 4
Глава 1. Объяснимый метод интерпретации решений
ИИ-системы обнаружения аномальных логов 17
1.1 Система обнаружения аномального ИИ 18
1.1.1 Решение на основе машинного обучения: дерево решений 18
1.1.2 Решение на основе нейронной сети: DeepLog 19
1.2 Объяснимая модель и алгоритм 20
1.2.1 Ценность Шепли и объяснимая модель 20
1.2.2 Объяснимое решение для дерева решений 22
1.2.3 Объяснимое решение для DeepLog 23
1.3 Результаты симуляции 25
1.3.1 Объяснимые результаты дерева решений 25
1.3.2 Объяснимые результаты DeepLog 26
1.4 Выводы к главе 1 28
Глава 2. Объяснимый искусственный интеллект: системы большой размерности для обнаружения рака 30
2.1 Система искусственного интеллекта для обнаружения рака 32
2.1.1 Принцип изолированного леса 32
2.1.2 Определения измерений: показатель аномалии 34
2.1.3 Обнаружение аномалий с использованием Isolation Forest 36
2.1.4 Результат обнаружения аномалии 39
2.2 Объяснимое решение и алгоритмы 41
2.2.1 Ценность Шепли и объяснимая модель 41
2.2.2 Двухуровневый подход к многомерному объяснимому ИИ 43
2.2.3 Подход сэмплирования для многомерного объяснимого ИИ 46
2.3 Результаты симуляций 47
2.3.1 Описание набора данных 48
2.3.2 Результаты моделирования глобального объяснения:
двухуровневый подход 48
2.3.3 Результаты моделирования глобального объяснения:
сэмплирование 51
2.3.4 Локальное объяснение: сравнение двухуровневого подхода с
сэмплированием 53
2.4 Заключение к главе 2 55
Глава 3. Объяснимый искусственный интеллект: подход к сэмплированию на основе графа для многомерной системы искусственного интеллекта 56
3.1 Объяснимая система искусственного интеллекта для обнаружения
рака 57
3.1.1 Isolation Forest и обнаружение рака 57
3.1.2 Значение Шепли 57
3.1.3 Подход Шепли к сэмплированию 58
3.1.4 Результаты и анализ 59
3.2 Карта взаимосвязей и сэмплирование на основе смещенного графа. 61
3.2.1 Обзор алгоритма 61
3.2.2 Коэффициент корреляции Пирсона 62
3.2.3 Метод предвзятого случайного поиска пути 63
3.2.4 Измерения для улучшения сходимости 65
3.3 Результаты моделирования 66
3.3.1 Описание набора данных 66
3.3.2 Генерация и конфигурация карты взаимосвязей 66
3.3.3 Анализ результатов 68
3.4 Заключение к главе 3 72
Выводы 74
Литература 76
Глава 1. Объяснимый метод интерпретации решений
ИИ-системы обнаружения аномальных логов 17
1.1 Система обнаружения аномального ИИ 18
1.1.1 Решение на основе машинного обучения: дерево решений 18
1.1.2 Решение на основе нейронной сети: DeepLog 19
1.2 Объяснимая модель и алгоритм 20
1.2.1 Ценность Шепли и объяснимая модель 20
1.2.2 Объяснимое решение для дерева решений 22
1.2.3 Объяснимое решение для DeepLog 23
1.3 Результаты симуляции 25
1.3.1 Объяснимые результаты дерева решений 25
1.3.2 Объяснимые результаты DeepLog 26
1.4 Выводы к главе 1 28
Глава 2. Объяснимый искусственный интеллект: системы большой размерности для обнаружения рака 30
2.1 Система искусственного интеллекта для обнаружения рака 32
2.1.1 Принцип изолированного леса 32
2.1.2 Определения измерений: показатель аномалии 34
2.1.3 Обнаружение аномалий с использованием Isolation Forest 36
2.1.4 Результат обнаружения аномалии 39
2.2 Объяснимое решение и алгоритмы 41
2.2.1 Ценность Шепли и объяснимая модель 41
2.2.2 Двухуровневый подход к многомерному объяснимому ИИ 43
2.2.3 Подход сэмплирования для многомерного объяснимого ИИ 46
2.3 Результаты симуляций 47
2.3.1 Описание набора данных 48
2.3.2 Результаты моделирования глобального объяснения:
двухуровневый подход 48
2.3.3 Результаты моделирования глобального объяснения:
сэмплирование 51
2.3.4 Локальное объяснение: сравнение двухуровневого подхода с
сэмплированием 53
2.4 Заключение к главе 2 55
Глава 3. Объяснимый искусственный интеллект: подход к сэмплированию на основе графа для многомерной системы искусственного интеллекта 56
3.1 Объяснимая система искусственного интеллекта для обнаружения
рака 57
3.1.1 Isolation Forest и обнаружение рака 57
3.1.2 Значение Шепли 57
3.1.3 Подход Шепли к сэмплированию 58
3.1.4 Результаты и анализ 59
3.2 Карта взаимосвязей и сэмплирование на основе смещенного графа. 61
3.2.1 Обзор алгоритма 61
3.2.2 Коэффициент корреляции Пирсона 62
3.2.3 Метод предвзятого случайного поиска пути 63
3.2.4 Измерения для улучшения сходимости 65
3.3 Результаты моделирования 66
3.3.1 Описание набора данных 66
3.3.2 Генерация и конфигурация карты взаимосвязей 66
3.3.3 Анализ результатов 68
3.4 Заключение к главе 3 72
Выводы 74
Литература 76
📖 Введение
По сравнению с классической статистикой и математическими методами, методы машинного обучения имеют большие преимущества в крупномасштабных, сложных и нелинейных системах. Поэтому они становятся все более популярными в промышленных приложениях. Системы искусственного интеллекта (ИИ) обычно используются для решения следующих математических задач:
• Классификация: классифицировать входные данные по различным категориям, таким как классификация текста и классификация изображений.
• Регрессия: для прогнозирования значения непрерывных переменных, таких как прогнозирование цены и прогнозирование сетевого трафика.
• Кластеризация: сгруппировать данные на основе их сходства, например, пользовательских предпочтений и классификации данных по функциям.
• Поиск аномалий: для выявления аномальных экземпляров в выборке, например, обнаружение рака и обнаружение аномальных логов.
• Оптимизация: поиск оптимального решения на основе заданной целевой функции, такой как оптимизация сетевого трафика и оптимизация распределения ресурсов.
• Прогнозирование: предсказывать будущие тенденции на основе прошлых данных, таких как прогноз цен на жилье и прогноз потребительского спроса.
Развитие технологий машинного обучения внесло большой вклад в быстрое развитие ИИ. Для машинного обучения, особенно для глубокого обучения, объяснимый ИИ — большой вызов. Глубокие нейронные сети — это «черный ящик» для всех нас. Алгоритмы ИИ обычно не могут объяснить логику принятия решения. Такие непрозрачные решения недостаточно убедительны, особенно в сферах военной, медицинской и финансовой безопасности, где ставки высоки. Поэтому объяснимый ИИ был бы полезен:
• Для пользователей, когда технология ИИ предназначена для того, чтобы предлагать или помогать принимать решения. Пользователи системы должны иметь возможность понять, почему система предоставляет каждое конкретное решение. Например, врач, ставящий диагноз, должен уметь понимать, почему лечебно-диагностическая система дает такую рекомендацию.
• Для разработчиков, чтобы понять «черный ящик» глубокого обучения. Это позволит им улучшать свои методы и модели машинного обучения.
Данная диссертация посвящена изучению объяснимых решений в системах искусственного интеллекта большой размерности. Анализируя системы обнаружения аномалий, мы успешно строим объяснимые модели с высокой способностью к обобщению. Мы также изучаем различные методы с разных точек зрения, такие как сэмплирование, кластеризация, иерархические и графические методы, чтобы повысить эффективность объяснимого решения и добиться создания более эффективной объяснимой системы ИИ для многомерных задач.
• Классификация: классифицировать входные данные по различным категориям, таким как классификация текста и классификация изображений.
• Регрессия: для прогнозирования значения непрерывных переменных, таких как прогнозирование цены и прогнозирование сетевого трафика.
• Кластеризация: сгруппировать данные на основе их сходства, например, пользовательских предпочтений и классификации данных по функциям.
• Поиск аномалий: для выявления аномальных экземпляров в выборке, например, обнаружение рака и обнаружение аномальных логов.
• Оптимизация: поиск оптимального решения на основе заданной целевой функции, такой как оптимизация сетевого трафика и оптимизация распределения ресурсов.
• Прогнозирование: предсказывать будущие тенденции на основе прошлых данных, таких как прогноз цен на жилье и прогноз потребительского спроса.
Развитие технологий машинного обучения внесло большой вклад в быстрое развитие ИИ. Для машинного обучения, особенно для глубокого обучения, объяснимый ИИ — большой вызов. Глубокие нейронные сети — это «черный ящик» для всех нас. Алгоритмы ИИ обычно не могут объяснить логику принятия решения. Такие непрозрачные решения недостаточно убедительны, особенно в сферах военной, медицинской и финансовой безопасности, где ставки высоки. Поэтому объяснимый ИИ был бы полезен:
• Для пользователей, когда технология ИИ предназначена для того, чтобы предлагать или помогать принимать решения. Пользователи системы должны иметь возможность понять, почему система предоставляет каждое конкретное решение. Например, врач, ставящий диагноз, должен уметь понимать, почему лечебно-диагностическая система дает такую рекомендацию.
• Для разработчиков, чтобы понять «черный ящик» глубокого обучения. Это позволит им улучшать свои методы и модели машинного обучения.
Данная диссертация посвящена изучению объяснимых решений в системах искусственного интеллекта большой размерности. Анализируя системы обнаружения аномалий, мы успешно строим объяснимые модели с высокой способностью к обобщению. Мы также изучаем различные методы с разных точек зрения, такие как сэмплирование, кластеризация, иерархические и графические методы, чтобы повысить эффективность объяснимого решения и добиться создания более эффективной объяснимой системы ИИ для многомерных задач.
✅ Заключение
В этой диссертации было проведено исследование интерпретируемых методов для многомерных систем ИИ. В ходе исследования были предложены и улучшены два интерпретируемых подхода для многомерных задач ИИ в двух основных приложениях ИИ: системах обнаружения аномалий в логах и системах обнаружения рака. В главе 1 рассматривались системы обнаружения аномалий в логах, и было предоставлено объяснение взаимосвязей между входом и выходом с использованием значения Шепли, основанного на деревьях решений. Кроме того, был разработан метод быстрого вычисления значений Шепли с применением двухуровневого подхода к алгоритму DeepLog на основе нейронных сетей. В главе 2 для систем обнаружения рака двухуровневый подход был улучшен до иерархического, основанного на методе k-means с ограничениями и методе сэмплирования для быстрого вычисления значений Шепли. Результаты двух подходов были схожи, были проведены симуляционные тесты как на локальную, так и на глобальную интерпретируемость. В главе 3 был предложен улучшенный вариант сэмплирования, а также было введено понятие карты отношений. Для построения матрицы взаимосвязей был использован коэффициент корреляции Пирсона. Также для улучшения качества и вычислительной эффективности сэмплирования был предложен подход к сэмплированию на основе смещенного случайного блуждания. Кроме того, были предложены более полная метрика сходимости сэмплирования, объединившая индекс корреляции Спирмена и MAE, и более разумная метрика оценки качества сэмплирования, основанная на сходстве между положительными и отрицательными вкладами.
Основные результаты:
• Были разработаны интерпретируемые подходы на основе значения Шеп- ли для систем обнаружения аномалий в логах и двухуровневое решение, основанное на знаниях предметной области, для объяснения вклада событий в обнаружение аномалий логов. Двухуровневый подход значительно
повысил эффективность вычислений.
• Двухуровневый подход для систем обнаружения рака был улучшен до иерархического двухуровневого подхода, основанного на кластеризации k- means с ограничениями, и использовании сэмплирования для быстрого вычисления значений Шепли. Результаты двух подходов были схожи, были проведены симуляционные тесты как на локальную, так и на глобальную интерпретируемость, которые это подтвердили.
• Для дальнейшего улучшения сэмплирования была предложена концепция карты взаимосвязей с использованием коэффициента корреляции Пирсона, а также применение смещенного случайного блуждания для улучшения качества сэмплирования и вычислительной эффективности. Кроме того, были предложены более комплексные показатели качества и сходимости сэмплирования.
Основные результаты:
• Были разработаны интерпретируемые подходы на основе значения Шеп- ли для систем обнаружения аномалий в логах и двухуровневое решение, основанное на знаниях предметной области, для объяснения вклада событий в обнаружение аномалий логов. Двухуровневый подход значительно
повысил эффективность вычислений.
• Двухуровневый подход для систем обнаружения рака был улучшен до иерархического двухуровневого подхода, основанного на кластеризации k- means с ограничениями, и использовании сэмплирования для быстрого вычисления значений Шепли. Результаты двух подходов были схожи, были проведены симуляционные тесты как на локальную, так и на глобальную интерпретируемость, которые это подтвердили.
• Для дальнейшего улучшения сэмплирования была предложена концепция карты взаимосвязей с использованием коэффициента корреляции Пирсона, а также применение смещенного случайного блуждания для улучшения качества сэмплирования и вычислительной эффективности. Кроме того, были предложены более комплексные показатели качества и сходимости сэмплирования.
ИЛИ
Поиск аналога
📕 Список литературы
🖼 Скриншоты
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.