Объяснимый искусственный интеллект для распознавания речи
|
Введение 3
Постановка задачи 5
Обзор литературы 6
Глава 1. Распознавание эмоций в аудиоданных с использованием глубоких нейронных сетей 8
1.1. Предварительная обработка 8
1.2. Выделение признаков 10
Глава 2. Нейронная сеть 13
2.1. Сверточная нейронная сеть 13
2.2. Предсказание на реальных данных 19
Глава 3.XAI алгоритмы 21
3.1. Обзор популярных методов XAI 21
3.1.1 Внутренне интерпретируемые методы 23
3.1.2 Модельно-агностические объяснения 25
3.1.3 Объяснения на основе примеров 28
3.2. SHAP 30
3.3. LIME 33
3.4. Результаты работы XAI методов 38
Выводы 50
Заключение 51
Список литературы 53
Приложение 57
Постановка задачи 5
Обзор литературы 6
Глава 1. Распознавание эмоций в аудиоданных с использованием глубоких нейронных сетей 8
1.1. Предварительная обработка 8
1.2. Выделение признаков 10
Глава 2. Нейронная сеть 13
2.1. Сверточная нейронная сеть 13
2.2. Предсказание на реальных данных 19
Глава 3.XAI алгоритмы 21
3.1. Обзор популярных методов XAI 21
3.1.1 Внутренне интерпретируемые методы 23
3.1.2 Модельно-агностические объяснения 25
3.1.3 Объяснения на основе примеров 28
3.2. SHAP 30
3.3. LIME 33
3.4. Результаты работы XAI методов 38
Выводы 50
Заключение 51
Список литературы 53
Приложение 57
В настоящее время искусственный интеллект все чаще применяется для извлечения пользы из различных задач машинного обучения. В последние годы такие системы столкнулись с проблемой потери "прозрачности" и понятности, в особенности для конечных пользователей. В этой работе будут исследованы методы объяснения искусственного интеллекта на основе обученной модели для распознавания речи.
XAI или объяснимый искусственный интеллект, это область ИИ, которая имеет набор инструментов, алгоритмов и методов, которые могут генерировать интуитивно понятные и интерпретируемые объяснения для человека.
Глубокие нейронные сети используются в системах которые напрямую влияют на качество жизни человека. Примерами тому являются здравоохранение и беспилотный транспорт. Закрытые системы принятия решений, называются черными ящиками, и на данный момент не пользуются доверием у пользователей.[1]
Интерпретируемость глубоких нейронных сетей, область машинного обучения которая появилась совсем недавно. Результат ее работы нацелен на лучшее понимание того как модели проводят отбор признаков, а также получают решения своих задач[2].
Ежегодно публикуется несколько статей-обзоров, с последними достижениями в этой области, подробнее остановимся на "Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey"[1]. Ключевыми этапами развития для таких популярных алгоритмов, как LIME и SHAP обозначены усовершенствования классических моделей и применение существующих методов, в новых, неисследованных областях. Примерами новых интерпретаций алгоритмов, могут служить: SLIME, QLIME, KernelSHAP и др.
Основная сфера исследования и применения алгоритмов объяснения моделей машинного обучения, это медицина. Алгоритмы отлично себя проявили во многих задачах от работы с изображениями до обработки естественного языка.[3] В этом исследовании, объединены последние тенденции XAI и применение его для распознавания эмоций, которые в свою очередь могут использоваться в медицине для помощи в постановке диагноза для людей страдающих психическими расстройствами.
Для проведения исследования используется два набора данных. Первый включает в себя аудиозаписи актеров, разных полов: CREMA-D[4], RAVDES[5], SAVEE[6], TESS[7]. Второй DAIC-WOZ Database Description содержит клинические интервью, предназначенные для поддержки диагностики психологических дистресс-состояний, таких как тревога, депрессия и посттравматическое стрессовое расстройство[8].
Свидетельством того, что это направление набирает обороты, можно связать с запуском первой глобальной конференции, посвященной исключительно этой развивающейся дисциплине, Международной совместной конференции по искусственному интеллекту: семинар по объяснимому искусственному интеллекту (XAI)[9].
Европейский Союз ввел право на объяснение в Общем праве на защиту данных (GDPR) как попытку справиться с потенциальными проблемами, вытекающими из растущей важности алгоритмов. В Соединенных Штатах страховые компании должны быть в состоянии объяснить свои решения о ставках.[1] Другим примером является, использование XAI в колл-центре для классификации звонков в соответствии с эмоциями, в последствии это применяется в качестве параметра производительности для анализа разговоров, таким образом идентифицируя неудовлетворенного клиента, удовлетворенность клиентов и т. д. Применение XAI способно оказать помощь компаниям в улучшении их услуг. Он также может быть использован в бортовой системе автомобиля, основанной на информации о психическом состоянии водителя, которая может быть предоставлена системе для инициирования его/ее безопасности, предотвращающей несчастные случаи.[2]
Постановка задачи
Исследование можно разделить на две части:
1) решение задачи классификации распознавания речевых эмоций;
2) использование алгоритма XAI для объяснения результатов.
В первой части используются наборы аудиовизуальных данных: Crema- D, Ravdess, Savee, Tess. Строим волновые диаграммы и спектограммы, извлекаем признаки и строим модель нейронной сети.
Вторая часть включает объяснение результатов алгоритмов XAI и при-ведение результатов.
Обзор литературы
Работа началась со знакомства с популярным предшественником объяснимого ИИ, рекомендательными системами. Популярные в 70-80 гг. прошлого века, они включали в себя механизм вывода и базу знаний. Область медицинской диагностики, ощутила на себе в числе первых, где они были опробованы. Ранней версией экспертной системы была MYCIN, разработанная в 70х в Стэнфордском университете. MYCIN разрабатывалась для работы с бактериями, а именно диагностировались те, что вызывают тяжелые болезни, например, менингит. В том числе изучалось количество необходимых антибиотиков, для благоприятного исхода болезни. Реализация была простой и включала в себя ответы «Да» или «Нет» на вопросы медиков, в конце выдавалась рекомендация по дальнейшим действиям. Система была описана в работе "Rulebased Expert System - The MYCIN Experiments of the Stanford Heuristic Programming Project". [10] Одним из критериев новых систем подразумевалась понятность решений для профессионалов своей области, а не только для IT специалистов.
Например, применение интерпретируемости в медицинских исследованиях, улучшит работу многих специалистов:
1) практикующие врачи смогут впоследствии использовать эти методы для рекомендаций в постановке диагнозов;
2) понимание решений ИИ, впоследствии обернется большим количеством идей для реализации в медицинской практике.[11]
Открытыми остаются вопросы: «Кто несет ответственность за неправильный прогноз и лечение?». Тот же вопрос задает автор работы "“Why Should I Trust You?” Explaining the Predictions of Any Classifier"[12]. В качестве пути решения, автор предлагает побороть недоверие к модели или прогнозу. В роли инструментов для объяснения результатов, алгоритмы XAI, дающие понятную интерпретацию работы модели.
Для анализа полученных результатов будут использованы алгоритмы SHAP и LIME. На их основе в обученной модели распознавания речи будут определены признаки объясняющие тот или иной результат. Методология работы алгоритмов была описана в работе «Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey»[1], в ней же представлены перспективы развития отрасли. На основе проделанной работы своих коллег, автор заключает, что будущее за расширением классических методов и применением их в новых отраслях.
Важность этой сферы можно оценить по нарастающему интересу к ней ученого сообщества, которое организует конференции посвященные XAI.[9]
Раскрываемая тема, касается сложной природы объяснения результатов обучения нейронной сети. Поэтому регулированием использования ИИ в различных сферах обеспокоились мировые технологические лидеры: страны ЕС и США. Таким образом они вводят законы включающие «право на объяснение».[1]. Эти меры позволяют контролировать справедливое использование алгоритмов. Подобные решения улучшают не только качество жизни людей, но и обеспечивают их безопасность.
XAI или объяснимый искусственный интеллект, это область ИИ, которая имеет набор инструментов, алгоритмов и методов, которые могут генерировать интуитивно понятные и интерпретируемые объяснения для человека.
Глубокие нейронные сети используются в системах которые напрямую влияют на качество жизни человека. Примерами тому являются здравоохранение и беспилотный транспорт. Закрытые системы принятия решений, называются черными ящиками, и на данный момент не пользуются доверием у пользователей.[1]
Интерпретируемость глубоких нейронных сетей, область машинного обучения которая появилась совсем недавно. Результат ее работы нацелен на лучшее понимание того как модели проводят отбор признаков, а также получают решения своих задач[2].
Ежегодно публикуется несколько статей-обзоров, с последними достижениями в этой области, подробнее остановимся на "Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey"[1]. Ключевыми этапами развития для таких популярных алгоритмов, как LIME и SHAP обозначены усовершенствования классических моделей и применение существующих методов, в новых, неисследованных областях. Примерами новых интерпретаций алгоритмов, могут служить: SLIME, QLIME, KernelSHAP и др.
Основная сфера исследования и применения алгоритмов объяснения моделей машинного обучения, это медицина. Алгоритмы отлично себя проявили во многих задачах от работы с изображениями до обработки естественного языка.[3] В этом исследовании, объединены последние тенденции XAI и применение его для распознавания эмоций, которые в свою очередь могут использоваться в медицине для помощи в постановке диагноза для людей страдающих психическими расстройствами.
Для проведения исследования используется два набора данных. Первый включает в себя аудиозаписи актеров, разных полов: CREMA-D[4], RAVDES[5], SAVEE[6], TESS[7]. Второй DAIC-WOZ Database Description содержит клинические интервью, предназначенные для поддержки диагностики психологических дистресс-состояний, таких как тревога, депрессия и посттравматическое стрессовое расстройство[8].
Свидетельством того, что это направление набирает обороты, можно связать с запуском первой глобальной конференции, посвященной исключительно этой развивающейся дисциплине, Международной совместной конференции по искусственному интеллекту: семинар по объяснимому искусственному интеллекту (XAI)[9].
Европейский Союз ввел право на объяснение в Общем праве на защиту данных (GDPR) как попытку справиться с потенциальными проблемами, вытекающими из растущей важности алгоритмов. В Соединенных Штатах страховые компании должны быть в состоянии объяснить свои решения о ставках.[1] Другим примером является, использование XAI в колл-центре для классификации звонков в соответствии с эмоциями, в последствии это применяется в качестве параметра производительности для анализа разговоров, таким образом идентифицируя неудовлетворенного клиента, удовлетворенность клиентов и т. д. Применение XAI способно оказать помощь компаниям в улучшении их услуг. Он также может быть использован в бортовой системе автомобиля, основанной на информации о психическом состоянии водителя, которая может быть предоставлена системе для инициирования его/ее безопасности, предотвращающей несчастные случаи.[2]
Постановка задачи
Исследование можно разделить на две части:
1) решение задачи классификации распознавания речевых эмоций;
2) использование алгоритма XAI для объяснения результатов.
В первой части используются наборы аудиовизуальных данных: Crema- D, Ravdess, Savee, Tess. Строим волновые диаграммы и спектограммы, извлекаем признаки и строим модель нейронной сети.
Вторая часть включает объяснение результатов алгоритмов XAI и при-ведение результатов.
Обзор литературы
Работа началась со знакомства с популярным предшественником объяснимого ИИ, рекомендательными системами. Популярные в 70-80 гг. прошлого века, они включали в себя механизм вывода и базу знаний. Область медицинской диагностики, ощутила на себе в числе первых, где они были опробованы. Ранней версией экспертной системы была MYCIN, разработанная в 70х в Стэнфордском университете. MYCIN разрабатывалась для работы с бактериями, а именно диагностировались те, что вызывают тяжелые болезни, например, менингит. В том числе изучалось количество необходимых антибиотиков, для благоприятного исхода болезни. Реализация была простой и включала в себя ответы «Да» или «Нет» на вопросы медиков, в конце выдавалась рекомендация по дальнейшим действиям. Система была описана в работе "Rulebased Expert System - The MYCIN Experiments of the Stanford Heuristic Programming Project". [10] Одним из критериев новых систем подразумевалась понятность решений для профессионалов своей области, а не только для IT специалистов.
Например, применение интерпретируемости в медицинских исследованиях, улучшит работу многих специалистов:
1) практикующие врачи смогут впоследствии использовать эти методы для рекомендаций в постановке диагнозов;
2) понимание решений ИИ, впоследствии обернется большим количеством идей для реализации в медицинской практике.[11]
Открытыми остаются вопросы: «Кто несет ответственность за неправильный прогноз и лечение?». Тот же вопрос задает автор работы "“Why Should I Trust You?” Explaining the Predictions of Any Classifier"[12]. В качестве пути решения, автор предлагает побороть недоверие к модели или прогнозу. В роли инструментов для объяснения результатов, алгоритмы XAI, дающие понятную интерпретацию работы модели.
Для анализа полученных результатов будут использованы алгоритмы SHAP и LIME. На их основе в обученной модели распознавания речи будут определены признаки объясняющие тот или иной результат. Методология работы алгоритмов была описана в работе «Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey»[1], в ней же представлены перспективы развития отрасли. На основе проделанной работы своих коллег, автор заключает, что будущее за расширением классических методов и применением их в новых отраслях.
Важность этой сферы можно оценить по нарастающему интересу к ней ученого сообщества, которое организует конференции посвященные XAI.[9]
Раскрываемая тема, касается сложной природы объяснения результатов обучения нейронной сети. Поэтому регулированием использования ИИ в различных сферах обеспокоились мировые технологические лидеры: страны ЕС и США. Таким образом они вводят законы включающие «право на объяснение».[1]. Эти меры позволяют контролировать справедливое использование алгоритмов. Подобные решения улучшают не только качество жизни людей, но и обеспечивают их безопасность.
Построение моделей и умение делать правильные предсказания являются важнейшими задачами современного мира. В долгосрочной перспективе нынешние инициативы по искусственному интеллекту состоят в том, чтобы внести свой вклад в разработку, проектирование и внедрение ориентированных на человека систем ИИ. Агенты которых сотрудничали бы с человеком интерпретируемым и объяснимым образом, чтобы обеспечить принятие справедливых решений, а также их прозрачность. Для достижения этой цели, одними из инструментов реализации предлагаются алгоритмы XAI, а именно SHAP и LIME. Предполагаемая предметная область для использования инструмента медицинская диагностика.
Первая глава посвящена обзору наборов аудиоданных и выделению признаков из них.
Вторая глава описывает общую структуру работы нейронной сети
Третья глава формализует методы XAI, далее демонстрируется практическая часть применения двух алгоритмов объяснения SHAP и LIME.
LIME - отличный инструмент для объяснения того, что делают классификаторы (или модели) машинного обучения. Он не зависит от модели, использует простые и понятные идеи и не требует больших усилий для запуска. Как всегда, даже при использовании LIME важно правильно интерпретировать вывод.
SHAP - подходит для понимания любых моделей машинного обучения, а также имеет несколько других плюсов, например, может объяснить как индивидуальные результаты, так и общее решение, а также имеет хорошую теоретическую основу из теории игр.
На пути к справедливым и прозрачным моделям, основанным на ИИ, остается много открытых вопросов, например как оценка рисков, избегание алгоритмических и социальных предубеждений. Алгоритмы объяснимого ИИ должны нести ответственность перед заинтересованными сторонами за свое решение, а также оно должно подчиняться анализу, в котором должна быть понятна степень прозрачности алгоритма.
Объяснимые методы ИИ также могут быть использованы для выявления потенциальных рисков, например проверка модели на справедливость.
Будущее взаимодействие между людьми и машинами имеет важное значение, для адаптивных объяснимых моделей важно участие опытных исследователей из предметной области. Коллективный опыт знания из раз-личных областей (например, здравоохранение, финансы, медицина, без-опасность, оборона) могут способствовать дальнейшему развитию исследований ИИ, ориентированных на человека. Таким образом, существует необходимость в растущем интересе к междисциплинарным исследованиям для продвижения ориентированного на человека искусственного интеллекта, а также XAI в критически важных исследованиях для различных областей.
Первая глава посвящена обзору наборов аудиоданных и выделению признаков из них.
Вторая глава описывает общую структуру работы нейронной сети
Третья глава формализует методы XAI, далее демонстрируется практическая часть применения двух алгоритмов объяснения SHAP и LIME.
LIME - отличный инструмент для объяснения того, что делают классификаторы (или модели) машинного обучения. Он не зависит от модели, использует простые и понятные идеи и не требует больших усилий для запуска. Как всегда, даже при использовании LIME важно правильно интерпретировать вывод.
SHAP - подходит для понимания любых моделей машинного обучения, а также имеет несколько других плюсов, например, может объяснить как индивидуальные результаты, так и общее решение, а также имеет хорошую теоретическую основу из теории игр.
На пути к справедливым и прозрачным моделям, основанным на ИИ, остается много открытых вопросов, например как оценка рисков, избегание алгоритмических и социальных предубеждений. Алгоритмы объяснимого ИИ должны нести ответственность перед заинтересованными сторонами за свое решение, а также оно должно подчиняться анализу, в котором должна быть понятна степень прозрачности алгоритма.
Объяснимые методы ИИ также могут быть использованы для выявления потенциальных рисков, например проверка модели на справедливость.
Будущее взаимодействие между людьми и машинами имеет важное значение, для адаптивных объяснимых моделей важно участие опытных исследователей из предметной области. Коллективный опыт знания из раз-личных областей (например, здравоохранение, финансы, медицина, без-опасность, оборона) могут способствовать дальнейшему развитию исследований ИИ, ориентированных на человека. Таким образом, существует необходимость в растущем интересе к междисциплинарным исследованиям для продвижения ориентированного на человека искусственного интеллекта, а также XAI в критически важных исследованиях для различных областей.
Подобные работы
- Философская сущность информационного подхода
Диссертация , философия. Язык работы: Русский. Цена: 500 р. Год сдачи: 2001