Система распознавания эмоций и аномалий в выражениях лица человека и сгенерированных лиц с помощью методов машинного обучения
|
Введение 4
1. Обзор предметной области 7
1.1. Базовые понятия предметной области 7
1.2. Постановка задачи распознавания лицевых выражений человека 7
1.3. Обзор датасетов для распознавания лицевых выражений 7
1.4. Модели для распознавания лицевых выражений 9
1.4.1. Классические алгоритмы компьютерного зрения 9
1.4.2. Нейросетевые модели 11
1.4.3. EfficientNet v1/v2 13
1.4.4. DAN 15
1.4.5. Другие нейросетевые методы 17
1.5. Модели для генерации изображений 17
1.5.1. Модели, основанные на архитектуре генеративно-состязательных нейросетей 18
1.5.2. DualStyleGan 21
1.6. Задача генерации аватаров 23
1.6.1. Применение генеративных моделей для создания аватаров 23
1.7. Детекция аномалий 24
1.7.1. Архитектура ’’Сиамская модель” 24
1.8. Мотивация работы. Формулировка цели и постановка задач 26
2. Разработка моделей распознавания эмоций и генерации аватаров 28
2.1. Выбор датасета для задачи распознавания лицевых выражений людей 28
2.2. Детали обучения моделей для распознавания лиц людей 28
2.2.1. Предобработка данных 28
2.2.2. EfficientNet 29
2.2.3. DAN 31
2.3. Генерация аватаров с помощью генеративных моделей 34
2.3.1. Выбор целевого стиля для генерации аватаров 34
2.3.2. Технические детали генерации датасета аватаров 35
2.3.3. Примеры несоответствия эмоций исходного изображения и аватара 36
3. Система детектирования аномалий 37
3.1. Подготовка данных и моделей для реализации системы детектирования аномалий 37
3.1.1. Разметка датасета аватаров 37
3.1.2. Дообучение модели распознавания эмоций на изображениях аватаров 38
3.2. Разработка системы детектирования аномалий 38
3.2.1. Первая версия пайплайна 39
3.2.2. Вторая версия пайплайна 41
Список литературы 42
Приложение отсутствует
1. Обзор предметной области 7
1.1. Базовые понятия предметной области 7
1.2. Постановка задачи распознавания лицевых выражений человека 7
1.3. Обзор датасетов для распознавания лицевых выражений 7
1.4. Модели для распознавания лицевых выражений 9
1.4.1. Классические алгоритмы компьютерного зрения 9
1.4.2. Нейросетевые модели 11
1.4.3. EfficientNet v1/v2 13
1.4.4. DAN 15
1.4.5. Другие нейросетевые методы 17
1.5. Модели для генерации изображений 17
1.5.1. Модели, основанные на архитектуре генеративно-состязательных нейросетей 18
1.5.2. DualStyleGan 21
1.6. Задача генерации аватаров 23
1.6.1. Применение генеративных моделей для создания аватаров 23
1.7. Детекция аномалий 24
1.7.1. Архитектура ’’Сиамская модель” 24
1.8. Мотивация работы. Формулировка цели и постановка задач 26
2. Разработка моделей распознавания эмоций и генерации аватаров 28
2.1. Выбор датасета для задачи распознавания лицевых выражений людей 28
2.2. Детали обучения моделей для распознавания лиц людей 28
2.2.1. Предобработка данных 28
2.2.2. EfficientNet 29
2.2.3. DAN 31
2.3. Генерация аватаров с помощью генеративных моделей 34
2.3.1. Выбор целевого стиля для генерации аватаров 34
2.3.2. Технические детали генерации датасета аватаров 35
2.3.3. Примеры несоответствия эмоций исходного изображения и аватара 36
3. Система детектирования аномалий 37
3.1. Подготовка данных и моделей для реализации системы детектирования аномалий 37
3.1.1. Разметка датасета аватаров 37
3.1.2. Дообучение модели распознавания эмоций на изображениях аватаров 38
3.2. Разработка системы детектирования аномалий 38
3.2.1. Первая версия пайплайна 39
3.2.2. Вторая версия пайплайна 41
Список литературы 42
Приложение отсутствует
За последние десятилетия технологические достижения оставили глубокий след на нашем образе жизни. Эти достижения все больше проникают в различные сферы жизни человека. В последнее время одним из особенно актуальных направлений является внедрение машинного обучения и искусственного интеллекта (ИИ) в человеческие области, которые раньше казались недостижимыми для применения компьютерных алгоритмов.
С развитием проектов, связанных с метавселенными - виртуальными пространствами, где все участники наделены аватарами, - искусственный интеллект становится неотъемлемым инструментом для создания гармоничного и плодотворного общения между людьми и виртуальными сущностями. Особенно можно отметить ряд задач, связанных с моделированием внешности человека. Последние годы множество компаний и исследовательских лабораторий работают над созданием метавселенных - виртуальных миров, в которых люди будут иметь возможность взаимодействовать друг с другом с помощью гарнитур виртуальной реальности (VR) и дополненной реальности (AR)1. Внутри метавселенной каждому человеку соответствует аватар - 2D или 3D графическое (цифровое) представление пользователя2. Поэтому, высокий интерес вызывает сфера распознавания эмоций лица человека(FER) на основе глубокого анализа изображений и видео, так как одной из самых важных частей человеческого взаимодействие - это общение. При неправильной трансляции эмоции или выражения человеческого лица его аватара, слова человека могут быть восприняты неправильно.
Объем и количество крупных баз данных по задаче распознавания эмоций значительно расширились за последние два десятилетия RAF-DB [39], Affectnet [2], что привело к значительному улучшению точности распознавания некоторых моделей сверточных нейронных сетей (CNN). Однако, несмотря на недавние выдающиеся результаты, FER до сих пор считается сложной задачей из-за нескольких причин:
• Глобальные факторы. Существующие методы FER не до конца распознают глобальные факторы входных изображений из-за ограничения сверточных локальных рецептивных полей;
• Межклассовое сходство. Несколько категорий выражений часто включают похожие изображения с небольшими различиями между ними;
• Внутриклассовое неравенство. Изображения из той же категории выражения лица могут существенно отличаться друг от друга, например, цвет лица, пол, фон изображения и возраст человека различается в зависимости от экземпляра;
• Чувствительность моделей. Различия в качестве и разрешении изображения могут часто ставить под угрозу эффективность сетей глубокого обучения при использовании без необходимых мер предосторожности. Изображения из наборов данных, которые похожи на изображения из реальной жизни(т the wild) и других наборов данных FER представлены в широком диапазоне с разными размерами изображений. Следовательно, для FER важно обеспечить стабильную производительность в разных масштабах.
Графическое представление человека можно получить с помощью инструментов для рендеринга или нарисовать вручную. Однако это требует навыков и времени, между тем современные методы глубокого обучения позволяют получать высококачественные изображения, уменьшая затраты по времени и также не имея особых требований к навыкам пользователя.
Задача генерации графического представления людей является весьма сложной задачей, так как достаточно тяжело точно передавать детали лица и его выражение, ведь человеческое лицо представляет собой целую систему из множества мимических мышц. В данных момент нет готовых метавселенных, в которых можно было бы сгенерировать готовые аватары по лицу человека и собрать хороший датасет для обучения и улучшения моделей, которые работают с цифровыми представлениями лица человека. Несмотря на это, в настоящее время существуют генеративные нейросетевые модели, которые достаточно успешно справляются с image-to-image генерацией качественных изображений. Такие модели в том числе используются для создания аватаров по исходному изображению человека. Однако они имеют свои достоинства и недостатки в зависимости от используемой архитектуры: разнообразие генерируемых данных, частота дискретизации, скорость генерации и т.д. Поэтому, многие из них могут недостаточно точно передавать детали выражения эмоций. Однако, такие данные могут помочь построить модель, которую в будущем можно будет активно применить в реальных системах.
Целью данной работы является построение системы, которая будет распознавать несоответствия(аномалии) между выражениями лица человека и лица его сгенерированного аватара используя современные методы машинного обучения.
Структура работы
В главе 1 будет описана постановка задачи распознавания лицевых выражений, постановка задачи генерации аватаров для обучения системы и будет рассказано о пайплайне детекции аномалий между эмоциями реальных и сгенерированных лиц. Также, приводится обзор предметной области, датасетов и существующих решений для подобных задач, их сравнение.
В главе 2 будут описаны детали реализации, особенности и применения моделей FER. Будут приведены использующиеся датасеты, гиперпараметры моделей, метрики во время обучения и валидации, сравнение разных версий моделей. Также, будет описана модель для генерации датасета аватаров, необходимого для построения системы детекции аномалий, с примерами сгенерированных лиц.
В главе 3 будут описаны детали реализации системы детекции аномалий, приведены результаты и анализ распознавания.
С развитием проектов, связанных с метавселенными - виртуальными пространствами, где все участники наделены аватарами, - искусственный интеллект становится неотъемлемым инструментом для создания гармоничного и плодотворного общения между людьми и виртуальными сущностями. Особенно можно отметить ряд задач, связанных с моделированием внешности человека. Последние годы множество компаний и исследовательских лабораторий работают над созданием метавселенных - виртуальных миров, в которых люди будут иметь возможность взаимодействовать друг с другом с помощью гарнитур виртуальной реальности (VR) и дополненной реальности (AR)1. Внутри метавселенной каждому человеку соответствует аватар - 2D или 3D графическое (цифровое) представление пользователя2. Поэтому, высокий интерес вызывает сфера распознавания эмоций лица человека(FER) на основе глубокого анализа изображений и видео, так как одной из самых важных частей человеческого взаимодействие - это общение. При неправильной трансляции эмоции или выражения человеческого лица его аватара, слова человека могут быть восприняты неправильно.
Объем и количество крупных баз данных по задаче распознавания эмоций значительно расширились за последние два десятилетия RAF-DB [39], Affectnet [2], что привело к значительному улучшению точности распознавания некоторых моделей сверточных нейронных сетей (CNN). Однако, несмотря на недавние выдающиеся результаты, FER до сих пор считается сложной задачей из-за нескольких причин:
• Глобальные факторы. Существующие методы FER не до конца распознают глобальные факторы входных изображений из-за ограничения сверточных локальных рецептивных полей;
• Межклассовое сходство. Несколько категорий выражений часто включают похожие изображения с небольшими различиями между ними;
• Внутриклассовое неравенство. Изображения из той же категории выражения лица могут существенно отличаться друг от друга, например, цвет лица, пол, фон изображения и возраст человека различается в зависимости от экземпляра;
• Чувствительность моделей. Различия в качестве и разрешении изображения могут часто ставить под угрозу эффективность сетей глубокого обучения при использовании без необходимых мер предосторожности. Изображения из наборов данных, которые похожи на изображения из реальной жизни(т the wild) и других наборов данных FER представлены в широком диапазоне с разными размерами изображений. Следовательно, для FER важно обеспечить стабильную производительность в разных масштабах.
Графическое представление человека можно получить с помощью инструментов для рендеринга или нарисовать вручную. Однако это требует навыков и времени, между тем современные методы глубокого обучения позволяют получать высококачественные изображения, уменьшая затраты по времени и также не имея особых требований к навыкам пользователя.
Задача генерации графического представления людей является весьма сложной задачей, так как достаточно тяжело точно передавать детали лица и его выражение, ведь человеческое лицо представляет собой целую систему из множества мимических мышц. В данных момент нет готовых метавселенных, в которых можно было бы сгенерировать готовые аватары по лицу человека и собрать хороший датасет для обучения и улучшения моделей, которые работают с цифровыми представлениями лица человека. Несмотря на это, в настоящее время существуют генеративные нейросетевые модели, которые достаточно успешно справляются с image-to-image генерацией качественных изображений. Такие модели в том числе используются для создания аватаров по исходному изображению человека. Однако они имеют свои достоинства и недостатки в зависимости от используемой архитектуры: разнообразие генерируемых данных, частота дискретизации, скорость генерации и т.д. Поэтому, многие из них могут недостаточно точно передавать детали выражения эмоций. Однако, такие данные могут помочь построить модель, которую в будущем можно будет активно применить в реальных системах.
Целью данной работы является построение системы, которая будет распознавать несоответствия(аномалии) между выражениями лица человека и лица его сгенерированного аватара используя современные методы машинного обучения.
Структура работы
В главе 1 будет описана постановка задачи распознавания лицевых выражений, постановка задачи генерации аватаров для обучения системы и будет рассказано о пайплайне детекции аномалий между эмоциями реальных и сгенерированных лиц. Также, приводится обзор предметной области, датасетов и существующих решений для подобных задач, их сравнение.
В главе 2 будут описаны детали реализации, особенности и применения моделей FER. Будут приведены использующиеся датасеты, гиперпараметры моделей, метрики во время обучения и валидации, сравнение разных версий моделей. Также, будет описана модель для генерации датасета аватаров, необходимого для построения системы детекции аномалий, с примерами сгенерированных лиц.
В главе 3 будут описаны детали реализации системы детекции аномалий, приведены результаты и анализ распознавания.
В работе описаны задачи распознавания лицевых выражений, генерации аватаров для обучения информационной системы, выявления аномалий между эмоциями реальных и сгенерированных лиц. Изучены существующие решения для подобных задач, проведён их сравнительный анализ.
Отдельная глава посвящена описанию нюансов реализации и применения моделей FER. В ней приведены использующиеся датасеты, гиперпараметры моделей, метрики во время обучения и валидации, итоги сравнения разных версий моделей.
Представлена модель для генерации датасета аватаров, необходимого для построения системы детекции аномалий, с примерами сгенерированных лиц. Описаны детали реализации системы определения аномалий, приведены результаты и аналитика распознавания.
Отдельная глава посвящена описанию нюансов реализации и применения моделей FER. В ней приведены использующиеся датасеты, гиперпараметры моделей, метрики во время обучения и валидации, итоги сравнения разных версий моделей.
Представлена модель для генерации датасета аватаров, необходимого для построения системы детекции аномалий, с примерами сгенерированных лиц. Описаны детали реализации системы определения аномалий, приведены результаты и аналитика распознавания.
Подобные работы
- Система распознавания эмоций и аномалий в
выражениях лица человека и сгенерированных лиц с помощью методов машинного обучения
Бакалаврская работа, математика. Язык работы: Русский. Цена: 4640 р. Год сдачи: 2023