ВВЕДЕНИЕ 4
Цели и задачи 6
Обзор литературы 7
Глава 1 Обзор существующих систем распознавания эмоций 8
1.1 Программа FaceReader 8
1.2 Microsoft Oxford Project Emotion Recognition 9
1.3 EmoDetect 10
1.4 MMER_FEASy 11
Глава 2 Разработка нейронной сети 12
2.1 Набор данных 12
2.1.1 Предварительная обработка данных FER+ 16
2.2 Основные метрики для оценки качества модели 16
2.3 Выбор архитектуры 19
2.3.1 Resnet50 19
2.3.2 GoogLeNet 21
2.3.3 VGG16 22
2.4 Архитектура и особенности нейронных сетей 23
2.4.1 Использование обратных вызовов (callbacks) 29
2.5 Подходы к обучению 30
2.5.1 Голосование по большинству (Majority voting) 30
2.5.2 Кросс-энтропийные потери (Cross-entropy loss) 31
2.6 Сравнение результатов для FER и FERPlus 32
2.7 Сравнение результатов с существующими сетями 36
2.8 Выводы 37
Глава 3 Практическая часть 38
3.1 Описание алгоритма распознавания эмоций 38
3.2 Интерфейс программы для распознавания эмоций 40
3.3 Формирование отчета по результатам обработки видеофайла 43
ЗАКЛЮЧЕНИЕ 46
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ, УСЛОВНЫХ ОБОЗНАЧЕНИЙ, СИМВОЛОВ, ЕДИНИЦ И ТЕРМИНОВ 47
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 48
ПРИЛОЖЕНИЕ А 51
ПРИЛОЖЕНИЕ Б 52
Компьютерное зрение (Computer Vision, CV) - это область искусственного интеллекта, которая помогает компьютерам извлекать важную информацию из различных видов входных данных (видео, текст или изображения) для дальнейшего их анализа. В настоящее время существует большое количество приложений, которые используют компьютерное зрение, такие как распознавание лиц, автономные транспортные средства, медицинская диагностика и т.д. В этой работе будет рассмотрено одно из интересных приложений CV, а именно распознавание эмоций человека.
Что же такое эмоция? Эмоция - это психическое состояние, которое выражает отношение человека к окружающему миру и самому себе. Эмоции являются важным атрибутом в жизни человека и межличностном общении. Они могут быть выражены различными способами: позой, поведением, голосом и вегетативными реакциями (пульс, артериальное давление, частота дыхания) [1]. Однако, наибольшей выразительностью обладает лицо человека. Таким образом, в данной работе определение эмоционального состояния человека будет происходить по выражению его лица.
В настоящее время сфера применения распознавания эмоций достаточная большая. Ниже приведены некоторые направления, в которых системы, определяющие эмоции людей, уже приносят пользу [2]:
1) Безопасность
Распознаваний эмоций используют для предотвращения насилия - как в общественных местах, так и дома.
2) Подбор кадров
Система позволяет оценить на сколько кандидат заинтересован в должности, анализируя интонацию, ключевые слова и мимику человека на этапе первичного отбора.
3) Клиентоориентированность
Камеры, оснащенные компьютерным зрением, сравнивают эмоции людей на входе и на выходе из заведения для того, чтобы определить удовлетворенность посетителей. Если показатель упадет ниже некоторого уровня, сотрудники получат информацию об этом. Фото посетителей при этом не сохраняются.
4) Социализация особых детей
Данные системы используют для помощи «особым» детям понимать чувства окружающих. Система устанавливается на специальные очки, и, если с ребенком оказывается другой человек, очки подсказывают эмоции его собеседника.
Также одним из направлений, который пользуется популярностью, является определение того, как потребители реагируют на упаковку товара и рекламу той или иной организации. Это помогает компаниям оценить качество продукции, удовлетворенность людей и понять необходимо ли что- то менять. Вариант применения системы распознавания эмоций в данной области и будет представлен в работе.
В настоящее время системы распознавания эмоций далеки от совершенства. Несмотря на то, что они и могут обнаруживать эмоции, все же есть проблемы. Чаще всего проблемы связаны с зашумленным фоном на изображении, качеством освещения, наличием бороды или очков на лице и тд. Также существующие системы менее точны в распознавании эмоции людей определенного пола, возраста, расы.
В данной работе разработана нейросетевая модель, которая была построена с использованием библиотеки TensorFlow. Была проведена работа с Google Colab над созданием модели, поскольку она предоставляет GPU и TPU для ускорения обучения модели. Для иллюстрации эффективности работы этой модели разработан алгоритм распознавания эмоций в реальном времени с помощью библиотеки OpenCV. Кроме того, есть возможность распознавать эмоции как на изображениях, так и по видео.
Цели и задачи
Основной целью работы является разработка алгоритма, определяющего эмоциональное состояние человека на основе его выражения лица, представленной во входном видеопотоке/изображении.
Основные задачи работы:
1) Рассмотреть существующие системы распознавания эмоционального состояния человека и выявить их достоинства и недостатки.
2) Разработка нейросетевой модели для решения задачи распознавания эмоций.
3) Реализация и описание алгоритма распознавания эмоций для интеллектуальной системы.
4) Разработка интерфейса программы для распознавания эмоционального состояния человека.
5) Реализация компонента, который будет формировать отчет в виде excel-файл для сохранения результатов обработки видеофайла.
В выпускной квалификационной работе:
• были рассмотрены существующие системы распознавания эмоционального состояния человека и выявлены их достоинства и недостатки;
• разработана нейросетевая модель для решения задачи распознавания эмоций;
• реализован и описан алгоритм распознавания эмоций;
• разработан интерфейс программы для распознавания эмоционального состояния человека;
• реализован компонент, который позволяет формировать отчет в виде excel-файл для сохранения результатов обработки видеофайла.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
