ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ, СОКРАЩЕНИЯ 4
ВВЕДЕНИЕ 6
1. ОБЗОР СУЩЕСТВУЮЩИХ СИСТЕМ И МЕТОДОВ РАСПОЗНАВАНИЯ ЭМОЦИЙ 9
1.1. Существующие системы распознавания эмоций 9
1.1.1. Affectiva SDK&API 9
1.1.2. FaceReader Noldus Information T echnology 10
1.1.3. Microsoft Cognitive Services Emotion API 11
1.2. Существующие методы распознавания эмоций 12
1.2.1. Статические методы распознавания 13
1.2.1.1. Метод главных компонент (PCA) 13
1.2.1.2. Линейный дискриминантный анализ (LDA). Лица Фишера 14
1.2.2. Скрытые Марковские модели 15
1.2.3. Сверточные нейронные сети 16
2. ОЦЕНКА ЭФФЕКТИВНОСТИ МЕТОДОВ РАСПОЗНАВАНИЯ ЭМОЦИЙ 18
2.1. Численные метрики качества 18
2.1.1. Доля правильных ответов 19
2.1.2. Точность и полнота 19
2.1.3. F-мера 20
2.2. Cравнение моделей распознавания эмоций с помощью численных метрик качества 20
3. РЕАЛИЗАЦИЯ СИСТЕМЫ РАСПОЗНАВАНИЯ ЭМОЦИЙ 22
3.1. Используемые технологии 22
3.2. Описание системы 23
3.3. Сущности системы 24
3.4. Добавление видеоматериалов для распознавания эмоций 26
3.5. Реализация модуля обнаружения лиц 27
3.6. Реализация модуля распознавания эмоций 28
3.7. Реализация модуля обработки результатов распознавания 31
4. АПРОБАЦИЯ СИСТЕМЫ РАСПОЗНАВАНИЯ ЭМОЦИЙ 34
4.1. Определение точности распознавания эмоций 34
4.2. Апробация работы системы на реальных данных 36
ЗАКЛЮЧЕНИЕ 39
СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ 40
ПРИЛОЖЕНИЕ А 43
ПРИЛОЖЕНИЕ Б 45
ПРИЛОЖЕНИЕ В 46
ПРИЛОЖЕНИЕ Г 47
ПРИЛОЖЕНИЕ Д 48


Купить

Человек выражает свое отношение к внешнему, окружающему его миру через эмоции. Эмоции описывают чувства людей в различных ситуациях. Исследования показали, что человек может с помощью мимических выражений невербально проявлять 7 базовых эмоций: радость, грусть, страх, удивление, отвращение, стыд, гнев (Модель базовых эмоций П. Экмана) [1]. Человеческое лицо является выдающимся и спонтанным каналом общения человека и человека: он хмурит брови, когда рассержен, закрывает глаза, когда испуган, и улыбается, когда испытывает радость. В процессе общения человек интуитивно по мимике определяет, какие эмоции испытывает его собеседник на данный момент. Но возможно ли научить компьютер определять, какие эмоции испытывает человек при взаимодействии с ним?
Эффективные вычисления получили огромный исследовательский интерес в области развития взаимодействия компьютера и человека за последние десятилетия. Распознавая эмоции, интеллектуальная компьютерная система может обеспечить более дружественные и эффективные средства общения с пользователями в различных областях: медицине, образовании, маркетинге, интеллектуальных автомобильных системах, интерактивных развлечениях и пр.
На сегодняшний день разработано множество алгоритмов и систем для распознавания эмоций по лицам на изображениях и видеофайлах, которые, как правило, основаны на известных методах машинного обучения. Каждая эмоция соответствует уникальному выражению лица, характеристики которого служат входом в систему классификации, а выход дает воспринимаемое машиной состояние эмоций. Системы распознавания активно используются в прикладных задачах, однако многие проблемы все еще остаются. Окклюзия и световые искажения, а также условия освещения могут изменить общий вид лица, тем самым алгоритмы не могут определить выражения лиц.
Распознавание эмоций широко применимо и в сфере образования. В настоящее время не существует действенных способов определения отношения студентов к образовательному процессу. На лекциях, семинарах и конференциях с большим количеством слушателей (более 50 человек) преподавателю невозможно самостоятельно определить вовлеченность участников в процесс обучения. Чаще всего преподаватель оценивает реакцию только тех студентов, с которыми он находит зрительный контакт. Как правило, это студенты, сидящие в первых рядах аудитории. Таким образом, преподавателю невозможно составить объективную эмоциональную картину, ориентируясь только на свои наблюдения, и, следовательно, невозможно определить эффективность излагаемого им материала. Тем самым имеется необходимость автоматизировать возможность определять эмоциональное состояние студентов во время академических и научно-популярных занятий.
Целью работы является разработка системы, позволяющей распознавать 7 базовых эмоций студентов с целью мониторинга их эмоционального отношения к преподаваемому материалу для повышения качества и эффективности занятий, а также своевременного реагирования в случаях выявления неблагоприятной эмоциональной обстановки.
Для достижения обозначенной цели служат следующие задачи:
1. Проведение анализа существующих методов и систем распознавания эмоций;
2. Обоснование максимально эффективного метода и алгоритма распознавания эмоций;
3. Выбор программных компонентов для реализации системы;
4. Разработка системы распознавания эмоций по видеоданным;
5. Апробация системы на собранных данных.
Первая глава данной работы содержит обзор наиболее известных на сегодняшний день существующих систем распознавания эмоций. Кроме того, в данной главе описаны существующие методы распознавания эмоций. В
качестве основы для изучения способов определения эмоций послужили научные труды и публикации известных отечественных и зарубежных экспертов в данной области.
Во второй главе выпускной квалификационной работы рассмотрены численные метрики качества методов распознавания эмоций, произведен сравнительный анализ описанных в первой главе методов и выбран наиболее эффективный алгоритм.
Третья глава содержит информацию об архитектуре, технологиях разработки и технической реализации системы.
В четвертой главе представлены результаты апробации разработанной системы определения эмоций на собранных данных и сформулированы выводы по работе системы.

Купить