Помощь студентам в учебе
Система видео- анализа эмоционального состояния студентов и их распределение на протяжении семестра (на примере ИТИС КФУ)
|
Стр.
Введение 4
Глава 1. Обзор существующих методов и систем распознавания эмоций 7
1.1 Обзор существующих систем распознавания эмоций 7
1.1.1 Система FaceReader 7
1.1.2 Система EmoDetect 8
1.1.3 Система FacesSecurity 10
1.1.4 Система Microsoft Oxford Project Emotions Recognition 12
1.1.5 eMotionSoftware 12
1.1.6 MMER_FEASy 13
1.2 Обзор существующих методов распознавания эмоций 14
1.2.1 Метод главных компонентов 14
1.2.2 Метод Виолы-Джонса 16
1.2.3 Сравнение шаблонов 16
1.2.4 Нейронная сеть Хопфилда 17
1.3 Вывод по главе 1 18
Глава 2. Комбинированный метод распознавания эмоций 19
2.1 Метод на основе локализации ключевых точек на лице 19
2.2 Метод на основе информации о текстуре 24
2.3 Алгоритм на основе геометрического анализа двигательных
единиц лица 25
2.4 Классификация эмоций 30
2.5 Вывод по главе 2 31
Глава 3. Структура системы 32
3.1 Описание структуры программного обеспечения 32
3.2 Вывод по главе 3 34
Глава 4. Экспериментальная часть 35
4.1 Тестирование точности распознавания системы
MSEmotionAPI и системы на основе комбинированного метода 35
4.2 Видео-анализ эмоционального состояния студентов, на
протяжении семестра, на примере ИТИС КФУ 39
Заключение 42
Список литературы 43
Приложение А 47
Приложение Б 48
Введение 4
Глава 1. Обзор существующих методов и систем распознавания эмоций 7
1.1 Обзор существующих систем распознавания эмоций 7
1.1.1 Система FaceReader 7
1.1.2 Система EmoDetect 8
1.1.3 Система FacesSecurity 10
1.1.4 Система Microsoft Oxford Project Emotions Recognition 12
1.1.5 eMotionSoftware 12
1.1.6 MMER_FEASy 13
1.2 Обзор существующих методов распознавания эмоций 14
1.2.1 Метод главных компонентов 14
1.2.2 Метод Виолы-Джонса 16
1.2.3 Сравнение шаблонов 16
1.2.4 Нейронная сеть Хопфилда 17
1.3 Вывод по главе 1 18
Глава 2. Комбинированный метод распознавания эмоций 19
2.1 Метод на основе локализации ключевых точек на лице 19
2.2 Метод на основе информации о текстуре 24
2.3 Алгоритм на основе геометрического анализа двигательных
единиц лица 25
2.4 Классификация эмоций 30
2.5 Вывод по главе 2 31
Глава 3. Структура системы 32
3.1 Описание структуры программного обеспечения 32
3.2 Вывод по главе 3 34
Глава 4. Экспериментальная часть 35
4.1 Тестирование точности распознавания системы
MSEmotionAPI и системы на основе комбинированного метода 35
4.2 Видео-анализ эмоционального состояния студентов, на
протяжении семестра, на примере ИТИС КФУ 39
Заключение 42
Список литературы 43
Приложение А 47
Приложение Б 48
Общение между людьми происходит каждый день, и процесс общения не всегда бывает продуктивным. В случае переговоров очень часто согласие, выраженное на словах, не приводит к желаемому решению сторонами. В ходе определенных исследований было установлено, что при личном общении двух людей лишь около 30 процент информации передается вербально, большая часть информации передается невербально - мимикой, жестами, позами и т.д. Также было установлено, что выражения базовых эмоций на лице человека не зависят от половой, расовой, культурной или возрастной принадлежности человека. Эти данные позволяют поставить задачу интеллектуализации системы распознавания эмоций и настоящих намерений человека по его внешнему образу и поведению в процессе коммуникации. Это очень актуально как для переговорного процесса в различных сферах деятельности людей, так и для служб безопасности, а также в повседневном общении.
В настоящий момент исследователями принято, что люди могут выражать семь базовых эмоций: гнев, радость, удивление, страх, грусть, отвращение, нейтральное состояние [2]. Но еще существуют смешанные эмоции, которые составляются разными комбинациями главных эмоций. Под эмоциями подразумеваются кратковременные проявления чувств. Большую способность проявлять разные эмоциональные оттенки имеет лицо человека. Во время возникновения этих чувств, мускулы на лице двигаются и происходят заметные изменения на образе, например, морщины, смена положения форм бровей, глаз, и других частей лица.
Существует три типа лицевых сигналов: статические (цвет кожи), длительные (морщины) и моментальные (поднятие бровей). Исследователи условно разделили лицо на три края, которые имеют способность двигаться независимо от других областей лица (брови; глаза; нижняя часть лица), и с комбинацией выражения данных областей составляется маска каждой эмоции.
Автоматическая идентификация образов с помощью компьютера, является одним из наиболее важных направлений развития технологий искусственного интеллекта, позволяющая дать ключ к пониманию особенностей работы человеческого интеллекта. Исследование методов автоматического распознавания эмоций позволяет дать компьютеру возможность оценивать настроение человека. Анализ выражения лица является непростым направлением исследований в области распознавания образов, в основном из-за сложности получения точных признаков лица и его выражений.
Методы распознавания эмоции объединяются на четыре больших класса: холистические, локальные распознавания, динамические, геометрические. Холистические методы распознавания анализируют эмоции по лицу в целом, чтобы после находить различия между изображениями: IndependentComponentAnalysis (ICA), PrincipalComponentAnalysis (PCA), Fisher’sLinearDiscrimmants, HiddenMarkovModels, кластерный анализ.
Локальные методы распознавания строится на анализе отдельных частей лица: PCA, Нейронные сети, FacialActionsCodeSystem (FACS). Динамические методы при распознавании берут за основу изменения местоположения частей лица, во время изменения различных выражении: PointDistributionModel (PDM),
ActiveShapeModel (ASM). Геометрические методы берут за основу форму и положения различных частей лица человека, для извлечения характерных векторов, что передают геометрические признаки лица. Однако вышеперечисленные методы не всегда позволяют распознать эмоции пользователя с достаточным уровнем точности, поэтому в данной работе была поставлена задача разработки нового комбинированного метода распознавания эмоций.
Объектом исследования является анализ систем компьютерного зрения, осуществляющие классификацию и идентификацию объектов на изображении.
Предметом исследования являются математические модели и алгоритмы распознавания изображений, на основе которых работают системы компьютерного зрения.
Целью диссертационной работы является - проведение видео-анализа положительного (радость) и отрицательного (грусть) состояния студентов на протяжении семестра, а именно до сессии, во время сессии, после сессии.
Актуальность темы - задача распознавания эмоций на сегодняшний день очень актуальна на практике различных сфер, таких как медицина, социология, игровая индустрия, робототехника, маркетинг, психология, и др.
Практическая значимость:
- Мониторинг эмоций может использоваться в качестве дополнительного инструментария при клинико-психологическом исследовании состояния пациентов;
- Определение эмоциональных изменений играет важную роль в робототехнике, для понимания людей роботами;
- Подобный эксперимент с видео-анализом может применяться при определенных научно-исследовательских работах, таких как «психология студентов», «психология работников», «психология пользователей» и т.д.
Научная новизна- в распознавании эмоций, с целью повышения точности/скорости решения поставленных задач, используется комбинированный метод распознавания.
Объем и структура работы. Диссертация состоит из введения, четырехглав и заключения. Полный объём диссертации составляет 46 страниц, включая 15 рисунков и 4 таблицы, 2 графика, 1 диаграммы. Список литературы содержит 36 наименований.
В настоящий момент исследователями принято, что люди могут выражать семь базовых эмоций: гнев, радость, удивление, страх, грусть, отвращение, нейтральное состояние [2]. Но еще существуют смешанные эмоции, которые составляются разными комбинациями главных эмоций. Под эмоциями подразумеваются кратковременные проявления чувств. Большую способность проявлять разные эмоциональные оттенки имеет лицо человека. Во время возникновения этих чувств, мускулы на лице двигаются и происходят заметные изменения на образе, например, морщины, смена положения форм бровей, глаз, и других частей лица.
Существует три типа лицевых сигналов: статические (цвет кожи), длительные (морщины) и моментальные (поднятие бровей). Исследователи условно разделили лицо на три края, которые имеют способность двигаться независимо от других областей лица (брови; глаза; нижняя часть лица), и с комбинацией выражения данных областей составляется маска каждой эмоции.
Автоматическая идентификация образов с помощью компьютера, является одним из наиболее важных направлений развития технологий искусственного интеллекта, позволяющая дать ключ к пониманию особенностей работы человеческого интеллекта. Исследование методов автоматического распознавания эмоций позволяет дать компьютеру возможность оценивать настроение человека. Анализ выражения лица является непростым направлением исследований в области распознавания образов, в основном из-за сложности получения точных признаков лица и его выражений.
Методы распознавания эмоции объединяются на четыре больших класса: холистические, локальные распознавания, динамические, геометрические. Холистические методы распознавания анализируют эмоции по лицу в целом, чтобы после находить различия между изображениями: IndependentComponentAnalysis (ICA), PrincipalComponentAnalysis (PCA), Fisher’sLinearDiscrimmants, HiddenMarkovModels, кластерный анализ.
Локальные методы распознавания строится на анализе отдельных частей лица: PCA, Нейронные сети, FacialActionsCodeSystem (FACS). Динамические методы при распознавании берут за основу изменения местоположения частей лица, во время изменения различных выражении: PointDistributionModel (PDM),
ActiveShapeModel (ASM). Геометрические методы берут за основу форму и положения различных частей лица человека, для извлечения характерных векторов, что передают геометрические признаки лица. Однако вышеперечисленные методы не всегда позволяют распознать эмоции пользователя с достаточным уровнем точности, поэтому в данной работе была поставлена задача разработки нового комбинированного метода распознавания эмоций.
Объектом исследования является анализ систем компьютерного зрения, осуществляющие классификацию и идентификацию объектов на изображении.
Предметом исследования являются математические модели и алгоритмы распознавания изображений, на основе которых работают системы компьютерного зрения.
Целью диссертационной работы является - проведение видео-анализа положительного (радость) и отрицательного (грусть) состояния студентов на протяжении семестра, а именно до сессии, во время сессии, после сессии.
Актуальность темы - задача распознавания эмоций на сегодняшний день очень актуальна на практике различных сфер, таких как медицина, социология, игровая индустрия, робототехника, маркетинг, психология, и др.
Практическая значимость:
- Мониторинг эмоций может использоваться в качестве дополнительного инструментария при клинико-психологическом исследовании состояния пациентов;
- Определение эмоциональных изменений играет важную роль в робототехнике, для понимания людей роботами;
- Подобный эксперимент с видео-анализом может применяться при определенных научно-исследовательских работах, таких как «психология студентов», «психология работников», «психология пользователей» и т.д.
Научная новизна- в распознавании эмоций, с целью повышения точности/скорости решения поставленных задач, используется комбинированный метод распознавания.
Объем и структура работы. Диссертация состоит из введения, четырехглав и заключения. Полный объём диссертации составляет 46 страниц, включая 15 рисунков и 4 таблицы, 2 графика, 1 диаграммы. Список литературы содержит 36 наименований.
Была создана система распознавания эмоций, на основе комбинированного метода. Система была протестирована на расширенной базе Cohn-Kanade, показала очень хороший результат распознавания- 90,5% точности.
Был произведен сравнительный анализ двух систем, из чего можно сказать, что хоть и на небольшую разницу, но точность распознавания с комбинированным методом показывает результаты больше чем у второй системы.
Был сделан видео-анализ эмоционального состояния студентов, на протяжении семестра. По результатам эксперимента было выявлено, что у студентов во время сессии повышается процент отрицательных эмоции и снижается процент положительных, но в целом у студентов ИТИС на 30%больше положительных эмоций, чем отрицательные.
В комбинированном методе каждый метод может служить самостоятельно, и каждый по отдельности показывает неплохие результаты (85-87%). Но объединив их, мы получили метод, который показал более высокий результат.
В дальнейшем планируется, улучшить работу системы с помощью увеличения количества тренировочных изображений, добавления дополнительных функции, таких как: обнаружения очков, бороды и других подобных дополняющих на лице. Также планируется функция распознавания эмоций в реальном времени (через веб-камеру).
Был произведен сравнительный анализ двух систем, из чего можно сказать, что хоть и на небольшую разницу, но точность распознавания с комбинированным методом показывает результаты больше чем у второй системы.
Был сделан видео-анализ эмоционального состояния студентов, на протяжении семестра. По результатам эксперимента было выявлено, что у студентов во время сессии повышается процент отрицательных эмоции и снижается процент положительных, но в целом у студентов ИТИС на 30%больше положительных эмоций, чем отрицательные.
В комбинированном методе каждый метод может служить самостоятельно, и каждый по отдельности показывает неплохие результаты (85-87%). Но объединив их, мы получили метод, который показал более высокий результат.
В дальнейшем планируется, улучшить работу системы с помощью увеличения количества тренировочных изображений, добавления дополнительных функции, таких как: обнаружения очков, бороды и других подобных дополняющих на лице. Также планируется функция распознавания эмоций в реальном времени (через веб-камеру).