🔍 Поиск готовых работ

🔍 Поиск работ

Распознавание эмоций человека с помощью нейронных сетей

Работа №127162

Тип работы

Бакалаврская работа

Предмет

информатика

Объем работы53
Год сдачи2022
Стоимость4200 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
300
Не подходит работа?

Узнай цену на написание


ВВЕДЕНИЕ 4
Цели и задачи 6
Обзор литературы 7
Глава 1 Обзор существующих систем распознавания эмоций 8
1.1 Программа FaceReader 8
1.2 Microsoft Oxford Project Emotion Recognition 9
1.3 EmoDetect 10
1.4 MMER_FEASy 11
Глава 2 Разработка нейронной сети 12
2.1 Набор данных 12
2.1.1 Предварительная обработка данных FER+ 16
2.2 Основные метрики для оценки качества модели 16
2.3 Выбор архитектуры 19
2.3.1 Resnet50 19
2.3.2 GoogLeNet 21
2.3.3 VGG16 22
2.4 Архитектура и особенности нейронных сетей 23
2.4.1 Использование обратных вызовов (callbacks) 29
2.5 Подходы к обучению 30
2.5.1 Голосование по большинству (Majority voting) 30
2.5.2 Кросс-энтропийные потери (Cross-entropy loss) 31
2.6 Сравнение результатов для FER и FERPlus 32
2.7 Сравнение результатов с существующими сетями 36
2.8 Выводы 37
Глава 3 Практическая часть 38
3.1 Описание алгоритма распознавания эмоций 38
3.2 Интерфейс программы для распознавания эмоций 40
3.3 Формирование отчета по результатам обработки видеофайла 43
ЗАКЛЮЧЕНИЕ 46
ПЕРЕЧЕНЬ СОКРАЩЕНИЙ, УСЛОВНЫХ ОБОЗНАЧЕНИЙ, СИМВОЛОВ, ЕДИНИЦ И ТЕРМИНОВ 47
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 48
ПРИЛОЖЕНИЕ А 51
ПРИЛОЖЕНИЕ Б 52


Компьютерное зрение (Computer Vision, CV) - это область искусственного интеллекта, которая помогает компьютерам извлекать важную информацию из различных видов входных данных (видео, текст или изображения) для дальнейшего их анализа. В настоящее время существует большое количество приложений, которые используют компьютерное зрение, такие как распознавание лиц, автономные транспортные средства, медицинская диагностика и т.д. В этой работе будет рассмотрено одно из интересных приложений CV, а именно распознавание эмоций человека.
Что же такое эмоция? Эмоция - это психическое состояние, которое выражает отношение человека к окружающему миру и самому себе. Эмоции являются важным атрибутом в жизни человека и межличностном общении. Они могут быть выражены различными способами: позой, поведением, голосом и вегетативными реакциями (пульс, артериальное давление, частота дыхания) [1]. Однако, наибольшей выразительностью обладает лицо человека. Таким образом, в данной работе определение эмоционального состояния человека будет происходить по выражению его лица.
В настоящее время сфера применения распознавания эмоций достаточная большая. Ниже приведены некоторые направления, в которых системы, определяющие эмоции людей, уже приносят пользу [2]:
1) Безопасность
Распознаваний эмоций используют для предотвращения насилия - как в общественных местах, так и дома.
2) Подбор кадров
Система позволяет оценить на сколько кандидат заинтересован в должности, анализируя интонацию, ключевые слова и мимику человека на этапе первичного отбора.
3) Клиентоориентированность
Камеры, оснащенные компьютерным зрением, сравнивают эмоции людей на входе и на выходе из заведения для того, чтобы определить удовлетворенность посетителей. Если показатель упадет ниже некоторого уровня, сотрудники получат информацию об этом. Фото посетителей при этом не сохраняются.
4) Социализация особых детей
Данные системы используют для помощи «особым» детям понимать чувства окружающих. Система устанавливается на специальные очки, и, если с ребенком оказывается другой человек, очки подсказывают эмоции его собеседника.
Также одним из направлений, который пользуется популярностью, является определение того, как потребители реагируют на упаковку товара и рекламу той или иной организации. Это помогает компаниям оценить качество продукции, удовлетворенность людей и понять необходимо ли что- то менять. Вариант применения системы распознавания эмоций в данной области и будет представлен в работе.
В настоящее время системы распознавания эмоций далеки от совершенства. Несмотря на то, что они и могут обнаруживать эмоции, все же есть проблемы. Чаще всего проблемы связаны с зашумленным фоном на изображении, качеством освещения, наличием бороды или очков на лице и тд. Также существующие системы менее точны в распознавании эмоции людей определенного пола, возраста, расы.
В данной работе разработана нейросетевая модель, которая была построена с использованием библиотеки TensorFlow. Была проведена работа с Google Colab над созданием модели, поскольку она предоставляет GPU и TPU для ускорения обучения модели. Для иллюстрации эффективности работы этой модели разработан алгоритм распознавания эмоций в реальном времени с помощью библиотеки OpenCV. Кроме того, есть возможность распознавать эмоции как на изображениях, так и по видео.
Цели и задачи
Основной целью работы является разработка алгоритма, определяющего эмоциональное состояние человека на основе его выражения лица, представленной во входном видеопотоке/изображении.
Основные задачи работы:
1) Рассмотреть существующие системы распознавания эмоционального состояния человека и выявить их достоинства и недостатки.
2) Разработка нейросетевой модели для решения задачи распознавания эмоций.
3) Реализация и описание алгоритма распознавания эмоций для интеллектуальной системы.
4) Разработка интерфейса программы для распознавания эмоционального состояния человека.
5) Реализация компонента, который будет формировать отчет в виде excel-файл для сохранения результатов обработки видеофайла.


Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!
ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ
КУРСОВЫЕ СТАТЬИ ВКР

В выпускной квалификационной работе:
• были рассмотрены существующие системы распознавания эмоционального состояния человека и выявлены их достоинства и недостатки;
• разработана нейросетевая модель для решения задачи распознавания эмоций;
• реализован и описан алгоритм распознавания эмоций;
• разработан интерфейс программы для распознавания эмоционального состояния человека;
• реализован компонент, который позволяет формировать отчет в виде excel-файл для сохранения результатов обработки видеофайла.



1 Головко, В.А. Нейросетевые технологии обработки данных: учеб. пособие. / В. А. Головко, В. В. Краснопрошин // Глава 5. - М.: ИПРЖР. - 2017. - 127¬135 с. - ISBN 978-985-566-467-4.
2 Хрисанфова, Е. Эмоциональный ИИ: кто и зачем распознаёт эмоции в
России и за рубежом // RusBase: портал. - 2019. - URL:
https://rb.ru/longread/emotion-ai/(дата обращения: 27.04.2022).
3 About facereader // Noldus Information Technology. - 2016. - URL:
https://www.noldus.com/facereader/measure-your-emotions(дата обращения: 05.05.2022).
4 Lewinski, P. Automated facial coding: Validation of basic emotions and FACS AUs in FaceReader. / T. M. den Uyl, C. Butler. - Journal of Neuroscience, Psychology, and Economics, 7(4), 227-236. - 2014. - DOI: 10.1037/npe0000028.
5 FaceReader - Facial expression recognition software - Noldus // URL: https://www.noldus.com/facereader/new(дата обращения: 13.12.2021).
6 Ahonen, T. Face Recognition with Local Binary Patterns. / T. Ahonen, A. Hadid, M. Pietikainen. - 8th European Conference on Computer Vision. - 2004. - DOI: 10.1007/978-3-540-24670-1_36.
7 Chandran, S. Facial Expressions: A Cross Cultural Study / S. Chandran, A. Washeef, M. Somar, M. Debasis - 2015. - DOI: 10.1002/9781118910566.ch3.
8 Dataset fer2013 / Kaggle - 2013. - URL: http://deeplearning.net/icml2013- workshop-competition/challenges/(дата обращения: 13.12.2021).
9 Dataset FERPlus / Microsoft. - 2016. - URL: https://github.com/microsoft /FERPlus (дата обращения: 24.03.2022).
10 Barsoum E. Training deep networks for facial expression recognition with
crowd-sourced label distribution. / E. Barsoum, C. Zhang, C. C. Ferrer, and Z. Zhang// in Proc. ACM Int. Conf. Multimodal Interact. (ICMI). - 279-283 c. -
2016. - DOI: 10.48550/arXiv.1608.01041.
11 A Tutorial to Histogram Equalization. - Medium: портал. - 2020. - URL: https://medium.com/@kyawsawhtoon/a-tutorial-to-histogram-equalization- 497600f270e2(дата обращения: 01.05.2022).
12 He, K. Deep Residual Learning for Image Recognition. / K. HE, X. Zhang, Sh. Ren, J. Sun. - 2015. - DOI: 10.48550/arXiv.1512.03385.
13 Simonyan, K. Very Deep Convolutional Networks for Large-Scale Image Recognition. / K. Simonyan, A. Zisserman. - 2015. - URL: https://arxiv.org/abs/1409.1556(дата обращения: 07.05.2022).
14 The F1 score. - Towards Data Science: портал. - 2021. - URL: https://towardsdatascience.com/the-f1-score-bec2bbc38aa6(дата обращения: 18.05.2022).
15 Salman, S. Overfitting Mechanism and Avoidance in Deep Neural Networks /
S. Salman, X. Liu. - 2019. - URL: https://arxiv.org/abs/1901.06566(дата
обращения 13.04.2022).
16 Srivastava, N. Dropout: A Simple Way to Prevent Neural Networks from Overfitting / N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, R. Salakhutdinov // Journal of Machine Learning Research. - №15. - 1929-1958 c. - 2014. - URL: https://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf(дата обращения 28.04.2022).
17 Ioffe, S. Batch Normalization: Accelerating Deep Network Training by
Reducing Internal Covariate Shift/ S. Ioffe, C. Szegedy. - 2015. - URL:
https://arxiv.org/abs/1901.06566(дата обращения 28.04.2022).
18 Heckel, R. Early Stopping in Deep Networks: Double Descent and How to Eliminate it/ R. Heckel, F. F. Yilmaz. - 2020. - DOI: 10.48550/arXiv.2007.10099.
19 Documentation ReduceLROnPlateau - 2020. - URL:
https://runebook.dev/ru/docs/tensorflow/keras/callbacks/reducelronplateau(дата обращения 28.04.2022).
20 Miao, S. Recognizing Facial Expressions Using a Shallow Convolutional Neural Network. / S. Miao, H. Xu. - 2019. - URL: https://www.researchgate.net/publication/333643446_Recognizing_Facial_Expressions_Using_a_Shallow_Con volutional_Neural_Network (дата обращения 03.05.2022).
21 Nan, Y. A-MobileNet: An approach of facial expression recognition. / Y. Nan, J. Ju, Q. Hua, H. Zhang, B. Wang // Alexandria Engineering Journal. - Vol. 61, Issue 6. - 2022. - DOI: 10.1016/j.aej.2021.09.066.
22 Распознавания лиц с использованием каскадных классификаторов Хаара. / SB-DC. - URL: https://sb-dc.ru/face_detection/распознавание-лиц-с-использованием-к/ (дата обращения 16.04.2022).


Работу высылаем на протяжении 30 минут после оплаты.



Подобные работы


©2025 Cервис помощи студентам в выполнении работ
.