Без эмоций жизнь воспринимается бессмысленной и бесцельной, и удовольствия, получаемые из приятных событий, значительно уменьшаются. Распознавание эмоций является новой актуальной областью, которая вызвала большой интерес, как со стороны промышленности, так и исследовательского сообщества [1; 2; 3; 4; 5]. Это объясняется простым вопросом: может ли человечество строить машины, которые ощущают и распознают человеческие эмоции? Если можно, то такие машины позволят умным домам реагировать на человеческие настроения и соответственно регулировать освещение или музыку. У кинематографистов были бы лучшие инструменты для оценки работы пользователей. Рекламодатели смогут узнать реакцию клиента. Компьютеры автоматически обнаруживали бы симптомы депрессии, тревоги и биполярного расстройства, что позволяло заблаговременно реагировать на такие состояния. В более широком смысле машины больше не ограничивались бы явными командами и могли бы взаимодействовать с людьми схоже с тем, как люди взаимодействуют друг с другом.
Возник вопрос: возможно ли распознавать эмоции, предугадывать и контролировать их появление у человека?
Существуют подходы к определению эмоций человека, основанные на аудиовизуальных сигналах, такие как изображения и аудиоклипы [6; 7]. Но такой подход имеет свои ограничения. Аудиовизуальные техники используют внешнее выражение эмоций, но не могут измерять внутренние чувства [8; 9; 10]. Например, человек может быть счастлив, даже если он не улыбается или улыбается, даже если он несчастлив. Кроме того, люди широко расходятся в том, насколько выразительны они проявляют свои внутренние эмоции, что еще более усложняет эту проблему [11].
В данной выпускной квалификационной работе исследование по распознаванию эмоций и уровня нейромедиаторов будет производиться при помощи биометрической технологии. Такой подход распознает эмоции, регистрируя физиологические сигналы, которые меняются с эмоциональным состоянием человека. Этот подход больше согласовывается с внутренними чувствами человека, поскольку он вступает во взаимодействие между вегетативной нервной системой [12; 13].
Целями данного исследования является проверка:
- зависимости кожно-гальванической реакции от эмоционального состояния человека;
- проверка связи между кожно-гальванической реакцией и уровнями нейромедиаторов.
Задачи, решаемые в выпускной квалификационной работе, чтобы достичь поставленной цели:
1. Собрать данные по 3 базовым эмоциям (грусть, отвращение, страх);
2. Построить численную модель на основе полученных данных;
3. Проверить две поставленные гипотезы.
Объектом данного исследования выпускной дипломной работы стало эмоциональное состояние человека. Появилась мысль изобразить эмоции в числах, представить их в виде физической величины при помощи кожно - гальванической реакции.
Предмет исследования — кожно-гальваническая реакция (КГР) на внешние стимулы.
Актуальность данной темы заключается в возможности на основе измерения нейромедиаторов получить достоверные данные о психоэмоциональном состоянии человека.
Новизна заключается в том, что используя куб Лёвхейма, мы по данным КГР измеряем уровень нейромедиаторов.
Результатом данной выпускной квалификационной работы являются две проверенные гипотезы:
- проверена зависимость КГР от эмоционального состояния человека;
- проверена связь между КГР и уровнями нейромедиаторов.
В данной работе были выполнены следующие задачи:
1. Получены данные по трем базовым эмоциям (грусть, страх, отвращение) от 90 испытуемых.
2. Обработаны и представлены полученные данные в виде численной модели.
3. Проверены две поставленные гипотезы.
Исследование данной выпускной квалификационной работы осуществлялось в рамках проекта «Численная модель эмоций» Высшей школы ИТИС.
В этой выпускной квалификационной работе представлена технология, способная распознавать эмоции человека, полагаясь на кожно-гальваническую реакцию и куб эмоций Лёвхейма. Мы считаем, что это знаменует собой важный шаг в возникающей области распознавания эмоций. Данное исследование дополняет работы в сфере искусственного интеллекта. Кроме того, хотя эта работа заложила основы для распознавания эмоции по сопротивлению кожи, мы предполагаем, что точность такого метода будет улучшаться по мере развития сенсорных технологий, сбора данных и совершенствования механизмов машинного обучения в процессе восприятия.
Сейчас параллельно идет работа над проектом по определению психоэмоционального состояния человека за рулем, чтобы предотвращать дорожно-транспортные происшествия. В этом проекте пригодится наше исследование для определения уровня стресса водителя.
Существует много областей, в которых найдется применение распознаванию психоэмоционального состояния человека: в нейромаркетинге, медицине, психологии и сфере образования.
1. Saha D. P., Martin T. L., Knapp R. B. Towards incorporating affective feedback into context-aware intelligent environments // International Conference on Affective Computing and Intelligent Interaction (ACII). - 2015. - P. 49-55.
2. Cowie R., Douglas-Cowie E., Tsapatsoulis N., Votsis G., Kollias S., Fellenz W., Taylor J. G. Emotion recognition in human-computer interaction. Signal Processing Magazine // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2001. - Vol. 18, № 1. - P. 32-80.
3. Kahou S. E., Bouthillier X., Lamblin P., Gulcehre C., Michalski V., Konda K., Jean S., Froumenty P., Dauphin Y., Boulanger-Lewandowski N. Emonets: Multimodal deep learning approaches for emotion recognition in video // Journal on Multimodal User Interfaces. - 2015. - Vol. 10. - P. 1-13.
4. Picard R. W. Affective computing: from laughter to IEEE. // IEEE Transactions on Affective Computing. - 2010. - Vol. 1, № 1. - P. 11-17.
5. Elfenbein H. A., Ambady N. On the universality and cultural specificity of emotion recognition: a meta-analysis // Psychological Bulletin. - 2002. - Vol. 128, № 2. - P. 203.
6. Zeng Z., Pantic M., Roisman G. I., Huang T. S. A survey of affect recognition methods: Audio, visual, and spontaneous expressions // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2009. - Vol. 31, № 1. - P. 39¬58.
7. Scherer K. R. Vocal communication of emotion: A review of research paradigms // Speech Communication. - 2003. - Vol. 40, № 1. - P. 227-256.
8. Calvo R. A., D’Mello S. Affect detection: An interdisciplinary review of models, methods, and their applications // IEEE Transactions on Affective Computing. - 2010. - Vol. 1, № 1. - P. 18-37.
9. Picard R. W., Vyzas E., Healey J. Toward machine emotional intelligence: Analysis of affective physiological state // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2001. - Vol. 23, № 10. - P. 1175-1191.
10. Ekman P., Friesen W. V., Ellsworth P. Emotion in the human face: Guidelines for research and an integration of findings // Elsevier. - 2013.
11. Kashdan T. B., Mishra A., Breen W. E., Froh J. J. Gender differences in gratitude: Examining appraisals, narratives, the willingness to express emotions, and changes in psychological needs // Journal of personality. - 2009. - Vol. 77, № 3. - P. 691-730.
12. Quintana D. S., Guastella A. J., Outhred T., Hickie I. B., Kemp A. H. Heart rate variability is associated with emotion recognition: direct evidence for a relationship between the autonomic nervous system and social cognition // International Journal of Psychophysiology. - 2012. - Vol. 86, № 2. - P. 168¬172.
13. Kreibig S. D. Autonomic nervous system activity in emotion: A review // Biological psychology. - 2010. - Vol. 84, № 3. - P. 394-421.
14. Сланевская Н.М. Мозг, мышление и общество. - Санкт-Петербург: Центр Междисциплинарной Нейронауки, 2012. - 1-20 с.
15. Sheng M., Hoogenraad C. The Postsynaptic Architecture of Excitatory Synapses: A More Quantitative View // Annual Review of Biochemistry. -
2006. - Vol. 76, № 1. - P. 823-847.
16. Marie T., Rebecca J. Cognitive Neuroscience third edition. - Sunderland (MA): Sinauer Associates, Incorporated, 2008. - P. 832.
17. Simon N. Young. How to increase serotonin in the human brain without drugs. - America: J Psychiatry Neurosci, 2007. - P. 394-399.
18. Critchley H. D. Electrodermal responses: what happens in the brain // The Neuroscientist: A Review Journal Bringing Neurobiology, Neurology and Psychiatry. - 2002. - Vol. 8, № 2. - P. 132-142.
19. Braithwaite J.J., Watson D.G., Jones R., Rowe M. A guide for analysing electrodermal activity (EDA) & skin conductance responses (SCRS) for psychological experiments // Psychophysiology. - 2013. - Vol. 49. - P. 1017-1034.
20. Афанасьев Ю. И., Юрина Н. А., Котовский Е. Ф. Гистология, эмбриология, цитология: учебное пособие. - М.: АСТ: Астрель, 2012. -768 с.
21. Van der Heijden A. H. C. Perception for selection, selection for action and action for perception // Visual Cognition. - 2015. - Vol. 3, № 4. - P. 357-361.
22. Hosseini S.A., Khalilzadeh M.A., Branch M. Emotional Stress Recognition System Using EEG and Psychophysiological Signals: Using New Labelling Process of EEG Signals in Emotional Stress State // Biomedical Engineering and Computer Science (ICBECS). - 2010. - P. 23-25.
23. Khosrowabadi R., Quek C., Ang K.K., Tung S.W., Heijnen M. A Brain-Computer Interface for classifying EEG Correlates of Chronic Mental Stress // Neural Networks (IJCNN). - 2011. - P. 757-762.
24. Jongyoon C., Gutierrez-Osuna R. Removal of Respiratory Influences from Heart Rate Variability in Stress Monitoring // IEEE Sensor Journal. - 2011. - Vol. 11, № 2011. - P. 2649-2656.
25. Santos A., Sanchez C., Guerra J., Bailador del Pozo G. A Stress-Detection System Based on Physiological Signals and Fuzzy Logic // IEEE Transactions on Industrial Electronics. - 2011. - Vol. 58. - P. 4857-4865.
26. Jing Z., Barreto A.B., Chin C., Chao L. Realization of stress Detection Using Psychophysiological Signals for Improvement of Human-Computer Interactions // IEEE Southeastcon. - 2005. - P. 8-10.
21. Khalfallah K., Ayoub H., Calvet J. H., Neveu X., Brunswick P., Griveau S., Lair V., Cassir M., Bedioui F. Noninvasive Galvanic Skin Sensor for Early Diagnosis Of Sudomotor Dysfunction: Application to Diabetes. IEEE Sensor Journal. - 2010. - Vol. 12. - P. 456-463.
28. Takahashi K. Epilepsy Research Progress // Nova Science Publishers. - 2008.
29. Li J., Zhuo Q., Wang W. A Novel Approach to Analyze the Result of Polygraph // IEEE International Conference on Systems, Man and Cybernetics. - 2000. - P. 8-11.
30. Hao M., Wu G., Liu G. The Analysis of Emotion Recognition from GSR Based on PSO // International Symposium on Intelligence Information Processing and Trusted Computing. - 2010. - P. 28-29.
31. Wen W.H., Qiu Y. H., Liu G. Y., Cheng N.P., Huang X.T. Construction and Cross-Correlation Analysis of the Affective Physiological Response Database // Science China Information Sciences. - 2010. - Vol. 53. - P. 1114¬1184.
32. Tarvainen M.P., Karj P.A., Koistinen A.S., Valkonen-Korhonen M.V. Principal Component Analysis of Galvanic Skin Responses // International Conference of the IEEE Engineering in Medicine and Biology Society. - 2000. - P. 23-28.
33. Gaisina K., Gaisin R.. Mathematical Modelling Of Human Fear And Disgust Emotional Reactions Based On Skin Surface Electric Potential Changes // International Conference on Artificial Life and Robotics (ICAROB 2011). - 2011. - P. 331-333.