
Тип работы:	Предмет:	Язык работы:

Разработка методики по распознаванию эмоций человека в виртуальной реальности

Работа №	30819
Тип работы	Дипломные работы, ВКР
Предмет	информационные системы
Объем работы	87
Год сдачи	2019
Стоимость	6500 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено	500

Не подходит работа?

Узнай цену на написание

Содержание

ОПРЕДЕЛЕНИЯ И СОКРАЩЕНИЯ 4
ВВЕДЕНИЕ 5
1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 7
1.1. Эмоции 7
1.2. Куб эмоций Лёвхейма 7
1.3. Нейромедиаторы 8
1.4. Электрическая активность кожи 10
1.5. Датчики ЭАК 16
1.6. Метрики ЭАК 16
2. ОБЗОР МЕТОДИК ВЫЯВЛЕНИЯ ЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ
ЧЕЛОВЕКА НА ОСНОВЕ ЭЛЕКТРИЧЕСКОЙ АКТИВНОСТИ КОЖИ 18
3. РЕГИСТРАЦИЯ ЭЛЕКТРИЧЕСКОЙ АКТИВНОСТИ КОЖИ 21
3.1. Прибор ЭАК 21
3.2. Размещение датчиков ЭАК 21
3.3. Инструкции для респондентов 24
4. СБОР ДАННЫХ ЭАК 25
4.1. Подбор раздражителей для базовых эмоций 25
4.2. Правила сбора данных 41
4.3. Эксперимент 42
4.4. Анализ полученных данных 44
5. ПРОВЕРКА ПОЛУЧЕННОЙ МЕТОДИКИ 46
5.1. Выбор прибора для регистрации ЭАК 46
5.2. Проведение опроса и получение списка раздражителей 47
5.3. Создание сцены под эмоцию для виртуальной реальности 47
5.4. Инструктаж респондентов 48
5.5. Проведение эксперимента 48
5.6. Анализ полученных данных 48
5.7. Проверка гипотезы 50
ЗАКЛЮЧЕНИЕ 52
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 54
Приложение А. Фрагмент исходного кода программы 62
Приложение Б. Опросник 70
Приложение В. Результаты опроса

Введение

Виртуальная реальность (далее VR) — это передовая технология. VR за последние годы сильно развилась и, похоже, станет будущим видеоигр на компьютерах и смартфонах [1; 2]. Благодаря использованию специального аппаратного и программного обеспечения виртуальная реальность может помочь воспроизвести или создать среду, основанную на реальности или воображении разработчика игры. Целью виртуальной реальности является создание правдоподобных сенсорных ощущений для игрока при помощи зрения, осязания, слуха, обоняния или даже вкуса [3] и создание ощущения дистанционного присутствия, удовольствия, погружения и участия на расстоянии [4]. Таким образом, у игроков создаётся впечатление, что они погружены непосредственно в реальный мир [5].
На данный момент все игры имеют линейную структуру, не могут подстраиваться под человека и зависят от фантазии разработчика или клиента, заказавшего игру. В каком-то плане любая игра в своём жанре однотипна, в ней используются в один и тот же заранее определённый момент сцены, которые могут игрока напугать, рассмешить, разгневать. Каждый человек уникален [6], а сценарий игры у нас один и самостоятельно не подстраивающийся под человека по ходу пребывания в виртуальной реальности. Чтобы виртуальная реальность была действительно реальностью с объединением окружающей действительности, в ней должны быть элементы естественной коммуникации: эмоции. Проблема заключается в том, что невозможно понимать, что испытывает человек в виртуальной реальности.
Целью данной работы является создание методики для распознавания эмоций человека в VR для подстраивания сцен виртуальной реальности под конкретное эмоциональное состояние.
Задачи, решаемые в выпускной квалификационной работе, чтобы достичь поставленной цели:
1. подобрать для 8 базовых эмоций самые популярные раздражители;
2. выбрать устройство для сбора данных;
3. предложить показатели для интерпретации полученных данных в численную модель;
4. сделать выводы о возможности создания персонифицированной виртуальной реальности.
Объектом данного выпускной дипломной работы стало эмоциональное состояние человека.
Предмет исследования — разрабатываемая методика.
Актуальность данной темы заключается в возможности на основе разработанной методики подстраивать любую виртуальную реальность под конкретного человека.
Новизна заключается в том, что ранее такая методика не создавалась

Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!

ДИПЛОМНЫЕ МАГИСТЕРСКИЕ ДИССЕРТАЦИИ

Курсовые Статьи Диплом Рязань

Заключение

Перед проделанной работой была опубликована статья [71], которая послужила отправным толчком для расширения исследований и по результатам работы будет опубликована новая статья на BICA 2019.
Результатом данной выпускной квалификационной работы является созданная методика для распознавания эмоций человека в виртуальной реальности по данным ЭАК.
В данной работе были выполнены следующие поставленные задачи:
1. подобраны для 8 базовых эмоций самые популярные раздражители;
2. выбрано устройство для сбора данных;
3. предложены показатели для интерпретации полученных данных в численную модель;
4. сделаны выводы о возможности создания персонифицированной виртуальной реальности.
В ходе работы над методикой возникли и успешно решены дополнительные задачи:
1. создана сцена для одной из базовых эмоций;
2. проведён эксперимент и собраны данные по эмоции боль.
Данная выпускная квалификационная работа осуществлялась в рамках проекта «Численная модель эмоций» Высшей школы информационных технологий и информационных систем и продолжает работы [72; 73] по созданию подходов к интерпретации состояний пользователя, погруженного в VR.
В настоящей выпускной квалификационной работе представлена методика для определения человеческих эмоций в VR на основе ЭАК. Это важный и значительный шаг как для области распознавания эмоций, так и для создания и разработки игр и искусственного интеллекта. Данная работа заложила основы для создания игр в виртуальной реальности, подстраиваемые под конкретного человека при помощи считывания электрической активности кожи. Точность и качество таких игр будут совершенствоваться по мере развития сенсорных психофизиологических технологий и нейронных сетей.
Данная работа будет развиваться дальше в аспирантуре. В планах собрать данные с респондентов не по одной эмоции, а по всем оставшимся при помощи разработанной к тому времени цифровой перчатки [45] и применить нейронную сеть.
Персонифицированная виртуальная реальность найдёт применение во многих областях, например:
• для бета-тестирования нейромаркетинговых проектов;
• для решения психологических проблем и травм;
• для симуляции действий, которые трудно или запрещено воспроизвести в жизни в целях образования.
Данная работа доступна в Gitlab по ссылке: http://gititis.kpfu.ru/Sasha/my project.

Литература

1. К 2020 году устройствами VR будут пользоваться 38,9 млн. людей
[Электронный" ресурс]. - URL: https://spark.ru/startup/finch-
vr/blog/14723/k-2020-godu-ustrojstvami-vr-budut-polzovatsya-38-9-mln- lyudej (дата обращения: 17.11.2018).
2. Рынок виртуальной реальности вырастет в 20 раз к 2020 году
[Электронный" ресурс]. - URL:
https ://www.vedomosti.ru/technology/articles/2017/02/27/679127-rinok- virtualnoi-realnosti (дата обращения: 17.11.2018).
3. Craig A.B., Sherman W.R., Will J.D. Developing Virtual Reality Applications: Foundations of Effective Design. // Burlington, MA: Morgan Kaufmann. - 2009. - P. 448.
4. Jakala, M. and Pekkola, S. From Technology Engineering to Social Engineering: 15 Years of Research on Virtual Worlds. // The DATA BASE for Advances in Information Systems. - 2007. - Vol. 38, No. 4. - P. 11-16.
5. Carol Manetta, Richard A. Blade. Glossary Of Virtual Reality Terminology. // International Journal of Virtual Reality, IPI Press. - 2015. - Vol. 01. - №.2. - P. 35-39.
6. Valizadeh, S. A., Liem, F., Merillat, S., Hanggi, J., & Jancke, L. Identification of individual subjects on the basis of their brain anatomical features. // Scientific Reports. - 2018. - P. 8.
7. Блум Ф., Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение: Пер. с англ. // М.: Мир. - 1988. - 248 с.
8. Савельев С.В. Возникновение мозга человека. // ВЕДИ, 2015. - 324 с.
9. Dale Purves, George J. Augustine, David Fitzpatrick. Neuroscience. // Sinauer Associates. - 2011. - P. 356-372.
10. Lovheim H. A new three-dimensional model for emotions and monoamine neurotransmitters. // Med Hypotheses. - 2012. - P. 341-348.
11. Tomkins S., McCarter R. What and where are the primary affects? Some evidence for a theory. // Perceptual and Motor Skills. - 1964. - P. 119-158.
12. Сланевская Н.М. Мозг, мышление и общество. // Санкт-Петербург: Центр междисциплинарной нейронауки. - 2012. - 1-20 с.
13. Da-Wei Li, Yijia Guo. Meta-analysis supports association between serotonin transporter (5-HTT) and suicidal behavior. // Molecular Psychiatry. - 2007. - P. 47-54.
14. Benedek M., Kaernbach C. A continuous measure of phasic electrodermal activity. // Journal of Neuroscience Methods. - 2010. - P. 80-91.
15. Fowles D.C., Christie M.J., Edelberg R., Grings W.W., Lykken D.T., Venables P.H. Publication recommendations for electrodermal measurements. // Psychophysiology. - 1981. - P. 34.
16. Newman E., Blanton R. The early history of electrodermal research. // Psychophysiology. - 1968. - P. 453-475.
17. Boucsein W. Electrodermal Activity. // New York, Berlin: Springer. - 2012. - P. 42.
18. Vigouroux R., De la resistance Electrique comme signe clinique. // Progres Medicate. - 1879. - No. 7. - P. 336.
19. Salimpoor V.N., Benovoy M., Longo G., Cooperstock J.R, Zatorre R.J. The rewarding aspects of music listening are related to degree of emotional arousal. // PLoS ONE 4. - 2009. - P. 10.
20. Critchley H. D. Electrodermal responses: What happens in the brain. // Neuroscientist. - 2002. - P. 132-142.
21. Anders S., Lotze M., Erb M., Grodd W., Birbaumer N. Brain activity underlying emotional valence and arousal: A response-related fMRI study. // Human Brain Mapping. - 2004. - P. 200-209.
22. Gray Henry. The Organs of the Senses and the Common Integument. Anatomy of the Human Body. // Philadelphia: Lea & Febiger. - 1918. - P.1364.
23. Kreibig S. D. Autonomic nervous system activity in emotion: A review. // Biological Psychology. - 2010. - P. 394-421.
24. Dawson M.E., Schell A.M., Filion D.L. The electrodermal system. // Handbook of psychophysiology. Cambridge: University Press. - 2007. - P.159-81.
25. Jerritta S., Murugappan M., Nagarajan R., Wan K. Physiological signals based human emotion Recognition: a review. // IEEE 7th International Colloquium on Signal Processing and its Applications (CSPA). - 2011. - P.5.
26. McCarthy C., Pradhan N., Redpath C., Adler A. Validation of the Empatica E4 wristband. // IEEE EMBS International Student Conference (ISC). - 2016. - P. 9.
27. Garbarino M., Lai M., Tognetti S., Picard R., Bender D. Empatica E3 - A wearable wireless multi-sensor device for real-time computerized biofeedback and data acquisition. // EAI 4th International Conference on Wireless Mobile Communication and Healthcare (Mobihealth). - 2014. - P.4.
28. Суханаева А.Э. Метод измерения уровня нейромедиаторов на основе данных КГР. // ВКР бакалавра. КФУ. Казань. - 2017. - 52 с.
29. Petta P., Pelachaud C., Roddy C. Emotion-oriented systems: the humaine handbook. // Springer, Berlin. - 2011. - P. 500.
30. Runxin Yu, Si Jia Wu, Audrey Huang, Nathan Gold, Huaxiong Huang. Using Polygraph to Detect Passengers Carrying Illegal Items. // Frontiers in Psychology. - 2019. - P. 10.
31. Wen W., Liu G., Cheng N., Wei J., Shangguan P., Huang W. Emotion Recognition Based on Multi-Variant Correlation of Physiological Signals. // IEEE Trans. Affect. Comput. - 2014. - P. 126-140.
32. Monajati M., Abbasi S.H., Shabaninia F., Shamekhi S. Emotions States Recognition Based on Physiological Parameters by Employing of Fuzzy- Adaptive Resonance Theory. // Intell. Sci. - 2012. - P. 166-176.
33. Kreibig S.D. Autonomic nervous system activity in emotion: a review. // Biol Psychol. - 2010. - P. 394-421.
34. Bloom L.J., Trautt G.M. Finger pulse volume as a measure of anxiety: further evaluation. // Psychophysiology. - 1977. - No. 14. - P. 541.
35. Ekman P., Levenson R.W., Friesen W.V. Autonomic nervous system activity distinguishes among emotions. // Science. - 1983. - P. 1208-1210.
36. Cacioppo J.T., Berntson G.G., Larsen J.T., Poehlmann K.M., Ito T.A. The psychophysiology of emotion. // The Handbook of Emotion. Guilford Press. - 2000. - P. 173-191.
37. Eisenberg N., Fabes R.A., Bustamante D., Mathy R.M., Miller P.A., Lindholm E. Differentiation of vicariously induced emotional reactions in children. // Dev. Psychol. - 1988. - P. 237-246.
38. Berridge K.C. Pleasure, pain, desire, and dread: Hidden core processes of emotion. // Well-Being: The Foundations of Hedonic Psychology. - 1999. - P. 527-559.
39. James W. What is an emotion? // Mind. - 1884. - P. 188-205.
40. Healey J.A., Picard R.W. Detecting Stress During Real-World Driving Tasks Using Physiological Sensors. // IEEE Transactions on Intelligent Transportation Systems. - 2005. - P. 156-166.
41. Tahira M.P., Lixin J. Mitigating Physiological Responses to Layoff Threat: An Experimental Test of the Efficacy of Two Coping Interventions. // Int J Environ Res Public Health. - 2016. - P. 13.
42. Gaisina K., Gaisin R.. Mathematical Modelling Of Human Fear And Disgust Emotional Reactions Based On Skin Surface Electric Potential Changes. // International Conference on Artificial Life and Robotics (ICAROB 2017). - 2017. - P. 331-333.
43. Хайруллин И.Р. Разработка системы по определению стрессового состояния человека на основе кожно-гальванической реакции и сердцебиения. // ВКР магистратуры. КФУ. Казань. - 2018. - 61 с.
44. Бобринская Е.О. Уменьшение риска дорожно-транспортных происшествий с помощью анализа психоэмоционального состояния водителя. // ВКР бакалавра. КФУ. Казань. - 2018. - 43 с.
45. Shigapov M.I., Kugurakova V.V., Zykov E.Yu. Design of digital gloves with feedback for VR. // IEEE Computer Society. - 2018. - P. 5.
46. Lovheim, H. A new three-dimensional model for emotions and monoamine neurotransmitters. // Medical Hypotheses. - 2012. - P. 341-348.
47. Tomkins S. Affect Imagery Consciousness: The Positive Affects. // New York: Springer. - 1962. - P. 588.
48. Nathanson, Donald L. Shame and Pride: Affect, Sex, and the Birth of the Self. // New York: Norton. - 1992. - P. 496.
49. Марков А. Эволюция человека. Книга 2. Обезьяны, нейроны и душа. // Corpus. - 2011. - 512 с.
50. Mellers B., Fincher K., Drummond C., Bigony M. Surprise: a belief or an emotion? // Progress in Brain Research. - 2013. - P. 3-19.
51. Schultz W., Apicella P., Scarnati E., Ljungberg T. Neuronal activity in monkey ventral striatum related to the expectation of reward. // J. Neurosci. - 1992. - P. 4594-4610.
52. Schultz W., Apicella P., Ljundberg T. Responses of monkey dopamine neurons to reward and conditioned stimuli during successive steps of learning a delayed response task. // J. Neurosci. - 1993. - P. 900-913.
53. Schultz W., Dayan P., Montague P.R. A neural substrate of prediction and reward. // Science. - 1997. - P. 193-199.
54. Nathanson D.L. Shame and Pride: Affect, Sex and the Birth of the Self. // Norton, New York. - 1992. - P. 496.
55. Johnny R.J., Klaus R.S., Etienne B.R. The World of Emotions Is Not TwoDimensional. // Journal Psychological Science. - 2007. - P. 1050-1057.
56. Peil K.T. Emotion: The Self-regulatory Sense. // Global Advances In Health And Medicine. - 2014. - P. 80-108.
57. Kelly V.C. A Primer of Affect Psychology. // Annual Review of Psychology.- 2009. - P. 14.
58. Изард К.Э. Психология эмоций. // СПб.: Издательство «Питер». - 1999.- 464 с.
59. Burton N. Heaven and Hell: The Psychology of the Emotions. // Acheron Press. - 2015. - P. 243-250.
60. Аристотель. Никомахова этика. // Издательство “ЭКСМО-Пресс”. - 1997. - 496 с.
61. TenHouten W.D. General Theory of Emotions and Social Life. // Routledge.
- 2007. - P. 101.
62. Taliaferro C., Hendrickson A. Hume’s Racism and His Case against the Miraculous. // Philosophia Christi. - 2002. - P. 427-441.
63. Bell M. A Woman's Scorn: Toward a Feminist Defense of Contempt as a Moral Emotion. // Hypatia. - 2005. - P. 80-93.
64. Roseman I.J. A model of appraisal in the emotion system: Integrating theory, research, and applications. // Oxford University Press. - 2001. - P.68-92.
65. Cabanac M. What is emotion? // Behavioural Processes. - 2002. - P. 69-83.
66. Daniel L. Psychology Second Edition. // Worth Publishers. - 2011. - P.310.
67. What is a decision tree algorithm? [Электронный” ресурс]. - URL: https://medmm.com/coriers/what-is-a-decision-tree-algorithm- 4531749d2a17 (дата обращения: 23.12.2018).
68. Random forest classifier. [Электронный” ресурс]. - URL:
https://medium.com/machine-learning-101/chapter-5-random-forest- classifier-56dc7425c3e1 (дата обращения: 23.12.2018).
69. Synced: How random forest algorithm works in machine learning.
[Электронный” ресурс]. - URL: https://medium.com/@Synced/how-
random-forest-algorithm-works-in-machine-learning-3c0fe 15b6674 (дата обращения: 23.12.2018).
70. Why Deep Learning over Traditional Machine Learning? [Электронный”
ресурс]. - URL: https://towardsdatascience.com/why-deep-learning-is-
needed-over-traditional-machine-learning- 1b6a99177063 (дата обращения:23.12.2018) .
71. Suhanaeva A.E., Gaisinaa K.V., Talanov M.O. Validation Of Threedimensional Model For Emotions Based On Monoamine Neurotransmitters. // Elsevier. - 2018. - P. 204-208.
72. Kugurakova V., Ayazgulova K. Neurotransmitters Level Detection Based on Human Bio-Signals, Measured in Virtual Environments // Advances in Intelligent Systems and Computing. - 2019. - Vol.848. - P.209-216.
73. Кугуракова, В.В. Математическое и программное обеспечение многопользовательских тренажеров с погружением в иммерсивные виртуальные среды // Кандидатская. - 2011. - 187 с.