Перечень сокращений, символов и обозначений 3
Введение 4
1 Теоретические основы 7
1.1 Куб Лёвхейма 7
1.2 Обзор методов измерения психоэмоционального состояния 10
1.3 Обзор существующих аппаратных решений и патентный
поиск 13
2 Аппаратно-программный комплекс для регистрации электрического
сопротивления кожи 20
2.1 Реализация прототипа 21
2.2 Описание программных модулей 24
2.3. Структура выходных данных, полученных в ходе эксперимента 28
3 Сбор биометрических данных с респондентов 29
3.1 Подготовка к эксперименту 29
3. 2 Ход эксперимента 32
4 Валидация психоэмоциональной модели Левхейма 34
4.1 Метрики КГР 34
4.2 Предобработка полученных данных 37
4.3 Кросс-валидация модели в среде RapidMiner 38
Заключение 42
Список использованных источников 44
Результатом данной работы является найденная зависимость психоэмоциональной модели Лёвхейма и данных кожно-гальванической реакции.
В данной работе были выполнены следующие задачи:
1. Разработан прототип браслета на базе платформы Arduino модель Leonardo R3;
2. Разработаны программные модули для регистрации данных с прототипа электронного браслета;
3. Собраны данные по 3 базовым эмоциям (отвращение, страх, грусть). Число респондентов составило 99 человек;
4. Полученные данные представлены в виде численных метрик.
5. Проведена кросс-корреляция модели Левхейма.
В результате выполнения поставленных задач была получена зависимость нейромедиатора норадреналин и данных КГР, представленных в виде численных метрик, методами машинного обучения.
Полученные результаты позволяют полагать, что психоэмоциональная модель Левхейма верная, и последующие исследования в данной области могут быть продолжены на основе данной модели.
Полное подтверждение психоэмоциональной модели Левхейма возможно лишь на основе данных полученных инвазивном способом.
Рассмотренный подход определения уровня нейромедиатора
норадреналин на основе данных от портативных устройств, таких как умный браслет, может быть применен в различных областях: в нейромаркетинге, медицине, психологии и сфере образования.
Во время проведения эксперимента все данные были промаркированы согласно приведенной выше таблице. Для видеоролика вызывающий эмоции грусти соответствует повышенный уровень норадреналина, который мы обозначаем 1, при низких уровнях серотонина и дофамина, которые 39
обозначаем 0. Данные регистрируемые во время просмотра видеороликов вызывающие эмоции отвращения и эмоции страха также были промаркированы согласно приведенной таблицей выше.
Результаты кросс-валидации модели (возможность предсказать уровни нейромедиаторов на данных получаемых с прототипа электронного браслета) приведены в таблице 3.
Вероятность определения серотонина — 28.57%, дофамина — 46.98%. Низкие показатели свидетельствуют об отсутствии прямой зависимости между значениями КГР и двумя нейромедиаторами.
Вероятность определения уровня норадреналина (повышенный / пониженный уровень) — 84.85%. Согласно значению данного показателя можно утверждать о существовании зависимости между значением кожно-гальванической реакцией и уровнем норадреналина.
На данной выборке и в данной задаче наибольшую эффективность показал алгоритм Deep learning. В таблице 4 приведен результат сравнения работы трех алгоритмов по определению уровня норадреналина.
1. Hugo Lovheim. A new three-dimensional model for emotions and monoamine neurotransmitters / Hugo Lovheim //Medical Hypotheses, 2012
2. Ekman P. An argument for basic emotions / Ekman P. - Cognition and Emotion, 1992.- 169—200.
3. Carroll E. Izard. The Psychology of Emotions / Carroll E. Izard - New York: Plenum, (1991).
4. Plutchik, Robert. Emotion: Theory, research, and experience: Vol. 1. Theories of emotion / Plutchik, Robert - New York: Academic, 1980
5. J. Panksepp . "A critical role for "affective neuroscience" in resolving what is basic about basic emotions"/ J. Panksepp //Psychological Review. 99 (3), 1992 - 554-60.
6. James A. Russell. Culture and the Categorization of Emotions/ James A. Russell // Psychological Bulletin 1991, Vol. 110, No. 3,426-450
7. Вундт В. Введение в психологию = Einfuhrung in die Psychologie Вундт В. / Вундт В. — М.: КомКнига, 2007. — 168 с.
8. Tomkins S. Affect imagery consciousness volume I the positive affects/ Tomkins S.// New York: Springer Publishing Company, 1962.
9. Tomkins S. Affect imagery consciousness volume II the negative affects/ Tomkins S. // New York: Springer Publishing Company, 1963.
10. Tomkins S. Affect imagery consciousness volume III the negative affects anger and fear/ Tomkins S.// New York: Springer Publishing Company, 1991.
11. McFarland RA. Relationship of skin temperature changes to the emotions accompanying music/ McFarland RA.// Biofeedback Self Regul. 1985, 10(3) - 255-67.
12. Hosseini SA. Quantification of EEG signals for evaluation of emotional stress level/ Hosseini SA. // [MSc Thesis] Mashhad, Iran, 2009.
13. Chanel G. Emotion assessment for affective computing based on brain and peripheral signal/ Chanel G. // [PhD. Thesis] Geneva, Switzerland: University of Geneva, 2009.
14. Hosseini SA. Emotional stress recognition system using EEG and psychophysiological signals: Using new labelling process of EEG signals in emotional stress state/ Hosseini SA, Khalilzadeh MA. // Proceedings of the International Conference on Biomedical Engineering and Computer Science (ICBECS); 2010 Apr 23-25, Wuhan, China: 2010. pp. 90-5.
15. Chanel G. Short-term emotion assessment in a recall paradigm/ Chanel G, Kierkels JJM, Soleymani M, Pun T. // International Journal of Human¬Computer Studies. 2009, 67(8):607-27.
16. Hosseini S.A. Emotional Stress Recognition System Using EEG and Psychophysiological Signals: Using New Labelling Process of EEG Signals in Emotional Stress State/ Hosseini S.A., Khalilzadeh M.A., Branch M. // Proceedings of International Conference on Biomedical Engineering and Computer Science; Wuhan, China. 23-25 April 2010.
17. Jongyoon C. Removal of Respiratory Influences from Heart Rate Variability in Stress Monitoring/ Jongyoon C., Gutierrez-Osuna R. // IEEE Sensor J. 2011, 11:2649-2656.
18. Santos A. A Stress-Detection System Based on Physiological Signals and Fuzzy Logic/ Santos A., Sanchez C., Guerra J., Bailador del Pozo G. // IEEE Trans. Industr. Electrs. 2011, 58:4857-4865.
19. D. F. Dinges. Monitoring of facial stress during space flight: Optical computer recognition combining discriminative and generative methods/ D. F. Dinges, S. Venkataraman, E. L. McGlinchey, and D. N. Metaxas // Acta Astronaut., vol. 60, no. 4-7, pp. 341-350, Feb.-Apr. 2007, 2005.
20. S. Begum. Using calibration and fuzzification of cases for improved diagnosis and treatment of stress / S. Begum, M. U. Ahmed, P. Funk, N. Xiong, and B. von Scheele. // in Proc. 8th Eur. Conf. Case-Based Reason. Workshop, M. Minor, Ed., Sep. 2006, pp. 113-122.
21. E. Jovanov. Stress monitoring using a distributed wireless intelligent sensor system/ E. Jovanov, A. O’Donnell Lords, D. Raskovic, P. G. Cox, R. Adhami, and F. Andrasik. // IEEE Eng. Med. Biol. Mag., vol. 22, no. 3, pp. 49-55, May/Jun. 2003.
22. F. Angus. Front-end analog pre-processing for real-time psychophysiological stress measurements/ F. Angus, J. Zhai, and A. Barreto // in Proc. 9th WMSCI, 2005, pp. 218-221.
23. J. Zhai. Realization of stress detection using psychophysiological signals for improvement of human-computer interactions/ J. Zhai, A. Barreto, C. Chin, and C. Li // in Proc. SoutheastCon, Apr. 2005, pp. 415-420
24. J. A. Healey and R. W. Picard. Detecting stress during real-world driving tasks using physiological sensors/ J. A. Healey and R. W. Picard // IEEE Trans. Intell. Transp. Syst., vol. 6, no. 2, pp. 156-166, Jun. 2005.
25. Picard Rosalind W. Affective Computing [Текст] / Rosalind W. Picard — The MIT Press, 1997.
26. Khalfallah K. Noninvasive Galvanic Skin Sensor for Early Diagnosis Of Sudomotor Dysfunction: Application to Diabetes/ Khalfallah K., Ayoub H., Calvet J. H., Neveu X., Brunswick P., Griveau S., Lair V., Cassir M., Bedioui F. // IEEE Sensor J. 2010, 12:456-463.
27. Khosrowabadi R. A Brain-Computer Interface for classifying EEG Correlates of Chronic Mental Stress/ Khosrowabadi R., Quek C., Ang K.K., Tung S.W., Heijnen M. // Proceedings of International Joint Conference on Neural Networks (IJCNN); San Jose, CA, USA. 31 July-5 August 2011.
28. Jongyoon C. Removal of Respiratory Influences from Heart Rate Variability in Stress Monitoring/ Jongyoon C., Gutierrez-Osuna R.// IEEE Sensor J. 2011, 11:2649-2656.
29. Takahashi K. Epilepsy Research Progress. Nova Science Publishers, New York, NY, USA: 2008.
30. Kappeler-Setz C.Towards Long Term Monitoring of Electrodermal Activity in Daily Life. / Kappeler-Setz C., Gravenhorst F., Schumm J., Arnrich B., 46
Troster G. //Proceedings of 5th International Workshop on Ubiquitous Health and Wellness; Copenhagen, Denmark. 26 September 2010.
31. Li J. A Novel Approach to Analyze the Result of Polygraph/ Li J., Zhuo Q., Wang W. // Proceedings of IEEE International Conference on Systems, Man and Cybernetics, Nashville, TN, USA. 8-11 October 2000.
32. Wu G. The Analysis of Emotion Recognition from GSR Based on PSO/ Wu G., Liu G., Hao M. // Proceedings of International Symposium on Intelligence Information Processing and Trusted Computing, Huanggang, China. 28-29 October 2010
33. Chang C.-Y. Based on Support Vector Regression for Emotion Recognition Using Pshysiological Signals/ Chang C.-Y., Zheng J.-Y., Wang C.-J. // Proceedings of 2010 International Joint Conference on Neural Networks, Barcelona, Spain. 18-23 July 2010.
34. Tarvainen M.P. Principal Component Analysis of Galvanic Skin Responses/ Tarvainen M.P., Karj P.A., Koistinen A.S., Valkonen-Korhonen M.V. // Proceedings of 22nd Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Piscataway, NJ, USA. 23-28 July 2000.
35. Информационный сайт Федерального государственного бюджетного учреждения Федеральный институт промышленной собственности - ФИПС [сайт] / URL: http: //www 1.fips.ru/wps/wcm/connect/content ru/ru
36. Интернет-сервис «Google
https://patents.google.com/
patent» [сайт]. URL
37. База патентов Китая
http://english. sipo.gov.cn/application/
SIPO [сайт]. URL
38. База патентов Японии Japan Patent Office [сайт]. URL
https://www.jpo.go.jp/
39. Патент Психогальванометра «US2829638A» [Электронный ресурс] /
Режим доступа: https://patents.google.com/patent/US2829638A/en
40. Патент «US3870034A» [Электронный ресурс] / Режим доступа:
https://patents.google.com/patent/US3870034A/en?oq=US+3870034
41. Патент перчатки «US6415176B1» [Электронный ресурс] / Режим доступа:
https://patents.google. com/patent/US6415176B 1/en?oq=US+6415176+B 1
42. Патент системы амбулаторного мониторинга физиологических признаков «US20020032386A1» [Электронный ресурс] / Режим доступа: https://patents.google.com/patent/US20020032386A1/en?oq=US+20020032 386+A1
43. Патент «US20060069319A1» [Электронный ресурс] / Режим доступа: https://patents.google.com/patent/US20060069319A1/en?oq=US+20060069 319+A1
44. Патен износостойкого биосенсора «US20100268056A1» [Электронный
ресурс] / Режим доступа -
https://patents.google.com/patent/US20100268056A1/en?oq=US+20100268 056+A1
45. Шарифуллина К.В. Численная модель эмоциональных реакций человека на основе изменения электрического сопротивления кожи - ВКР бакалавра - Казань 2016
46. Google Формы [сайт]/ URL:
https: //www.google.com/intl/ru_ru/forms/about/
47. Б.Г. Мещеряков. Большой психологический словарь [Текст] / Под ред. Б.Г. Мещерякова, акад. В.П. Зинченко — М.: Прайм-ЕВРОЗНАК, 2003
48. Gaisin, R., Gaisina, K. Mathematical modelling of human fear and disgust emotional reactions based on skin surface electric potential changes/ Proceedings of the 2017 International Conference on Artificial Life and Robotics (ICAROB 2017), 2017, pp. 331-333