ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ 3
ВВЕДЕНИЕ 5
АКТУАЛЬНОСТЬ 7
ОБЩИЕ ПОНЯТИЯ 8
Что такое стресс? 8
Обзор технологии виртуальная реальность 10
Компоненты VR 12
РЕАЛИЗАЦИЯ 14
Требования к системе 14
Выбор стека технологий 14
Средства разработки 15
Общие сведения о приложении 16
Архитектура 17
Методы и их описания 20
СБОРКА ARDUINO 24
Датчик пульса 25
Датчик КГР 26
ФУНКЦИОНАЛ СИСТЕМЫ 29
Модуль Dashboard 30
Модуль диаграмм 31
Доступные endpoints 32
ЗАКЛЮЧЕНИЕ 35
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 36
ПРИЛОЖЕНИЕ 38
Код класса ReadDataService 38
Код класса TemplateService 39
Код из класса GSRChart.vue
На сегодняшний день активно развивается VR и AR-индустрия. Проекты виртуальной и дополненной реальности могут не только создавать новые рынки, но и дополнять уже существующие. Технологии виртуальной реальности внедряются в различные сферы жизни человека. Одними из главных направлений внедрения VR являются игровая индустрия, здравоохранение, мероприятия в прямом эфире (трансляция спортивных событий, презентации, концерты и т.д.), образование и проектирование. Создаются системы восстановления организма после полученных травм, игры с полным погружением в виртуальную реальность, системы транслирования спортивных событий в прямом эфире в формате виртуальной реальности. Скоро устройства виртуальной реальности станут такими же популярными и распространёнными как смартфоны. С помощью таких устройств пользователи смогут восстановить здоровье, посещать матчи любимой футбольной команды, посещать обучающие курсы. Однако чтобы мозг человека воспринимал информацию в VR-среде так же, как и в реальности, нужно добиться эффекта максимального погружения. Тут настала очередь медицинских исследований, которые помогают определить уровень стресса человека, находящегося в виртуальной среде.
Стресс - это то, как организм реагирует, когда человек участвует в угрожающей или опасной ситуации, также организм реагирует таким образом если ситуация нереальна.
Цель данной работы: Создание алгоритма определения уровня стресса человека, находящегося в виртуальной среде. Алгоритм основан на биосигналах (Пульс и Кожно-гальваническая реакция), считываемых с датчиков. Эти данные позволят продвинуть погружённость в виртуальную реальность на новый уровень.
Задачи исследования: Для достижения поставленной цели необходимо было решить следующие задачи:
1. проанализировать существующие методики определения уровня стресса человека;
2. отобрать методики с похожим набором датчиков, для дальнейшего глубокого изучения;
3. реализовать алгоритм определение уровня стресса человека в VR-среде;
4. создать интуитивно понятный интерфейс для просмотра информации с датчиков;
5. протестировать систему.
В ходе выполнения данной работы была разработана система определения уровня стресса по бионейросигналам в средах VR, которая позволяет обнаружить стрессовую сцену или ситуацию по данным с датчиков пульса и кожно-гальванической реакции. Для более точного отображения уровня стресса была выбрана десятибалльная шкала, вместо пятибалльной.
Использован передовой стек технологий. Java, Spring Boot, Maven - разработка back-end части. JavaScript, VueJS, Webpack, Babel - разработка front-end части. Система протестирована, все ошибки были исправлены.
Проведённое исследование позволяет сделать вывод, что такие бионейросигналы, как пульс и КГР, могут с большой вероятностью определить находится ли человек в стрессе или нет.
Дальнейшее развитие приложения:
• Функционал:
о Для улучшения точности измерения планируется добавить новые датчики и адаптировать алгоритм определения стресса под новый набор датчиков.
о Улучшить веб-интерфейс приложения: добавить возможность просмотра истории показаний авторизованных пользователей, добавить профиль пользователя.
• Следующим этапом развития системы может стать добавления базы данных для записи, чтения и последующей обработки имеющихся данных в базе для улучшения алгоритма с учётом предыдущих показателей авторизованного пользователя.
1. Ane Alberdia, Asier Aztiriaa, Adrian Basarabb. Towards an automatic early stress recognition system for office environments based on multimodal measurements: A review. [Электронный ресурс] - Режим доступа: https://www.sciencedirect.com/science/article/pii/S1532046415002750, свободный.
2. The American Institute of stress. What is stresss. [Электронный ресурс] - Режим доступа: https://www.stress.org/what-is-stress, свободный.
3. Абдрахманов Арыслан Бауржанович. Аппаратно-программный комплекс
для оценки психоэмоционального состояния человека на наносенсорах. [Электронный ресурс] - Режим доступа:
http://earchive.tpu.ru/bitstream/11683/38872/1/TPU365837.pdf, свободный.
4. What is Virtual Reality? [Электронный ресурс] - Режим доступа: https://www.vrs.org.uk/virtual-reality/what-is-virtual-reality.html, свободный
5. Chris Woodford. Virtual reality. [Электронный ресурс] - Режим доступа: https://www.explainthatstuff.com/virtualreality.html, свободный.
6. Denise Quesnel. Steve DiPaola. Bernhard E. Riecke. Deep Learning for Classification of Peak Emotions within Virtual Reality Systems. Исследование.
7. Maria Viqueira Villarejo, Begona Garcia Zapirain and Amaia Mendez Zorrilla. A Stress Sensor Based on Galvanic Skin Response (GSR) Controlled by ZigBee. Исследование.
8. Anthonette D. Cantara, Angie M. Ceniza. Stress Sensor Prototype: Determining the Stress Level in using a Computer through Validated Self-Made Heart Rate (HR) and Galvanic Skin Response (GSR) Sensors and Fuzzy Logic Algorithm. International Journal of Engineering Research & Technology (IJERT).
9. Hindra Kurniawan, Alexandr V. Maslov, Mykola Pechenizkiy. Stress
Detection from Speech and Galvanic Skin Response Signals. [Электронный ресурс] - Режим доступа:
https://www.win.tue.nl/~amaslov/pubs/Kurniawan CBMS2013 .pdf, свободный.
10. Jorn Bakker, Mykola Pechenizkiy, Natalia Sidorova. What’s your current
stress level? Detection of stress patterns from GSR sensor data. [Электронный ресурс] - Режим доступа: http ://www.win .tue .nl/stressatwork/pdfs/stressdetection hacdais 11. pdf, свободный.
11. Alberto de Santos Sierra, Carmen Sanchez Avila, Javier Guerra Casanova, Gonzalo Bailador del Pozo. Real-Time Stress Detection by Means of Physiological Signals. [Электронный ресурс] - Режим доступа: http ://cdn.intechopen.com/pdfs/1703 6/InT ech-Real time stress detection bymeans of physiological signals.pdf, свободный.
12. Сергей Рогачев. Обобщенный Model-View-Controller. [ Электронный ресурс ] - Режим доступа: https://rsdn.org/article/patterns/generic-mvc.xml, свободный.
13. What is an Arduino? [ Электронный ресурс ] - Режим доступа: https://learn.sparkfun.com/tutorials/what-is-an-arduino, свободный