ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 4
ВВЕДЕНИЕ 5
1. ПОСТАНОВКА ЗАДАЧИ 8
2. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ 10
2.1 Энцефалография 10
2.1.1 Практическая значимость 11
2.1.2 Ритмы электроэнцефалограммы 12
2.1.3 Применимость на практике 14
3. ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ НА РЫНКЕ 16
3.1 Аппаратные решения для получения данных 16
3.1.1 Emotiv EPOC+ EEG 16
3.1.2 Neuroelectrics Enobi 8-32 17
3.1.3 Interaxon Muse 18
3.1.4 Bitronics Lab - “Юный Нейромоделист” 18
3.2 Софтверные решения 20
3.2.1 iMotions 20
3.2.2 NIC 21
3.3 Необходимость в собственном программном решении 21
4 ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА МОДУЛЯ 23
4.1 Технологии разработки 23
4.1.1 Язык программирования 23
4.1.2 Выбор игрового движка 24
4.1.3 Выбор датчика для снятия показаний 24
4.2 Архитектура проекта 25
4.3 Разработка модуля 26
4.3.1 Проверка Arduino EEG 26
4.3.2 Компонент Data Source Interface 28
4.3.2 Компонент Data Source Bitronics Implementation 28
4.3.3 Компонент EEG Module 29
4.3.4 Интеграция с Unity3D 31
4.3.5 Анализ показаний в VR 34
ЗАКЛЮЧЕНИЕ 36
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 37
ПРИЛОЖЕНИЕ 39
Реализация на Java 39
Реализация анализа ЭЭГ на Python 46
Реализация на C#
Первые попытки человека создать виртуальную реальность (VR) относятся к концу пятидесятых годов. Изначально развитие шло по пути 3D телевизоров и на этом заканчивалось [1]. В 90-х и 2000-х годах основное внимание было приковано к играм и не было глобальных планов по расширению сфер влияния. Но в нынешнее время сфера VR значительно расширилась и постепенно набирает обороты. Устройств, которые погружают человека в мир виртуальной реальности, становится все больше, совершенствуются технологии, все меньше различий между реальным и виртуальным миром.
Как и говорилось ранее, в первую очередь, технологии VR широко используются в игровой индустрии и сфере развлечений. Разработчики создают интерактивные игры, позволяющие игрокам погружаться в игровое пространство. Различные симуляторы позволяют почувствовать себя, например, пилотом самолета или машинистом поезда. Уже существуют специальные клубы, где каждый посетитель может окунуться в виртуальный мир.
Использование не ограничивается только для развлечения. Неотъемлемую помощь VR может оказать в образовательной сфере. С его помощью можно создать условия, максимально приближенные к реальности. К примеру ученики могут участвовать в сложных опытах, участвовать в исторических событиях, и, конечно же, повысит заинтересованность детей и подростков в образовании. Также существует возможность с помощью VR без всякой опасности для жизни человека создать экстремальные условия, в которых приходится работать многим людям: шахтерам, пожарным, подводникам, военным. И на основе полученных данных о психическом и эмоциональном состоянии испытуемого судить о его готовности к работе в настоящих условиях.
Не остаются в стороне работники здравоохранения. Медикам больше не нужны будут трупы, а уж тем более живые пациенты, для изучения строения организмов и улучшения практических навыков.
Исходя из этого, пользователям крайне важен феномен присутствия или погружения в VR [2]. Данный феномен является предметом изучении психологии, который нередко описывается как мысленное игнорирование компьютера как посредника между человеком и миром, с которым человек взаимодействует. Поэтому необходимо понять, как можно улучшить пользовательский процесс при нахождение в “потустороннем” мире.
В медицинской практике есть множество способов узнать психическое состояние человека, но именно данные энцефалограммы позволяет нам качественно провести анализ мозговых импульсов, которые нам скажут, что в действительности чувствует человек в виртуальной реальности.
На основе этого, было принято создать программный модуль, с помощью которого можно будет считывать показания ЭЭГ человека во время его нахождения в виртуальной реальности, который будет свидетельствовать о степени его погружения.
Одним из предположений будет то, что данный модуль будут использовать и дорабатывать другие разработчики непосредственно работающие с виртуальной реальностью. Поэтому одной из задач стоит разработать такой модуль, дабы ни у кого не возникло проблем с пониманием его структуры, и при этом дать возможность быть независимым от способам получения информации от источника данных.
Актуальность данной работы заключается в том, что при использовании VR-устройств пользователь может ощущать некий дискомфорт или несколько другие ощущение от погружения в виртуальное пространство [3], отличное от задуманного разработчиками, поэтому необходим анализ взаимодействия пользователя с VR-средами.
Итогом данной дипломной работы является гибкий программный модуль считывания показателей ЭЭГ, используемый в среде Unity3D.
По итогам работы был разработан модуль для считывания и анализа ЭЭГ в виртуальной среде. Были получены графические результаты работы, свидетельствующие о том, что разработка шла в верном направлении.
На выходе получен рабочий продукт, который может применяться при анализе в виртуальных средах и не только. В основе данной работы анализ производился на весьма неточном устройстве, поэтому была предусмотрена гибкая замена источника данных, которая позволяет другим разработчикам писать свои реализации под конкретные датчики, не изменяя при этом основную кодовую базу.
Дальнейшей перспективой разработки является внедрение более глубокого анализа ЭЭГ, который, например, может нам подсказать, какие эмоции испытывает человек в конкретный момент времени.
