Введение 4
1. Общее понятие человеко-машинных интерфейсов и виртуальной
реальности 5
2. Инструменты виртуальной реальности 6
2.1 Очки дополненной реальности 6
2.2 Шлемы виртуальной реальности 6
2.3 Системы отслеживания движений головы 7
2.4 Системы отслеживания движения глаз (Айтрекинг) 8
2.5 Перчатки виртуальной реальности (Wired Gloves) 8
2.6 3D контроллеры / 3D мыши 8
2.7 Устройства с обратной связью 9
2.8 Стереоскопические экраны 9
3. Сферы применимости виртуальной реальности и дополненной реальности
3.1 Развлекательная сфера 10
3.2 Образование 11
3.3 Военная промышленность 11
3.4 Здравоохранение 12
3.5 Проектирование 13
4. Погружение в виртуальную реальность 14
4.1 Прямая стимуляция нервной системы 14
4.2 Требования 14
4.3 Манипуляции с ЦНС 15
4.4 Компьютерная техника и программное обеспечение для
обработки входов / выходов 15
5. Типы погружения 16
6. Интеграция средств виртуальной реальности в приложение 18
6.1 Архитектура приложения 22
6.2 Разработка компонентов, отвечающих за поведение пользователя 22
6.3 Реализация инструментов для взаимодействия с интерфейсами 24
7. Проблема взаимодействия пользователя с виртуальной реальностью 27
7.1 Какие решения существуют на данный момент 27
7.2 Принципы дизайна для VR интерфейсов 30
Заключение 33
Список литературы 34
Приложение 36
В последние годы развитие информационных технологий позволило создать технические и психологические феномены, которые в популярной и научной литературе получили название «виртуальной реальности» и «киберпространства». Развитие техники программирования, быстрый рост производительности полупроводниковых микросхем, разработка специальных средств передачи информации человеку, а также обратной связи - все это создало новое качество восприятия и переживаний, осознанные как виртуальные реальности.
Цели:
Разработка фреймворка для демонстрации реальных помещений с помощью виртуальных копий с использованием VR-шлемов.
Задачи:
Выявить сферы применимости устройств и техник «Виртуальной реальности».
Изучить средства реализации «Виртуальной реальности».
Сделать вывод о применимости и возможности реализации программных продуктов для «Виртуальной реальности».
Если смотреть в исторической перспективе, то наступающая эра виртуальной реальности не только грозит стать самой интересной.
Но технологии — дело наживное. Со временем технологические компании дошлифуют устройства виртуальной реальности и доработают интерфейс, в силу чего VR-инструменты позволят нам взаимодействовать с другими так, как никогда раньше. Однако следующей ступенькой на пути к всеобщей виртуализации станет ответ на вопрос, где и как мы будем взаимодействовать в виртуальных пространствах.
Конечно, нам потребовалось около пары поколений, чтобы избавиться от менее эффективных элементов персонального интерфейса, и потребуется еще некоторое время, чтобы преодолеть те проблемы, которые неизбежны в будущем.
Мной было проведено исследование по наиболее успешным подходам к реализации VR приложений, были изучены требования разработчиков к предоставляемому инструментарию. В результате работы был создан фреймворк для взаимодействия с двух и трехмерными интерфейсами в условиях виртуальной реальности. Были изучены подходы к дизайну интерфейсов, удобство использования различных видов интерфейсов в приложении виртуальной реальности. Было предложено решение, позволяющее удобно использовать интерфейсы в виртуальной реальности, не ощущать физического дискомфорта и без ощущения выведения двухмерной картинки вместо трехмерной сцены.
1) Campbell A.G., Santiago K., Hoo D., Mangina E. Future mixed reality educational spaces (2017) FTC 2016 - Proceedings of Future Technologies Conference, art. no. 7821738, pp. 1088-1093.
2) Wang R., Yao J., Wang L., Liu X., Wang H., Zheng L. A surgical training system for four medical punctures based on virtual reality and haptic feedback (2017) 2017 IEEE Symposium on 3D User Interfaces, 3DUI 2017 - Proceedings, art. no. 7893348, pp. 215-216.
3) Эрнст Адамс. Постмодернизм и три типа погружения, Gamasutra, 09.07.2004
4) Kruijff E., Riecke B.E. Navigation interfaces for virtual reality and gaming: Theory and practice (2017) Proceedings - IEEE Virtual Reality, art. no. 7892362, pp. 433-434.
5) Lecuyer A. Playing with Senses in VR: Alternate perceptions combining vision and touch (2017) IEEE Computer Graphics and Applications, 37 (1), art. no. 7819390, pp. 20-26.
6) Yu R., Lages W.S., Nabiyouni M., Ray B., Kondur N., Chandrashekar V., Bowman D.A. Bookshelf and Bird: Enabling real walking in large VR spaces (2017) 2017 IEEE Symposium on 3D User Interfaces, pp. 116¬119.
7) Walch M., Frommel J., Rogers K., Schussel F., Hock P., Dobbelstein D., Weber M. Evaluating VR driving simulation from a player experience perspective (2017) Conference on Human Factors in Computing Systems - Proceedings, Part F127655, pp. 2982-2989.
8) Ariza O.J.N., Lange M., Steinicke F., Bruder G. Vibrotactile assistance for user guidance towards selection targets in VR and the cognitive resources involved (2017) 2017 IEEE Symposium on 3D User Interfaces, 3DUI 2017 - Proceedings, art. no. 7893323, pp. 95-98.
9) Krichenbauer M., Yamamoto G., Taketomi T., Sandor C., Kato H., Feiner S. Evaluating the effect of positional head-tracking on task performance in 3D modeling user interfaces (2017) Computers and Graphics (Pergamon), 65, pp. 22-30.
10) Эдвард Шанкен. Искусство и электронные среды, Лондон: Phaidon, 2009. ISBN 9780714847825