Содержание 1
Введение 2
1. Инструменты виртуальной реальности 3
1.1. Шлемы виртуальной реальности 3
1.2. Перчатки виртуальной реальности 5
1.3. Система отслеживания глаз 6
1.4. VR-контроллеры, джойстики 8
1.5. Контроллеры оружия виртуальной реальности 9
1.6. Платформы виртуальной реальности 10
2. Технологии прогнозирования действий 13
2.1. Предварительная прогрузка игрового мира вне поля зрения пользователя 13
2.2. Компенсация задержки отклика Oculus Rift 15
2.3. Оценка и прогнозирование положения руки 17
2.3.1. Существующие проблемы 18
2.3.2. Прогнозирование положения руки 19
2.3.3. Методы прогнозирования 21
2.3.4. Результаты 22
2.4. Прогнозирование всей руки 24
2.4.1. Прогнозирование классификации действия 26
2.4.2. Прогнозирование положения руки в рамках классификации действия 28
2.5. Прогнозирование саккадического движения глаз с использованием ряда
Тейлора 29
2.5.1. Метод прогнозирования 30
2.5.2. Прогнозирование расстояния перемещения 31
2.5.3. Прогнозирование направления перемещения 32
2.5.3. Сочетание направления и расстояния движения 33
3. Реализация технологии прогнозирования действий пользователя VR 34
3.1. Используемые технологии 34
3.2. Машинное обучение 34
3.3. Реализация 36
Заключение 38
Список использованных источников 39
Приложение
Технология VR - виртуальной реальности, в наше время достигла того уровня развития, при котором стало возможно обсуждение таких терминов как “погружение” и “присутствие”. О полном погружении говорить, конечно, не приходится, как например в произведении Кавахары Рэки “Мастера меча онлайн”, где главные герои, надевая шлем, “отключались” от реального мира, а их сознание переходило в виртуальный мир. Но технологии не стоят на месте, когда-нибудь человечество приблизится к уровню технологий вышеупомянутого произведения. Одним из главных критериев реалистичного виртуального мира, является окружение и то, как игрок может с ним взаимодействовать и влиять на него, а также, как мир отвечает игроку, подстраивается под его действия.
На данный момент практически все виртуальные миры “заскриптованы”, от английского слова script - сценарий, то есть после определенных действий пользователя, произойдет что-то, что написано по сценарию. То есть, все заранее прописано, и , допустим, игра не меняется в зависимости от стиля прохождения игрока. Прогнозирование намерений игрока не только поможет разнообразить виртуальный мир, но также оно может облегчить управление аватаром пользователя. Но для того, чтобы система могла предугадать намерения игрока, она должна каким-то образом считывать его действия. Для этих целей существуют инструменты виртуальной реальности.
В ходе выполнения настоящей дипломной работы были изучены существующие системы прогнозирования, а также спроектирована собственная система, позволяющая прогнозировать дальнейшие действия пользователя приложения. Получен бесценный опыт изучения документации и принципов работы машинного обучения и игрового движка Unity3D.
Наиболее важным результатом проведенной работы стала разработка и реализации системы прогнозирования намерений пользователя в VR при помощи расшифровки устойчивых последовательностей его действий.
Таким образом, все поставленные перед дипломной работой задачи выполнены в полном объеме.
