ПОСТАНОВКА ЗАДАЧИ 4
ОБУЧЕНИЕ С ИСПОЛЬЗОВАНИЕМ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 7
Виртуальная реальность 7
Устройства 7
Иммерсивность виртуальных сред 8
Обучение в VR 9
АНАЛИЗ СУЩЕСТВУЮЩИХ РЕШЕНИЙ 10
Обзор некоторых виртуальных лабораторий и тренажеров 10
Подходы к конструированию сценариев 12
РАЗРАБОТКА СИСТЕМЫ СОЗДАНИЯ ТРЕНАЖЕРОВ В
ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 18
Выбор технологий 18
Unity 18
Библиотека VRTK 18
Библиотека SteamVR 19
Photon Unity Networking 19
Архитектура VR-тренажера 20
Архитектура конструктора сценариев 21
Разработка интерфейса конструктора сценариев 22
Интерфейс пользователя 23
Управление пользователя 25
Многопользовательский режим 27
Интерактивные взаимодействия в виртуальном тренажере 28
Пайплайн создания новых тренажеров 30
Пайплайн для биотехнологической лаборатории ИФА 32
Различия пайплайна при реализации электрофореза 33
Пайплайн для реализации обучения виртуальным операциям в хирургической операционной 33
ЗАКЛЮЧЕНИЕ 34
ИСПОЛЬЗОВАННЫЕ ИСТОЧНИКИ 35
ПРИЛОЖЕНИЕ 37
Программные коды 37
Сейчас вряд ли найдётся область, где ещё нет примеров использования виртуальной реальности, в обучении это разнообразные тренажерные системы, предназначенные для обучения навыкам управления и изучения как гражданской, так и военной техники, включая дистанционное управление техническими средствами; проведение хирургических операций, отработка практических навыков врачебными инструментами у стоматологов; тренажерные системы на основе технологии виртуальной реальности LabView (National Instruments, США); управление разнообразными технологическими процессами, включая совместную работу в коллективе: обучение экипажей судов рыбопромыслового флота, обслуживание железнодорожных станций, атомных станций, и т.п. — ведь виртуальное окружение — это идеальная обучающая среда [1]. Оснащение систем виртуального окружения различными современными устройствами VR (например, перчатками с обратной связью для нативного управления) позволяет создавать тренажеры с большим коэффициентом иммерсивности.
Виртуальные тренажеры — идеальное решение для обучения специалистов, и таким образом, сокращения расходов организации [2]; масштабируемости процесса обучения, беспристрастной оценки деятельности, а также современное средство обеспечения коллективной учебно-методической работы [3].
Министерство образования и науки Российской Федерации в Письмах № ВК-1013/06 (от 21 апреля 2015 г.), в акте “О направлении методических рекомендаций по реализации дополнительных профессиональных программ» [4] выделило, что «в состав программно-аппаратных комплексов должно быть включено ... программное обеспечение, необходимое для осуществления образовательного процесса”, включая “интерактивные среды, виртуальные лаборатории и ..., творческие виртуальные среды...», говоря иначе - виртуальная реальность должна стать неотъемлемой частью образовательного процесса.
Востребованность виртуальных тренажеров во многом зависит от удобства средств их создания. Ключевыми требованиями к системе построения интерактивных средств обучения [5] являются: 1) простота использования - пользователю не нужно иметь специальных компетенций программирования для создания предметного виртуального тренажера, должен иметь профессиональную подготовку, достаточную для его работы как методиста, и базовое владение компьютерными технологиями, когда методист может опираться на интуитивное понимание навигирования и доступности инструментария; 2) универсальность - внедрение системы должно быть возможно практически для любых предметных областей.
Целью выпускной квалификационной работы, таким образом, является разработка универсальной и простой в использовании системы для создания тренажера по выбранной области знаний с погружением в иммерсивную виртуальную реальность.
Для достижения поставленной цели должны быть решены следующие задачи:
1) должна быть разработана архитектура абстрактного тренажера в виртуальной реальности;
2) должен быть предложен пайплайн создания тренажера;
3) должна быть разработана модель обучения в виртуальном тренажере;
4) должна быть разработана архитектура конструктора сценариев тренажера;
5) должен быть разработан конструктор сценариев на основе предложенной архитектуры;
6) должен быть реализован конкретный тренажер в виртуальной реальности.
Чтобы доказать универсальность предложенного подхода необходимо показать основы разработанных инструментов и методик, чем отличаются пайплайны создания тренажеров из разных предметных областей.
В рамках выполнения выпускной квалификационной работы по разработке автоматизированной системы создания многопользовательских тренажеров по выбранной области знаний с погружением в виртуальную реальность:
1. рассмотрены некоторые реализации обучающих тренажеров как с использованием виртуальной реальности, так и автономных решений, в ходе чего выявлены их достоинства и недостатки;
2. на основе этого анализа разработана архитектура VR-тренажера и описаны характеристики достижения иммерсивности;
3. проанализированы подходы реализации конструкторов сценариев в других системах, выявлены их проблемы и недостатки;
4. на основе этого анализа разработан собственный конструктор сценариев, отвечающий основным задачам универсальности и простоты использования;
5. поставлены дальнейшие задачи по его развитию;
6. реализован VR-тренажер биотехнологической лаборатории ИФА;
7. проведен сравнительный анализ пайплайнов для разных предметных областей, показывающий универсальность предложенного подхода.
Данная система готова к использованию и планируется её внедрение в июле 2018 года. Промежуточные результаты работы представлены на итоговой научной студенческой конференции Казанского федерального университета (секция Виртуальная реальность) 2 февраля 2018 года, награждена дипломом 1 степени, а также на международной конференции The 2018 International Conference on Artificial ALife and Robotics. AROB 23nd Anniversary (ICAROB 2018) в Японии (город Беппу) 2-5 февраля 2018 года [14].
Помощь студентам и аспирантам в выполнении работ от наших партнеров
