ВВЕДЕНИЕ 4
Обоснование актуальности выбранной темы 4
Постановка цели и конкретных задач исследования 6
ОПЕРАЦИОННЫЕ В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 7
Виртуальная реальность 7
Иммерсивность виртуальных сред 8
Подходы к реализации операционных в виртуальных средах 10
OssoVR 10
Surgeon Simulator: Experience Reality 11
Механики виртуальной операционной 12
РАЗРАБОТКА ВИРТУАЛЬНОЙ ОПЕРАЦИОННОЙ 14
Выбор технологий 14
Unity 14
SteamVR 14
VRTK 14
PhysX 15
Unity Networking. 15
FMOD 15
Архитектура приложения 16
Компонент User 16
Компонент Mesh Rebuilding 17
Компонент Tools 18
Компонент Object Properties 18
Иммерсивность виртуальной операционной 20
Виртуальное окружение 20
Звуковое сопровождение 21
Обучение в виртуальной операционной 23
Алгоритмы реализации 24
Разрезание мягких тканей виртуальным скальпелем 24
Генерация карты глубины модели 25
Генерация модели по карте глубины 27
Рисование на карте глубины 29
Разведение краёв раны виртуальным расширителем 31
Извлечение внутренних органов наружу 34
Вправление внутренних органов 34
Пережимание с помощью зажима 34
Сшивание краёв раны 35
Система сценариев 35
Многопользовательская система 36
ЗАКЛЮЧЕНИЕ 37
ИСПОЛЬЗУЕМЫЕ ИСТОЧНИКИ 39
ПРИЛОЖЕНИЕ 41
Компьютерная графика в современном мире развивается с каждым днём. Множество компаний, занимающихся разработкой компьютерной графики, создают проекты с новыми технологиями, позволяющими перенестись из реального мира в виртуальный мир.
Новые технологии заменяют обучение в реальной жизни на виртуальное. Например, чтобы научиться летать на самолёте, достаточно специального компьютера с бортовой панелью и программное обеспечение, визуализирующее настоящие полёты. Для изучения редких видов животных и птиц также создаются программы, которые позволяют окунуться в дикую природу и изучать поведение этих животных.
Одной из важнейших технологий виртуальной реальности является проведение медицинских операций. Далее будет рассмотрена реализация технологии виртуальных операций.
В ходе выполнения данной квалификационной работы был проведен объёмный комплекс научных исследований по работе с геометрией в виртуальной реальности в реальном времени и выполнен полный цикл разработки программного продукта, а именно:
1) были изучены способы повышения иммерсивности приложения виртуальной реальности;
2) были проанализированы аналогичные системы;
3) была проведена аналитическая работа по выявлению механик, необходимых при проведении инвазивных хирургических операций;
4) были изучены и выбраны технологии для реализации тренажёра;
5) была проведена аналитическая работа относительно возможных вариантов симуляции механик;
6) были реализованы механики виртуальной операционной;
7) была внедрена система сценариев;
8) была внедрена возможность многопользовательского взаимодействия в одной хирургической операционной;
9) было добавлено общее аудиосопровождение и звуки взаимодействия с телом пациента.
Система готова к использованию и уже есть планы по её улучшению. Промежуточные результаты работы представлены на итоговой научной студенческой конференции Казанского федерального университета (секция Виртуальная реальность) 2 февраля 2018 года, награждена дипломом 1 степени, а также на международной конференции 52nd ESCI Annual Scientific Meeting (ASM) европейского общества клинических исследований European Society for
Clinical Investigation (ESCI), проходящей в Барселоне (Испания) 30 мая 2018 года [10].
Проект вызвал интерес и получил поддержку по программе повышения конкурентоспособности университета. Развитие проекта предполагает интеграцию управления с помощью перчаток виртуальной реальности для развития моторики рук (рис. 23), что также поддержано еще госзаданием РФ на 2018-2019 годы.
