СОДЕРЖАНИЕ 1
ВВЕДЕНИЕ 2
1. ЛОКАЛИЗАЦИЯ 4
1.1. Определение и возможности. 4
1.2. Принцип работы. 5
2. СПАТИАЛИЗАЦИЯ 9
2.1. Устаревшие методы. 9
2.2. HRTF. 10
3. РОЛЬ НАУШНИКОВ В ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ 12
3.1. Т ипы наушников: 12
4. ЗВУКИ ОКРУЖЕНИЯ 14
4.1. Ключевые характеристики. 14
4.2. Проблемы, связанные с эмбиентом. 15
5. САУНД ДИЗАЙН 16
5.1. Работа с исходниками. 16
5.2. Взаимодействие со сценой. 17
5.3. Производительность. 18
6. РЕАЛИЗАЦИЯ АДАПТИВНОГО САУНД-ДИЗАЙНА 19
6.1. Подбор инструментов. 19
6.2. Подбор семплов. 21
6.3. Система озвучки процесса разрезания и раздвигания кожи и мышечной ткани во время
операции. Озвучка хирургических инструментов. 22
6.4. Звуковой дизайн помещения. 23
6.5. Коммутация в проекте. 25
6.6. Написание необходимых партий для музыкального сопровождения и последующее
построение из них системы вариативного адаптивного саундтрека. 26
7. ОЦЕНКА КАЧЕСТВА САУНД-ДИЗАЙНА 34
ЗАКЛЮЧЕНИЕ 40
ГЛОССАРИЙ 41
ИСПОЛЬЗОВАННЫЕ ИСТОЧНИКИ 45
ПРИЛОЖЕНИЕ 47
Технологии отображения виртуальной реальности в наше время достигли того уровня развития, при котором стало возможно обсуждение таких терминов как “погружение” и “присутствие”. Но настоящее погружение в виртуальную реальность невозможно без соответствующего уровня развития технологий и контента в сфере звука в VR. Так почему же звук так сильно влияет на уровень погружения?
Каждый звукорежиссер при работе с VR сталкивается с группой наиболее важных аспектов звукового оформления в виртуальной реальности:
1. Усиление восприятия размера объектов, пространства вокруг и расстояния до объектов. Это наиболее важные и обсуждаемые детали в звуковом оформлении в VR.
2. Усиление восприятия движения тела пользователя в пространстве.
3. Усиление восприятия движения объектов. Существует огромная разница между тем, чтобы быть способным увидеть, как что-то двигается вокруг, и быть способным одновременно видеть и слышать движение предметов вокруг.
Все эти пункты в совокупности позволяют нам буквально “склеивать” визуальные сцены воедино. Какой бы выдающейся не была созданная сцена, если действие в ней происходит абсолютно беззвучно - она теряет огромную долю потенциального воздействия на игрока. Это хорошо заметно, когда речь идет о шумах. К примеру, если мы видим сцену полную народа, мы на подсознательном уровне готовимся услышать гул и бормотание толпы. Если мы находимся на берегу моря - мы готовы к тому, чтобы услышать звуки прилива воды к берегу. Для реализации подобного воздействия нам необходимо прибегнуть к звукам окружения (англ. “ambience”) инструментам ориентации в пространстве - спатиализация (“spatialization”).
Все эти знания будут использованы при реализации системы звукового дизайна для симулятора хирургических операций в виртуальной реальности. Задачи, поставленные в этой дипломной работе, имеют междисциплинарный характер, но соответствуют задачам из области «прикладной информатики».
Прежде чем перейти к непосредственно описанию этой системы, необходимо пролить свет на важнейшие аспекты создания реалистичного звукового окружения в виртуальной реальности.
Технологии виртуальной реальности относительно молодое направление для исследований. Но тем не менее, оно уже прошло некоторый путь развития, и не стоит на месте и по сей день. Сейчас появляется все больше актуальных и новых инструментов, для увеличения иммерсивности в VR, и такие технологии как спатиализация звука играют в них огромную роль, ведь именно звук является тем самым ингредиентом, который позволяет объединить все, что происходит на сцене в цельный и однородный сюжет.
В этой работе были исследованы основные принципы и подходы достоверного звукового дизайна окружения в виртуальной реальности. Были подробно изучены такие важные аспекты работы над объемным звуком, как локализация, спатиализация, HRTF.
Подробное освещение получила так же тема организации системы адаптивного и вариативного звукового и музыкального дизайна. Были рассмотрены различные подходы к реализации многих аспектов создания вариативного саундтрека для проектов с подобной игровой структурой.
Со ссылкой на протокол AQUA была проведена оценка качества выполненной работы, что позволило убедиться в целесообразности и актуальности проведенных исследований и практических реализаций идей.
Полученные результаты выполнены на уровне, позволяющем использовать эти наработки даже в коммерческом проекте, или же использовать их в качестве референсов для дальнейшей работы в этом направлении. Итоговый результат вполне возможно расширить дополнениями как в практической, так и теоретической части, что позволит поднять уровень качества выполненной работы на еще более высокий уровень.
