Введение 3
Постановка задачи и основной функционал 4
Глава 1. Анализ существующих решений 5
1.1 Oculus 5
1.2 YouTube 6
Глава 2. Пространственная локализация аудио сигнала 7
2.1 Локализация по временной разнице (фазовая локализация) 8
2.2 Локализация по разнице амплитудно-частотного спектра 9
2.3 Локализация по уровню интенсивности 11
2.4 Эффект Доплера 12
Глава 3. Используемые технологии 14
3.1 VisualStudio 14
3.2 OpenAL 14
3.5 YouTube-Dl 22
3.3 NAudio 23
3.4 ffMpeg 24
Глава 4. Варианты использования 26
4.1 Модель ВИ 26
4.2 Спецификации ВИ 27
Глава 5. Прототип приложения 32
5.2 Диаграмма формы приложения 33
Заключение 34
Литература 35
VR (Виртуальная реальность) очень быстро распространяется в нашем мире, и стремится занять важное место в жизни людей. Потенциал VR практически безграничен. Находясь в VR, человек может делать все, начиная от игры во что-либо, и заканчивая обучением сложнейшим хирургическим операциям, экскурсиям в различные места планеты, безопасному проведению опытов. Создатели этой технологии стремятся дать человеку возможность максимально погрузиться в процесс, какой бы он ни был. Для этого используются удобные шлемы, двигающиеся платформы, и иные различные гаджеты. Но одним из ключевых вариантов является пространственное 3D звучание. Человек должен чувствовать свое присутствие в иной реальности не только глазами, но и ушами, ведь звук неотъемлемая часть восприятия человека.
Поэтому было принято решение разработать приложение, позволяющее услышать виртуальную реальность. И была поставлена цель: Разработка кроссплатформенной библиотеки для построения пространственной модели источников звука, учитывающей угол поворота устройства (VR-шлема или телефона).
В ходе выполнения выпускной квалификационной работы были получены навыки работы с различными форматами аудио, проведен анализ различных существующих способов локализации звука и основные подходы обработки аудио данных. Реализованы методы приведения различных форматов аудио к необходимому. Реализована кроссплатформенная библиотека и приложение для загрузки, подготовки и воспроизведения пространственного аудио с возможностью синхронизации ее с углом поворота устройства имеющего гироскоп. Реализована возможность воспроизведения аудио из 360 видеофайлов YouTube. Достигнуты все поставленные цели и задачи.
В дальнейшем планируется:
• Искусственно генерировать виртуальные источники звуков из стереосигнала.
