ВВЕДЕНИЕ 5
1 Сравнение с другими методами 7
2 Физическая, аудиовизуальная генерирующая модель 8
2.1 Обзор 8
2.1.1 Физический движок 8
2.1.1.1 Bullet Physics Library 9
2.1.2 Графический движок 9
2.1.2.1 Blender 10
2.1.3 Звуковой движок 10
2.1.3.1 Метод конечных элементов 10
3 Столкновение с вибрацией 12
3.1 Решение волнового уравнения 13
3.2 Оффлайн-онлайн разложение 14
4 Набор данных Sound-20K 15
4.1 Формы 15
4.2 Материалы 16
4.3 Сценарии 16
4.4 Набор данных 17
5 Анализ данных 19
6 Восприятие объекта с аудио-визуальными данными 21
6.1 Данные 21
6.1.1 Physics 101 21
6.1.2 Greatest Hits 21
6.2 Методы 22
6.3 Распознавание материалов 24
6.4 Распознавание атрибутов формы 25
7 Переход от синтетических к реальным данным 27
7.1 Распознавание материала по аудио данных 27
7.2 Распознавание атрибутов формы 29
8 Заключение 30
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 31
В настоящее время активно развивается разработка визуального контента и тактильной составляющей виртуальной реальности. Но слуховая часть слабо разрабатывается либо игнорируется, а это 10% восприятия человеческого мозга, и мы теряем возможность полного погружения человека в виртуальную среду.
Для достижения поставленной цели были сформулированы следующие задачи:
1. Изучить ранее применяемые методы.
2. Определить подходы к созданию генерирующей модели.
3. Определить дизайн генерирующей модели.
4. Изучить методы для реализации генерирующей модели.
5. Реализовать генерирующую модель.
6. Оценить результативность методов.
В данной дипломной работе предлагается альтернативный подход к преодолению трудностей в синтезировании аудиовизуальных данных 3D объектов [9]. Синтезированные звуки будут естественно рассеиваться, а также можно генерировать звук каждого объекта независимо. Структура синтеза данных состоит из трех основных генеративных моделей: физический движок, графический движок и звуковой движок. Физический движок принимает формы объектов, свойства материала и начальные условия в качестве входных данных, а затем имитирует их последующие движения и столкновения. Графический движок отображает видео на основе имитируемого движения объекта. Звуковой движок основан на работе линии звуковой симуляции [5]. Он объединяет предварительно вычисленные данные о форме объектов и их столкновения для точного синтеза звука. Основанная на физике модель генератора контрастирует с недавними методами синтеза нейронных звуков [7].
Основной задачей синтеза данных является достижение подлинного звучания. Чтобы синтетический звук был реалистичным, предполагается проводить сравнения синтезированного звука с реальными записями полученных в экспериментальных условиях. Для этого будет использоваться база данных Sound20K.
В результате выполнения дипломной работы был предложен метод использования синтетических аудиовизуальных данных для точной передачи восприятия физических свойств 3D объектов при их столкновении. Использование синтетических данных дает уникальное преимущество: их относительно легко собирать и расширять, и они полностью аннотированы. Так же был выбран основанный на физике дизайн конвейера, который синтезирует реалистичные аудиовизуальные данные в больших масштабах.
В процессе выполнения дипломной работы были решены следующие задачи:
1. Изучены ранее применяемые методы.
2. Определены подходы к созданию генерирующей модели.
3. Определен дизайн генерирующей модели.
4. Изучены методы для реализации генерирующей модели.
5. Реализована генерирующая модель.
6. Оценена результативность методов.
На данный момент реализована генеративная модель, которая способна привязывать аудио файлы к 3D объектам, основываясь на уже сформированных базах данных, созданных в экспериментальных условиях. Поэтому геймдизайнеры и разработчики виртуальной среды ограничены определенным набором данных. Добавление возможности разработчикам вносить свои уникальные аудио файлы для реализации творческих идей в создании более правдоподобного мира может стать отличной идеей для дальнейшего улучшения
