Разработка библиотеки для портирования приложений с трехмерной графикой, использующих конвейер фиксированной функциональности, на метод трассировки путей
Введение 4
1. Постановка задачи 7
2. Обзор 8
2.1. Предметная область 8
2.2. Существующие решения 15
2.3. Используемые технологии 16
3. Архитектура 17
3.1. Интерфейс библиотеки 17
3.2. Структура компонент библиотеки 23
4. Реализация библиотеки 25
4.1. Обработка данных для отрисовки 25
4.2. Инструменты разработки 31
4.3. Отрисовка 33
5. Апробация библиотеки 46
5.1. Геометрия 47
5.2. Логика отрисовки 48
5.3. Портирование на x64 50
Заключение 52
Список литературы 53
Одной из главных проблем компьютерной графики является отрисовка трехмерных сцен, то есть набора трехмерных объектов, их свойств, источников света и камеры, с точки зрения которой и производится от- рисовка сцены. При этом в интерактивных приложениях необходимо поддерживать высокую частоту смены кадров: чем плавнее анимированное изображение, тем легче пользователю его воспринимать.
С начала 90-х годов XX века самым распространённым методом решения этой проблемы является растеризация — преобразование трех-мерных объектов, представленных в виде набора треугольников, в пик-сели на экране (рис. 1). Этот метод наиболее популярен из-за высокой производительности и гибкости. Тем не менее, растеризация имеет недостатки: для создания реалистичного освещения необходимо ис-пользовать большое количество различных техник для каждой отдельной ситуации в трехмерной сцене.
Графическим конвейером называют последовательность операций над трехмерными объектами и их свойствами, которые необходимы для отрисовки трехмерных сцен. Различают два вида графического конвейера для растеризации: фиксированной функциональности и шейдерный. Они отличаются тем, что шейдерный контейнер даёт разработчикам возможность переделывать/вставлять отдельные части с помощью программ, запускаемых на видеокарте — шейдеров. Конвейер фиксированной функциональности позволяет настраивать только определенные параметры, например, вершины треугольников, которые обрабатываются только одним заданным способом, а в шейдерном конвейере для этого необходимо реализовать программу, что позволяет задавать практически любую логику для обработки вершин на графическом процессоре: скелетная анимация, системы частиц и др.
Рис. 2: При трассировке производится обход пикселей буфера кадра и запуск лучей в сцену из них.
Наряду с растеризацией, имеется метод трассировки лучей, который позволяет рассматривать расчёт освещения в трехмерной сцене более обобщенно, чем при растеризации. Трассировка лучей отличается от растеризации тем, что вместо последовательной отрисовки каждого от-дельного объекта, в сцену испускаются лучи от камеры, и в зависимости от того, в какой объект попал луч, окрашивается пиксель (рис. 2). При этом разработчики самостоятельно задают логику взаимодействия лучей и объектов — следует ли лучу отразиться, преломиться и т.д. Взаимодействуя с разными поверхностями, луч строит некоторый путь, и если в каждой точке пересечения луча и сцены вычислять уравнение отрисовки (rendering equation) [9], то такой метод называется трассировкой путей. Он позволяет создавать реалистичное освещение, тени и полутени, корректные отражения и др. Однако каждый запуск отдельного луча сопровождается высокой нагрузкой на видеокарту. Ситуация усугубляется тем, что на один пиксель необходимо запустить хотя бы несколько лучей, а на экранах пользователей таких пикселей — миллионы.
Из-за низкой производительности метод отрисовки лучей долгое время использовался только в системах, где нет жестких ограничений на время отрисовки одного кадра. Но с дальнейшим значительным увеличением мощностей пользовательских видеокарт и появлением графических процессоров NVIDIA Turing (2018 год) [30] данный метод стал доступен и для приложений с высокой частотой смены кадров.
Значительное различие между двумя концепциями — растеризацией и трассировкой путей, — а также высокая нагрузка на видеокарту во время расчета пересечений лучей, являются главными причинами сложности портирования приложений с одного метода на другой. Поэтому необходимо решение, которое позволяло бы автоматизировать перенос приложения с трехмерной графикой с растеризационного метода на трассировку путей. Главная мотивация такого портирования заключается в отрисовке более реалистичного и динамичного освещения, так как большинство целевых приложений используют такую технику, как карта теней, главным недостатком которой является статичность, то есть при изменении состояния сцены освещение в ней не меняется, на-пример, если объект сдвинулся, то его тень всё ещё будет в прежнем положении.
Создание такого решения для произвольных приложений трудоёмко, поэтому данная работа направлена на приложения, использующие фиксированный графический конвейер. Это связано с тем, что в такого типа конвейере, разработчикам даётся меньше свободы во взаимодействии с графическим процессором (в связи с архитектурой графических ускорителей в конце 90-х гг.), поэтому и в создаваемой библиотеке необходимо рассмотреть и реализовать значительно меньшее количество различных случаев, по сравнению с шейдерным конвейером.
В ходе данной работы были получены следующие результаты.
• Спроектированы интерфейс и архитектура библиотеки для отрисовки трехмерной графики с помощью трассировки лучей и выводом полученного изображения в графическое окно. Библиотека предназначена для приложений с конвейером фиксированной функциональности. Реализация произведена на языке Cd—и графическом API Vulkan.
• Реализована система для обработки геометрии, материалов и источников света в библиотеке.
• Реализована система отрисовки в библиотеке, позволяющая рассчитывать прямое и непрямое освещение посредством трассировки путей с минимальным количеством лучей, а также реализован алгоритм A-SVGF устранения шума для освещения. Реализована отрисовка полупрозрачных объектов с помощью растеризации.
• Проведена апробация с помощью реализации адаптера между библиотекой и целевым приложением, позволяющего использовать трассировку путей в видеоигре “Serious Sam: The First Encounter”.
