Использование современных Web-технологий для виртуализации платформы вычислений на основе GPU
|
ВВЕДЕНИЕ 3
ПОСТАНОВКА ЗАДАЧИ 5
1. Предварительные объяснения 5
2. Постановка задачи 6
ГЛАВА 1: ПРОИЗВОДИТЕЛЬНОСТЬ WEBGPU 9
1. Постановка задачи исследования 9
2. Проведение исследования 9
3. Анализ результатов исследования 10
ГЛАВА 2: РАСШИРЕНИЕ ВИРТУАЛИЗАЦИИ? 12
1. Постановка задачи исследования 12
2. Проведение исследования 13
3. Анализ результатов исследования 14
ГЛАВА 3: СОЗДАНИЕ ПЛАТФОРМЫ 15
1. Постановка конкретных задач 15
2. Выбор технологий 16
3. Продумывание архитектуры 17
4. Работа над требованием: редактор кода 19
5. Работа над требованиями: контрольная панель, элементы удобства и разработка для
людей с ограниченными возможностями 21
6. Разработка основного ядра взаимодействия с WebGPU 24
7. Работа над требованием: вывод ошибок и уведомлений 27
8. Работа над требованием: использование JavaScript для ввода и вывода данных 29
ГЛАВА 4: ДЕМОНСТРАЦИЯ РАБОТЫ ПЛАТФОРМЫ 31
1. Демонстрация работы в платформе 31
2. Выводы по работе в платформе 34
НЕДОСТАТКИ ПЛАТФОРМЫ 35
ЗАКЛЮЧЕНИЕ 37
Приложения 42
1. Приложение А: HTML и JavaScript-код для эксперимента 42
2. Приложение Б: OpenCL-код для эксперимента 48
3. Приложение В: Связующий Python-код для эксперимента 49
4. Приложение Г: Python-код для генерации матриц 50
ПОСТАНОВКА ЗАДАЧИ 5
1. Предварительные объяснения 5
2. Постановка задачи 6
ГЛАВА 1: ПРОИЗВОДИТЕЛЬНОСТЬ WEBGPU 9
1. Постановка задачи исследования 9
2. Проведение исследования 9
3. Анализ результатов исследования 10
ГЛАВА 2: РАСШИРЕНИЕ ВИРТУАЛИЗАЦИИ? 12
1. Постановка задачи исследования 12
2. Проведение исследования 13
3. Анализ результатов исследования 14
ГЛАВА 3: СОЗДАНИЕ ПЛАТФОРМЫ 15
1. Постановка конкретных задач 15
2. Выбор технологий 16
3. Продумывание архитектуры 17
4. Работа над требованием: редактор кода 19
5. Работа над требованиями: контрольная панель, элементы удобства и разработка для
людей с ограниченными возможностями 21
6. Разработка основного ядра взаимодействия с WebGPU 24
7. Работа над требованием: вывод ошибок и уведомлений 27
8. Работа над требованием: использование JavaScript для ввода и вывода данных 29
ГЛАВА 4: ДЕМОНСТРАЦИЯ РАБОТЫ ПЛАТФОРМЫ 31
1. Демонстрация работы в платформе 31
2. Выводы по работе в платформе 34
НЕДОСТАТКИ ПЛАТФОРМЫ 35
ЗАКЛЮЧЕНИЕ 37
Приложения 42
1. Приложение А: HTML и JavaScript-код для эксперимента 42
2. Приложение Б: OpenCL-код для эксперимента 48
3. Приложение В: Связующий Python-код для эксперимента 49
4. Приложение Г: Python-код для генерации матриц 50
Сегодня можно уверенно утверждать, что Web-браузер является незаменимой компонентой практически любого персонального устройства — от компьютера до смартфона. Действительно, найти его можно практически где угодно, и, открыв его, можно увидеть, что за последние десятилетия Web-технологии совершили ощутимый прогресс: из простого средства передачи текстовых документов и информационных ресурсов они превратились в полноценную платформу для разработки самых разнообразных приложений: от простых калькуляторов до 3Б-игр и редакторов изображений и видео. Это объясняется в первую очередь удобством и универсальностью Web-платформы — приложения на ней не нужно устанавливать и обновлять, они доступны по запросу и за счёт возможностей в плане виртуализации (в смысле абстракции от аппаратных ресурсов) такие приложения пишутся в одном экземпляре и сразу доступны практически на любой операционной системе. Так, можно сказать, что Web-браузер представляет собой ещё одну абстракцию — полноценную платформу, работающую на базе другой, нативной платформы в виде операционной системы.
В то же время в данный момент активно развивается такое направление, как GPGPU — General-Purpose computing on Graphics-Processing Units, или же вычисления при помощи GPU, которое позволяет нам использовать графические процессоры скорее не для непосредственно графики, а для решения более общих вычислительных задач. Такой подход применяется, когда задача предполагает выполнение однотипных операций над однородным, обычно большим объёмом данных (в отличие от вычислений на CPU, где предполагаются гетерогенные операции над различными и разнородными данными). В частности, GPGPU активно применяется в таких областях, как криптография и решение задач машинного обучения и искусственного интеллекта.
Как и с другими направлениями, существует множество решений для осуществления вычислений на GPU, из самых известных можно отметить CUDA [1] и OpenCL [2]. Вместе с тем, начиная работу с ними и, в частности, обучаясь процессу вычисления на GPU как направлению можно столкнуться с тем, что они довольно сложны как в плане установки и настройки (часто приходится действовать в соответствии с длинными и запутанными инструкциями для конкретной операционной системы), так и в плане взаимодействия. К тому же, иногда требуется использование специального оборудования, которое может быть не у всех: так, та же CUDA, разрабатываемая компанией NVIDIA, предназначена только для использования на GPU, произведённых самой NVIDIA.
Следовательно, хотелось бы иметь такую виртуализированную платформу, на которой можно было бы практиковаться работе с GPGPU или же демонстрировать такие вычисления в аудитории, не прибегая к установке и настройке больших программных продуктов, желательно на как можно более обширном круге устройств. Возникает резонный вопрос: можно ли для этих целей использовать уже виртуализированную платформу Web-браузера? Ведь, если посмотреть со стороны, это кажется вполне логично — характеристики Web-платформы, описанные выше, как раз подходят под те требования, которые мы поставили для нашей платформы. И, на самом деле, такая возможность существует, и в ходе данной выпускной квалификационной работы подобная платформа действительно была реализована.
В то же время в данный момент активно развивается такое направление, как GPGPU — General-Purpose computing on Graphics-Processing Units, или же вычисления при помощи GPU, которое позволяет нам использовать графические процессоры скорее не для непосредственно графики, а для решения более общих вычислительных задач. Такой подход применяется, когда задача предполагает выполнение однотипных операций над однородным, обычно большим объёмом данных (в отличие от вычислений на CPU, где предполагаются гетерогенные операции над различными и разнородными данными). В частности, GPGPU активно применяется в таких областях, как криптография и решение задач машинного обучения и искусственного интеллекта.
Как и с другими направлениями, существует множество решений для осуществления вычислений на GPU, из самых известных можно отметить CUDA [1] и OpenCL [2]. Вместе с тем, начиная работу с ними и, в частности, обучаясь процессу вычисления на GPU как направлению можно столкнуться с тем, что они довольно сложны как в плане установки и настройки (часто приходится действовать в соответствии с длинными и запутанными инструкциями для конкретной операционной системы), так и в плане взаимодействия. К тому же, иногда требуется использование специального оборудования, которое может быть не у всех: так, та же CUDA, разрабатываемая компанией NVIDIA, предназначена только для использования на GPU, произведённых самой NVIDIA.
Следовательно, хотелось бы иметь такую виртуализированную платформу, на которой можно было бы практиковаться работе с GPGPU или же демонстрировать такие вычисления в аудитории, не прибегая к установке и настройке больших программных продуктов, желательно на как можно более обширном круге устройств. Возникает резонный вопрос: можно ли для этих целей использовать уже виртуализированную платформу Web-браузера? Ведь, если посмотреть со стороны, это кажется вполне логично — характеристики Web-платформы, описанные выше, как раз подходят под те требования, которые мы поставили для нашей платформы. И, на самом деле, такая возможность существует, и в ходе данной выпускной квалификационной работы подобная платформа действительно была реализована.
В ходе выпускной квалификационной работы мы поставили себе цель создать виртуализированную (в плане абстракции от аппаратного обеспечения) за счёт средств Web-браузера платформу, на которой можно было бы практиковаться работе с GPGPU или же продемонстрировать работу с GPGPU, не прибегая к установке и настройке больших программных продуктов.
Можно смело утверждать, что с задачей мы справились успешно: в результате работы было сделано обладающее ключевым функционалом и готовое к расширению приложение, которое выполняет все предъявленные требования. Также можно отметить, что приложение обладает автоматическими unit-тестами и внутренней документации в виде комментариев, по которым можно сгенерировать внешнюю документацию в виде Web-страниц — это может помочь сторонним разработчикам быстрее включиться в работу с приложением, а также на протяжении всего периода разработки улучшать его качество.
Безусловно, имеются направления, которых работа может развиваться далее. Так, в будущем, когда инструменты для работы с WebGPU будут более развитыми (или обладая достаточными ресурсами для создания подобных инструментов самостоятельно) можно вновь вернуться к вопросу о расширении понятия виртуализации, чтобы платформа поддерживала не только WGSL, а, скажем, также и OpenCL — это было бы ещё более полезно с практической точки зрения, так как такие платформы куда более популярны, чем тот же WGSL.
Также можно доработать платформу до полноценной платформы GPGPU, а не только ограничившись теми целями, которые мы перед собой поставили. Для этого нужно, например, сделать поддержку настройки пределов использования памяти, поддержку нескольких WGSL программ и создания связей между ними, их полноценное сохранение. Это определённо потребует времени и, скорее всего, значительной переработки хотя бы интерфейса приложения.
Можно также предложить развивать подобные платформы для каких-нибудь специфичных GPGPU-задач, например для популярной сегодня области машинного обучения, то есть вместо абстрактного интерфейса придумать, как оптимизировать его под конкретную область, и предоставить API для удобства работы в этой области.
Отмечу, что всем этим направлениям ещё предстоит пережить пик интереса к ним, скорее всего это произойдёт в тот момент, когда WebGPU и WGSL стабилизируются и окончательно станут частью любого современного Web-браузера (то есть где-то через 5-10 лет).
Основа для этих направлений деятельности, я надеюсь, была создана уже сегодня, вместе с этой выпускной квалификационной работой. При желании, с текущей версией проекта всегда можно будет ознакомиться по следующей ссылке: https://github.com/gpu- browser-project/gpu-browser-project. Надеюсь, что он окажется полезен для тех, кто хотел бы развивать данную тему в будущем. Также код, предоставленный в Приложениях, может оказаться полезен для повторения проведённых экспериментов в будущем с целью обзора улучшений WebGPU и WGSL в плане производительности.
Можно смело утверждать, что с задачей мы справились успешно: в результате работы было сделано обладающее ключевым функционалом и готовое к расширению приложение, которое выполняет все предъявленные требования. Также можно отметить, что приложение обладает автоматическими unit-тестами и внутренней документации в виде комментариев, по которым можно сгенерировать внешнюю документацию в виде Web-страниц — это может помочь сторонним разработчикам быстрее включиться в работу с приложением, а также на протяжении всего периода разработки улучшать его качество.
Безусловно, имеются направления, которых работа может развиваться далее. Так, в будущем, когда инструменты для работы с WebGPU будут более развитыми (или обладая достаточными ресурсами для создания подобных инструментов самостоятельно) можно вновь вернуться к вопросу о расширении понятия виртуализации, чтобы платформа поддерживала не только WGSL, а, скажем, также и OpenCL — это было бы ещё более полезно с практической точки зрения, так как такие платформы куда более популярны, чем тот же WGSL.
Также можно доработать платформу до полноценной платформы GPGPU, а не только ограничившись теми целями, которые мы перед собой поставили. Для этого нужно, например, сделать поддержку настройки пределов использования памяти, поддержку нескольких WGSL программ и создания связей между ними, их полноценное сохранение. Это определённо потребует времени и, скорее всего, значительной переработки хотя бы интерфейса приложения.
Можно также предложить развивать подобные платформы для каких-нибудь специфичных GPGPU-задач, например для популярной сегодня области машинного обучения, то есть вместо абстрактного интерфейса придумать, как оптимизировать его под конкретную область, и предоставить API для удобства работы в этой области.
Отмечу, что всем этим направлениям ещё предстоит пережить пик интереса к ним, скорее всего это произойдёт в тот момент, когда WebGPU и WGSL стабилизируются и окончательно станут частью любого современного Web-браузера (то есть где-то через 5-10 лет).
Основа для этих направлений деятельности, я надеюсь, была создана уже сегодня, вместе с этой выпускной квалификационной работой. При желании, с текущей версией проекта всегда можно будет ознакомиться по следующей ссылке: https://github.com/gpu- browser-project/gpu-browser-project. Надеюсь, что он окажется полезен для тех, кто хотел бы развивать данную тему в будущем. Также код, предоставленный в Приложениях, может оказаться полезен для повторения проведённых экспериментов в будущем с целью обзора улучшений WebGPU и WGSL в плане производительности.
Содержание выпускной квалификационной работы, - Использование современных Web-технологий для виртуализации платформы вычислений на основе GPU
Выдержки из выпускной квалификационной работы, - Использование современных Web-технологий для виртуализации платформы вычислений на основе GPU