Список сокращений и условных обозначений 3
Введение 4
Организация SPD Online Filter 6
Постановка задачи 9
Глава 1. Обзор существующих решений и инструментов 10
ATLAS production system 10
Использование готовых инструментов для управления процессом обработки данных. Apache Airflow 13
Глава 2. Определение требований к WfMS 15
Функциональные требования к системе wfms 15
Основные шаги обработки данных: 16
Глава 3. Организация данных 17
Входные данные 17
Промежуточные данные 17
Выходные данные 18
Глава 4. Взаимодействие с другими системами SPD Online Filter 19
Взаимодействие с Data Management System 19
Взаимодействие с Workload Management System 24
Глава 5. Сервисы Workflow Management System 30
Сервис для взаимодействия с оператором обработки данных 31
Сервис для опроса DMS 37
Сервис для генерации заданий 38
Сервис для опроса WMS и удаления промежуточных данных 41
Выбор технологий 44
Выбор языка программирования 44
Выбор асинхронного фреймворка 44
Выбор брокера сообщений 45
RabbitMQ 46
Apache Kafka 47
Глава 6. Итоговая архитектура Workflow Management System 49
Заключение 52
Список литературы 53
SPD (Spin Physics Detector) это строящийся эксперимент на коллайдере NICA, мегасайенс-установке, которая строится в ОИЯИ (г.Дубна, Россия) см. Рис. 1.
Основная цель эксперимента — проверка основ квантовой хромодинамики путем изучения поляризованной структуры нуклона и спиновых явлений при столкновении продольно и поперечно поляризованных протонов и дейтронов с энергией центра масс до 27 ГэВ и светимостью до 1032 см-2 с-1.
Детектор SPD задуман как универсальный 4п-спектрометр, основанный на современных технологиях. Общее количество каналов регистрации в установке SPD составляет около 500000. С учетом ожидаемой максимальной частоты возникновения интересующих взаимодействий пучков частиц около 3 МГц, суммарный поток данных с детектора можно оценить как 20 ГБ / с, что эквивалентно 200 ПБ/год (для эксперимента предполагается выделить 30% пучкового времени коллайдера). Сбор, обработка и хранение такого объема данных представляет собой серьезную проблему для вычислительной инфраструктуры эксперимента и требует разработки новых методов и подходов для реконструкции событий, моделирования и физического анализа данных с использованием высокопроизводительных и распределенных вычислений.
Существенный объем получаемых с детектора данных не будет являться практически значимым для конкретного физического исследования, однако применение методики отбора данных по триггерному сигналу не применимо к детектору SPD ввиду его конструктивных особенностей. Для решения задачи первоначальной подготовки и фильтрации данных ведется разработка специализированной вычислительной системы SPD Online Filter. Для разработки данной системы необходимо учитывать, что процессы обработки данных являются многоступенчатыми: необходимо выявлять «события» в полученных с DAQ данных, фильтровать события по заданным критериям, оптимизировать данные для обработки, передачи и хранения и т.д.
В результате получен сервис, позволяющий задавать шаблоны цепочек обработки данных, запускать в параллельном режиме цепочки обработки данных, а также отслеживать их состояние. Разрабатываемая система управления процессом обработки данных является важной компонентой всей системы SPD Online Filter и требует дальнейшей доработки.
В дальнейшем планируется доработка данной системы.
