Список сокращений и условных обозначений 3
Введение 5
Постановка задачи 10
Глава 1. Анализ существующих решений 11
1.1 PanDA Pilot 12
1.2 DIRAC Pilot 23
1.3 RADICAL-Pilot 26
Глава 2. Общая архитектура 30
2.1 Workload Management System (WMS) 30
2.2 Формирование задач 32
2.3 Жизненный цикл задач (Jobs) 32
2.4 Взаимодействие WMS и Pilot 33
2.5 Job-executor 33
Глава 3. Архитектура VISOR Pilot 34
Глава 4. Разработка агентского приложения 37
4.1 Выбор стека технологий 37
4.2 Интерфейс взаимодействия с JobExecutor 38
4.3 RabbitMQ 39
4.4 Принимаемые значения статуса задачи 39
4.5 Структура проекта 40
Выводы 42
Заключение 43
Список источников 44
Приложения 49
SPD (Spin Physics Detector) это одна из экспериментальных установок входящих в мегасайнс проект NICA (Nuclotron-based Ion Collider fAcility), которая строится в ОИЯИ (г. Дубна, Россия). Схема комплекса представлена на рисунке 1. Основная цель проводимых на установке исследований - проверка основ квантовой хромодинамики (КХД), фундаментальной теории сильных ядерных взаимодействий, путем изучения поляризованной структуры нуклона и спиновых явлений при столкновении продольно и поперечно поляризованных протонов и дейтронов с энергией центра масс до 27 ГэВ. и светимостью до 1032 см-2 с-1.
Детектор SPD - это универсальный 4п-спектрометр, основанный на современных технологиях. Общее количество каналов регистрации в установке SPD составляет около 500000. С учетом ожидаемой максимальной частоты пересечения пучков около 12 МГц и ожидаемой частоты возникновения интересующих эксперимент событий около 3 МГц, суммарный поток данных с детектора можно оценить как 20 ГБ / с, что эквивалентно 200 ПБ/год (для эксперимента предполагается выделить 30% от времени работы коллайдера). Сбор, обработка и хранение такого объема данных не представляется экономически возможным.
Эксперименты, проводимые на ускорителях, предоставляют возможность исследования взаимодействий ускоренных частиц между собой или с веществом. Такие взаимодействия называются «событием» (ем. рис. 3). Каждое событие не зависит от другого и поэтому может обрабатываться независимо. В обработке данных ФВЭ (Физики Высоких Энергий) событие является наименьшей единицей...
В результате получен шаблон инструмента, позволяющий запускать простые задачи на кластере, а также отслеживать некоторые состояния. Разрабатываемый пилотный проект является критичным компонентом системы и требует дальнейшей доработки.
В дальнейшем планируется усовершенствование пилотного приложения, включая разработку новых модулей и оптимизацию существующих, доработать взаимодействие с остальными системами, провести полноценное тестирование на эмулированных данных и в конечном счёте начать интегрировать систему с прикладным ПО.
