Тип работы:
Предмет:
Язык работы:


Проектирование агентского приложения для специализированной распределенной вычислительной системы SPD Online filter

Работа №126949

Тип работы

Магистерская диссертация

Предмет

информатика

Объем работы52
Год сдачи2023
Стоимость4860 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
16
Не подходит работа?

Узнай цену на написание


Список сокращений и условных обозначений 3
Введение 5
Постановка задачи 10
Глава 1. Анализ существующих решений 11
1.1 PanDA Pilot 12
1.2 DIRAC Pilot 23
1.3 RADICAL-Pilot 26
Глава 2. Общая архитектура 30
2.1 Workload Management System (WMS) 30
2.2 Формирование задач 32
2.3 Жизненный цикл задач (Jobs) 32
2.4 Взаимодействие WMS и Pilot 33
2.5 Job-executor 33
Глава 3. Архитектура VISOR Pilot 34
Глава 4. Разработка агентского приложения 37
4.1 Выбор стека технологий 37
4.2 Интерфейс взаимодействия с JobExecutor 38
4.3 RabbitMQ 39
4.4 Принимаемые значения статуса задачи 39
4.5 Структура проекта 40
Выводы 42
Заключение 43
Список источников 44
Приложения 49


SPD (Spin Physics Detector) [1]это одна из экспериментальных установок входящих в мегасайнс проект NICA (Nuclotron-based Ion Collider fAcility) [2], которая строится в ОИЯИ (г. Дубна, Россия) [3]. Схема комплекса представлена на рисунке 1. Основная цель проводимых на установке исследований - проверка основ квантовой хромодинамики (КХД), фундаментальной теории сильных ядерных взаимодействий, путем изучения поляризованной структуры нуклона и спиновых явлений при столкновении продольно и поперечно поляризованных протонов и дейтронов с энергией центра масс до 27 ГэВ. и светимостью до 1032 см-2 с-1.
Детектор SPD (рис. 2) - это универсальный 4п-спектрометр, основанный на современных технологиях [4]. Общее количество каналов регистрации в установке SPD составляет около 500000. С учетом ожидаемой максимальной частоты пересечения пучков около 12 МГц и ожидаемой частоты возникновения интересующих эксперимент событий около 3 МГц, суммарный поток данных с детектора можно оценить как 20 ГБ / с, что
эквивалентно 200 ПБ/год (для эксперимента предполагается выделить 30% от времени работы коллайдера). Сбор, обработка и хранение такого объема данных не представляется экономически возможным.
Эксперименты, проводимые на ускорителях, предоставляют возможность исследования взаимодействий ускоренных частиц между собой или с веществом. Такие взаимодействия называются «событием» (ем. рис. 3). Каждое событие не зависит от другого и поэтому может обрабатываться независимо. В обработке данных ФВЭ (Физики Высоких Энергий) событие является наименьшей единицей. 
На выходе из DAQ получается наборы сигналов с сенсоров, организованных во временные блоки, превосходящие по времени период между событиями (в одном таком блоке предполагается несколько событий). В случае с триггерной системой, эти сигналы сразу же ассоциированы с каким либо событием, а в случае с безтриггерной системой из полученного набора агрегированных с разных сенсоров сигналов нужно сначала выявить события, а затем уже отобрать нужные. Безтригеррный DAQ используется для того, чтобы минимизировать систематическую ошибку при изучении микроскопических эффектов. Количество файлов на выходе из DAQ в безтриггерной системе существенно возрастает. Эти файлы можно обрабатывать независимо. В связи с этим необходима специализированная высокопропускная вычислительная система, которая бы обеспечивала:
• выявление наборов сигналов ассоциированных с событиями,
• из числа выявленных событий отбор только тех, которые необходимы в рамках текущего физического исследования,
• подготовка данных для систем мониторинга данных и прочей первичной обработки.
За все эти процессы отвечает вычислительная установка SPD OnLine Filter.

Рис. 5. Основные составляющие SPD Online Filter.
Для реализации всей системы предполагается разработка следующих компонент (рис. 5):
• Система управления данными (регистрация новых данных, каталогизация/структуризация, контроль целостности)
• Система управления процессом (составление набора заданий для каждого шага процесса обработки)
• Система управления нагрузкой, которую условно можно разделить на северную часть, отвечающую за контроль обработки наборов данных путем формирования достаточно количества задач и агентское приложение, пилот, которое обеспечивает выполнение задач на вычислительных узлах.
Постановка задачи
Основным моим направлением на проекте является разработка агентского приложения. Целью данной дипломной работы послужило проектирование данной системы, куда вошли следующие задачи:
• Изучение организации многоступенчатой обработки потока данных в системе «SPD On-Line filter»;
• Изучение существующих решений для агентских приложений;
• Проектирование внутренних и внешних интерфейсов взаимодействия пилотного приложения и серверной компоненты системы управления нагрузкой ;
• Спроектировать и оптимизировать архитектуру пилота;
• Выбор стека технологий и прототипирование;

Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!


В результате получен шаблон инструмента, позволяющий запускать простые задачи на кластере, а также отслеживать некоторые состояния. Разрабатываемый пилотный проект является критичным компонентом системы и требует дальнейшей доработки.
В дальнейшем планируется усовершенствование пилотного приложения, включая разработку новых модулей и оптимизацию существующих, доработать взаимодействие с остальными системами, провести полноценное тестирование на эмулированных данных и в конечном счёте начать интегрировать систему с прикладным ПО.



[1] Эксперимент SPD [Электронный ресурс] // URL: http://spd.jinr.ru/wp-content/uploads/2021/04/SPD Korzenev DIS2021 .pdf(дата обращения: 04.11.2022)
[2] NICA [Электронный ресурс] // URL: https://nica.jinr.ru/ru/(дата обращения: 06.11.2022)
[3] Seven-Year Plan for the Development of JINR for 2024-2030 [Электронный
ресурс] // URL:
https://indico-hlit.jinr.ru/event/329/contributions/1995/attachments/578/1035/01 Director next 7YP for LIT.pdf(дата обращения: 13.04.2023)
[4] Conceptual design of the Spin Physics Detector [Электронный ресурс] // URL: https://arxiv.org/abs/2102.00442(дата обращения: 13.04.2023)
[5] J. Mo'scicki, M. Lamanna, M. Bubak, and P M. Sloot, “Processing moldable tasks on the grid: Late job binding with lightweight user-level overlay,” Future Generation Computer Systems, vol. 27, no. 6, pp. 725-736, 2011.
[6] T. Glatard and S. Camarasu-Pop, “Modelling pilot-job applications on production grids,” in Proceedings of Euro-Par 2009 - Parallel Processing Workshops. Springer, 2010, pp. 140-149.
[7] A. Delgado Peris, J. M. Hernandez, and E. Huedo, “Distributed scheduling and data sharing in late-binding overlays,” in Proceedings of the International Conference on High Performance Computing & Simulation (HPCS). IEEE, 2014, pp. 129-136.
[8] D. S. Katz, S. Jha, M. Parashar, O. Rana, and J. Weissman, “Survey and analysis of production distributed computing infrastructures,” arXiv preprint arXiv:1208.2649, 2012.
[9] C. Sehgal, “Opportunistic eco-system & OSG-XD update,” Presentation at
OSG Council Meeting, April 11, 2014,
https://indico.fnal.gov/event/8389/contributions/107137/attachments/70027/83972/OSG-XD Report to Council 11apr2014.pdf
[10] R. Pordes, D. Petravick, B. Kramer, D. Olson, M. Livny, A. Roy, P Avery, K. Blackburn, T. Wenaus, F. Wurthwein " et al., “The open science grid,” in Proceedings of the Scientific Discovery through Advanced Computing Program (SciDAC) conference, Journal of Physics: Conference Series, vol. 78(1). IOP Publishing, 2007, p. 012057.
[11] Open Science Grid (OSG), http://www.opensciencegrid.org/(дата обращения: 23.11.2022)
[12] K. De, A. Klimentov, T. Wenaus, T. Maeno, and P Nilsson, “PanDA: A new paradigm for distributed computing in HEP through the lens of ATLAS and other experiments,” ATL-COM-SOFT-2014-027, Tech. Rep., 2014.
[13] G. Aad, E. Abat, J. Abdallah, A. Abdelalim, A. Abdesselam, O. Abdinov, B. Abi, M. Abolins, H. Abramowicz, E. Acerbi et al., “The ATLAS experiment at the CERN large hadron collider,” Journal of Instrumentation, vol. 3, no. 08, p. S08003, 2008.
[14] LHC Study Group, “The large hadron collider, conceptual design,” CERN/AC/95-05 (LHC) Geneva, Tech. Rep., 1995.
[15] D. Bonacorsi, T. Ferrari et al., “WLCG service challenges and tiered architecture in the LHC era,” in IFAE 2006. Springer, 2007, pp. 365-368.
[16] Worldwide LHC Computing Grid (WLCG), The Apache software foundation, http://wlcg.web.cern.ch/(дата обращения: 15.02.2023)
[17] G. Juve, “The Glidein service,” Presentation, http://www.slideserve.com/embed/5100433
[18] I. Sfiligoi, “glideinWMS—a generic pilot-based workload management system,” in Proceedings of the international conference on computing in high energy and nuclear physics (CHEP2007), Journal of Physics: Conference Series, vol. 119(6). IOP Publishing, 2008, p. 062044.
[19] M. Hategan, J. Wozniak, and K. Maheshwari, “Coasters: uniform resource provisioning and access for clouds and grids,” in Proceedings of the 4th IEEE International Conference on Utility and Cloud Computing (UCC). IEEE, 2011, pp. 114-121.
[20] J. T. Mo'scicki, “DIANE - distributed analysis environment for GRID-enabled simulation and analysis of physics data,” in Proceedings of the IEEE Nuclear Science Symposium Conference Record, vol. 3. IEEE, 2003, pp. 1617-1620.
[21] A. Casajus, R. Graciani, S. Paterson, A. Tsaregorodtsev et al., “DIRAC pilot framework and the DIRAC Workload Management System,” in Proceedings of the 17th International Conference on Computing in High Energy and Nuclear Physics (CHEP09), Journal of Physics: Conference Series, vol. 219(6). IOP Publishing, 2010, p. 062049.
[22] P.-H. Chiu and M. Potekhin, “Pilot factory - a Condor-based system for scalable Pilot Job generation in the Panda WMS framework,” in Proceedings of the 17th International Conference on Computing in High Energy and Nuclear Physics (CHEP09), Journal of Physics: Conference Series, vol. 219(6). IOP Publishing, 2010, p. 062041.
[23] A. Rubio-Montero, E. Huedo, F. Castej'on, and R. Mayo-Garc'ia, “GWpilot: Enabling multi-level scheduling in distributed infrastructures with gridway and pilot jobs,” Future Generation Computer Systems, vol. 45, pp. 25-52, 2015.
[24] R. Buyya, D. Abramson, and J. Giddy, “Nimrod/G: An architecture for a resource management and scheduling system in a global computational grid,” in Proceedings of the 4th International Conference/Exhibition on High Performance Computing in the Asia-Pacific Region, vol. 1. IEEE, 2000, pp. 283-289.
[25] I. Raicu, Y. Zhao, C. Dumitrescu, I. Foster, and M. Wilde, “Falkon: a Fast and Light-weight tasK executiON framework,” in Proceedings of the 8th ACM/IEEE conference on Supercomputing. ACM, 2007, p. 43.
[26] E. Walker, J. P Gardner, V. Litvin, and E. L. Turner, “Creating personal adaptive clusters for managing scientific jobs in a distributed computing environment,” in Proceedings of the IEEE Challenges of Large Applications in Distributed Environments (CLADE) workshop. IEEE, 2006, pp. 95-103.
[27] PanDAWMS - pilot3 [Электронный ресурс] // URL: https://github.com/PanDAWMS/pilot3/wiki(дата обращения: 28.10.2022)
[28] DIRAC pilot framework and the DIRAC Workload Management System
[Электронный ресурс] // URL:
https://iopscience.iop.org/article/10.1088/1742-6596/219/6/062049/pdf(дата обращения: 16.03.2023)
[29] A. Tsaregorodtsev, V. Garonne, and I. Stokes-Rees, “DIRAC: A scalable lightweight architecture for high throughput computing,” in Proceedings of the 5th IEEE/ACM International Workshop on Grid Computing. IEEE Computer Society, 2004, pp. 19-25.
[30] J. Kim, W. Huang, S. Maddineni, F. Aboul-Ela, and S. Jha, “Exploring the RNA folding energy landscape using scalable distributed cyberinfrastructure,” in Emerging Computational Methods in the Life Sciences, Proceedings of the 19th ACM International Symposium on High Performance Distributed Computing, ser. HPDC ’10. New York, NY, USA: ACM, 2010, pp. 477-488.
[31] B. K. Radak, M. Romanus, T.-S. Lee, H. Chen, M. Huang, A. Treikalis, V.
Balasubramanian, S. Jha, and D. M. York, “Characterization of the Three-Dimensional Free Energy Manifold for the Uracil Ribonucleoside from Asynchronous Replica Exchange Simulations,” Journal of Chemical Theory and Computation, vol. 11, no. 2, pp. 373-377, 2015,
http://dx.doi.org/10.1021/ct500776j
[32] A. Merzky, O. Weidner, and S. Jha, “SAGA: A standardized access layer to heterogeneous distributed computing infrastructure ” Software-X, 2015, dOI: http://dx.doi.org/10.1016zj.softx.2015.03.001
[33] A. Merzky, M. Santcroos, M. Turilli, and S. Jha, “RADICAL-Pilot: Scalable Execution of Heterogeneous and Dynamic Workloads on Supercomputers,” 2015.


Работу высылаем на протяжении 30 минут после оплаты.



Подобные работы


©2025 Cервис помощи студентам в выполнении работ