Разработка программного комплекса для организации масштабируемых научных вычислении в гетерогенных средах
|
Аннотация
ВВЕДЕНИЕ 8
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ НАУЧНЫХ ПРОЕКТОВ 13
1.1 Информация о проекте Worldwide LHC Computing GRID 13
1.2 Информация о проекте Human Brain Project 17
1.3 Общая схема обработки данных с использованием распределенной
вычислительной системы 21
1.4 Обзор современных распределенных файловых систем 23
1.4.1 Проект GlusterFS 26
1.5 Обзор современных распределенных планировщиков задач 29
1.5.1 Проект SLURM 32
1.6 Добровольные вычисления. Информация о системе BOINC 35
ГЛАВА 2. РАЗРАБОТКА 38
2.1 Техническое задание 38
2.1.1 Термины и сокращения 38
2.1.2 Общие сведения 39
2.1.3 Назначение и цели создания системы 40
2.1.4 Требования к системе 41
2.1.5 Требования к аппаратной части системы 43
2.1.6 Требования к программному обеспечению системы 44
2.1.7 Технико-экономические показатели 45
2.1.8 Состав и содержание работ по созданию системы 46
2.1.9 Порядок контроля и приемки системы 46
2.1.10 Требования к документированию и гарантийное сопровождение
47
ГЛАВА 3 РЕАЛИЗАЦИЯ СИСТЕМЫ 48
3.1Структура системы 48
3.1.1 Служба обработки состояния подзадач (Transitioner) 49
3.1.2 Служба проверки результатов (Validator) 49
3.1.3 Служба освоения (Assimilator) 51
3.1.4 Служба удаления файлов (Filedeleter) 51
3.1.5 Служба подачи (Feeder) 51
3.1.6 Файловая система (GlusterFS) 52
3.1.7 Планировщик (Scheduler) 53
3.1.8 Мост (Bridge) 53
ГЛАВА 4. ВНЕДРЕНИЕ И ЭКСПЛУАТАЦИЯ СИСТЕМЫ 55
4.1 Развертывание системы 55
4.1.1 BOINC 55
4.1.2 GlusterFS 56
4.1.3 SLURM 57
4.2 Эксплуатация системы. Жизненный цикл задания 59
4.3 IDEF диаграммы взаимодействия с системой 60
ГЛАВА 5. НАГРУЗОЧНОЕ ТЕСТИРОВАНИЕ СИСТЕМЫ 63
5.1 Тестирование вычислительного комплекса 63
5.1.1 Постановка вычислительной задачи 63
5.1.2 Результаты тестирования 66
5.2 Нагрузочное тестирование файловой системы 68
ЗАКЛЮЧЕНИЕ 71
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 73
ПРПРИЛОЖЕНИЕ А 78
ПРПРИЛОЖЕНИЕ В 84
ПРИЛОЖЕНИЕ C 85
ВВЕДЕНИЕ 8
ГЛАВА 1. АНАЛИЗ СУЩЕСТВУЮЩИХ НАУЧНЫХ ПРОЕКТОВ 13
1.1 Информация о проекте Worldwide LHC Computing GRID 13
1.2 Информация о проекте Human Brain Project 17
1.3 Общая схема обработки данных с использованием распределенной
вычислительной системы 21
1.4 Обзор современных распределенных файловых систем 23
1.4.1 Проект GlusterFS 26
1.5 Обзор современных распределенных планировщиков задач 29
1.5.1 Проект SLURM 32
1.6 Добровольные вычисления. Информация о системе BOINC 35
ГЛАВА 2. РАЗРАБОТКА 38
2.1 Техническое задание 38
2.1.1 Термины и сокращения 38
2.1.2 Общие сведения 39
2.1.3 Назначение и цели создания системы 40
2.1.4 Требования к системе 41
2.1.5 Требования к аппаратной части системы 43
2.1.6 Требования к программному обеспечению системы 44
2.1.7 Технико-экономические показатели 45
2.1.8 Состав и содержание работ по созданию системы 46
2.1.9 Порядок контроля и приемки системы 46
2.1.10 Требования к документированию и гарантийное сопровождение
47
ГЛАВА 3 РЕАЛИЗАЦИЯ СИСТЕМЫ 48
3.1Структура системы 48
3.1.1 Служба обработки состояния подзадач (Transitioner) 49
3.1.2 Служба проверки результатов (Validator) 49
3.1.3 Служба освоения (Assimilator) 51
3.1.4 Служба удаления файлов (Filedeleter) 51
3.1.5 Служба подачи (Feeder) 51
3.1.6 Файловая система (GlusterFS) 52
3.1.7 Планировщик (Scheduler) 53
3.1.8 Мост (Bridge) 53
ГЛАВА 4. ВНЕДРЕНИЕ И ЭКСПЛУАТАЦИЯ СИСТЕМЫ 55
4.1 Развертывание системы 55
4.1.1 BOINC 55
4.1.2 GlusterFS 56
4.1.3 SLURM 57
4.2 Эксплуатация системы. Жизненный цикл задания 59
4.3 IDEF диаграммы взаимодействия с системой 60
ГЛАВА 5. НАГРУЗОЧНОЕ ТЕСТИРОВАНИЕ СИСТЕМЫ 63
5.1 Тестирование вычислительного комплекса 63
5.1.1 Постановка вычислительной задачи 63
5.1.2 Результаты тестирования 66
5.2 Нагрузочное тестирование файловой системы 68
ЗАКЛЮЧЕНИЕ 71
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 73
ПРПРИЛОЖЕНИЕ А 78
ПРПРИЛОЖЕНИЕ В 84
ПРИЛОЖЕНИЕ C 85
На сегодняшний день сектор исследований, связанный с информационными технологиями демонстрирует интенсивный качественный и количественный рост, претерпевая значительные трансформации. Каждый год предлагаются новые аппаратные архитектуры, программные продукты, публикуются фундаментальные работы различного уровня абстракции. Рост исследовательского интереса не случаен и является закономерным ответом на радикально изменяющиеся запросы к системам обработки информации. В частности, исследования в области биоинформатики, прецизионной медицины и физики высоких энергий генерируют не только огромные массивы данных и вычислительных задач, но и принципиально новые качественные требования к масштабам физических процессов и типам систем-обработчиков.
В частности, одной из важных проблем последнего десятилетия стало то, что закон вертикального масштабирования, описанный Муром [1] и Деннардом [2] перестал выполняться. Так, на момент 2018 года число транзисторов продолжает увеличиваться, но темпы роста производительности тактируемых процессоров достигли участка насыщения (Рис. 1а и б). Закон масштабирования упирается в определенные пределы выделяемой мощности процессора, после которых процессоры просто плавятся от перегревания. И преодолеть эти пределы невозможно без использования нетрадиционных, громоздких и дорогих систем охлаждения или радикальных инфраструктурных преобразований. Глядя на рисунок 1, можно заметить, что с 2006 года тактовая частота массовых процессоров не растет выше примерно 4ГГц.
Несоблюдение Закона Деннарда и как следствие невозможность наращивать больше тактовую частоту процессоров привели к тому, что производители обратились к нескольким альтернативам:
• производство многоядерных процессоров;
• производство специализированных вычислителей;
• изменение алгоритмов и вычислительных концепций.
На фоне невозможности дальнейшего энергоэффективного наращивания тактовых частот развилось целое множество моделей распределенных вычислений, и в частности ГРИД.
Напомним, что ГРИД-технологии позволяют создать географически распределенные вычислительные инфраструктуры, которые объединяют разнородные ресурсы и реализуют возможность коллективного доступа к этим ресурсам. Принципиальной новизной этих технологий является объединение ресурсов путем создания компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе сетевых технологий и специального программного обеспечения промежуточного уровня (middleware), а также набора стандартизованных сервисов (служб) для обеспечения надежного совместного доступа к географически распределенным информационным и вычислительным ресурсам: отдельным компьютерам, кластерам, хранилищам информации и сетям. Основными направлениями развития грид-технологий являются: вычислительный грид, грид для интенсивной обработки данных и семантический грид для оперирования данными из различных баз данных. [3] В статьях [4] и [5] дано более формальное описание термина ГРИД и всей взаимосвязанной с ним семантики.
Стоит отметить, что время не стоит на месте,произошли серьезные изменения и сегодня, на фоне активного развития технологий контейнеризации и виртуализации, активную известность приобрела концепция облачных вычислений. Вопрос о том к какой системе понятий отнести разрабатываемую нами систему является спорным и открытым, так как в процесс создания и эксплуатации системы вовлечено сразу несколько уровней абстракции.
Важно одно - не смотря на развитие облачных технологий, крупномасштабных ГРИД систем, важной проблемой остается интеграция подобных систем друг с другом. На сегодняшний день провайдеры облачных предоставляют легко масштабируемые облачные ресурсы, мы так же располагаем собственными ресурсами как ПК и кластеры, ресурсами волонтеров. Более того - миллионами браузеров, поддерживающих тьюринг- полные скриптовые языки программирования. Но как конкретно организовать вычисления - нет единого мнения и решения. В частности один только выбор корректной файловой системы для того или иного эксперимента представляет собой задачу, требующую сложного многокомпонентного анализа. А системы обработки вычислительных заданий выдвигают ряд ещё более серьезных требований [3-5].
Актуальность исследовательской темы, связанной с исследованиями в области масштабируемых научных вычислений в гетерогенных средах заключается в том, что модель распределенных вычислений, в частности, облачные технологии и ГРИД стали особо важной частью научного мира, можно даже сказать - ключевой. В течение последних десятилетий произошла интенсивная стандартизация и глобализация использования всех видов компьютерных ресурсов, вызванная ростом сложности решаемых задач. Более того, функционирование многих фундаментальных исследовательских проектов стало невозможным в принципе без высокопроизводительных вычислительных систем. Ясно, что фундаментальные и прикладные исследования в области мультимасштабного компьютинга могут привести к качественным изменениям, как в научном мире, так и в области коммерческих решений.
Целью представленной выпускной квалификационной работы является разработка программного комплекса обеспечивающего объединение гетерогенных распределенных ресурсов с использованием ПО BOINC, SLURM и GlusterFS.
Для достижения поставленной цели, необходимо решить следующие поставленные задачи:
1. Рассмотреть существующие научные проекты, генерирующие потоки данных и вычислительных задач с различной степенью интенсивности;
2. Провести детальный анализ современных программных технологий для организации масштабируемых вычислений в контексте гетерогенных вычислительных сред;
3. Разработать архитектуру собственного программного комплекса на базе существующих аппаратных решений и представить конечную её реализацию с использованием ПО BOINC, GlusterFS и SLURM;
4. Оценить работоспособность разработанного программного комплекса в различных режимах и внешних условиях (интенсивность потоков данных и задач, инфраструктурная конфигурация);
5. Произвести выборку результатов и проанализировать работу системы, в домене специально разработанных задач.
В частности, одной из важных проблем последнего десятилетия стало то, что закон вертикального масштабирования, описанный Муром [1] и Деннардом [2] перестал выполняться. Так, на момент 2018 года число транзисторов продолжает увеличиваться, но темпы роста производительности тактируемых процессоров достигли участка насыщения (Рис. 1а и б). Закон масштабирования упирается в определенные пределы выделяемой мощности процессора, после которых процессоры просто плавятся от перегревания. И преодолеть эти пределы невозможно без использования нетрадиционных, громоздких и дорогих систем охлаждения или радикальных инфраструктурных преобразований. Глядя на рисунок 1, можно заметить, что с 2006 года тактовая частота массовых процессоров не растет выше примерно 4ГГц.
Несоблюдение Закона Деннарда и как следствие невозможность наращивать больше тактовую частоту процессоров привели к тому, что производители обратились к нескольким альтернативам:
• производство многоядерных процессоров;
• производство специализированных вычислителей;
• изменение алгоритмов и вычислительных концепций.
На фоне невозможности дальнейшего энергоэффективного наращивания тактовых частот развилось целое множество моделей распределенных вычислений, и в частности ГРИД.
Напомним, что ГРИД-технологии позволяют создать географически распределенные вычислительные инфраструктуры, которые объединяют разнородные ресурсы и реализуют возможность коллективного доступа к этим ресурсам. Принципиальной новизной этих технологий является объединение ресурсов путем создания компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе сетевых технологий и специального программного обеспечения промежуточного уровня (middleware), а также набора стандартизованных сервисов (служб) для обеспечения надежного совместного доступа к географически распределенным информационным и вычислительным ресурсам: отдельным компьютерам, кластерам, хранилищам информации и сетям. Основными направлениями развития грид-технологий являются: вычислительный грид, грид для интенсивной обработки данных и семантический грид для оперирования данными из различных баз данных. [3] В статьях [4] и [5] дано более формальное описание термина ГРИД и всей взаимосвязанной с ним семантики.
Стоит отметить, что время не стоит на месте,произошли серьезные изменения и сегодня, на фоне активного развития технологий контейнеризации и виртуализации, активную известность приобрела концепция облачных вычислений. Вопрос о том к какой системе понятий отнести разрабатываемую нами систему является спорным и открытым, так как в процесс создания и эксплуатации системы вовлечено сразу несколько уровней абстракции.
Важно одно - не смотря на развитие облачных технологий, крупномасштабных ГРИД систем, важной проблемой остается интеграция подобных систем друг с другом. На сегодняшний день провайдеры облачных предоставляют легко масштабируемые облачные ресурсы, мы так же располагаем собственными ресурсами как ПК и кластеры, ресурсами волонтеров. Более того - миллионами браузеров, поддерживающих тьюринг- полные скриптовые языки программирования. Но как конкретно организовать вычисления - нет единого мнения и решения. В частности один только выбор корректной файловой системы для того или иного эксперимента представляет собой задачу, требующую сложного многокомпонентного анализа. А системы обработки вычислительных заданий выдвигают ряд ещё более серьезных требований [3-5].
Актуальность исследовательской темы, связанной с исследованиями в области масштабируемых научных вычислений в гетерогенных средах заключается в том, что модель распределенных вычислений, в частности, облачные технологии и ГРИД стали особо важной частью научного мира, можно даже сказать - ключевой. В течение последних десятилетий произошла интенсивная стандартизация и глобализация использования всех видов компьютерных ресурсов, вызванная ростом сложности решаемых задач. Более того, функционирование многих фундаментальных исследовательских проектов стало невозможным в принципе без высокопроизводительных вычислительных систем. Ясно, что фундаментальные и прикладные исследования в области мультимасштабного компьютинга могут привести к качественным изменениям, как в научном мире, так и в области коммерческих решений.
Целью представленной выпускной квалификационной работы является разработка программного комплекса обеспечивающего объединение гетерогенных распределенных ресурсов с использованием ПО BOINC, SLURM и GlusterFS.
Для достижения поставленной цели, необходимо решить следующие поставленные задачи:
1. Рассмотреть существующие научные проекты, генерирующие потоки данных и вычислительных задач с различной степенью интенсивности;
2. Провести детальный анализ современных программных технологий для организации масштабируемых вычислений в контексте гетерогенных вычислительных сред;
3. Разработать архитектуру собственного программного комплекса на базе существующих аппаратных решений и представить конечную её реализацию с использованием ПО BOINC, GlusterFS и SLURM;
4. Оценить работоспособность разработанного программного комплекса в различных режимах и внешних условиях (интенсивность потоков данных и задач, инфраструктурная конфигурация);
5. Произвести выборку результатов и проанализировать работу системы, в домене специально разработанных задач.
В представленной работе были разобраны все основные темы, связанные с проектированием, разработкой и вводом в эксплуатацию GRID сети для организации распределённых вычислений. Обозначены задачи, которые должны быть решены с использованием данной модели вычислений. Создана собственная GRID сеть с учетом следующих этапов развития системы.
• Планирование
• Разработка
• Внедрение
• Эксплуатация
На стадии разработки, внедрения и эксплуатации использовалось свободное ПО: BOINC, GlusterFS и SLURM. Была дана оценка текущего состояния данной системы, построены функциональные модели с полным описанием всех рабочих подсистем. Озвучены причины, по которым не производилась разработка собственного GRID ПО. Так же в ходе анализа системы BOINC в пункте 1.3 выяснилось, что она обладает рядом неприятных особенностей. В частности, их отрицательное влияние на производительность системы растет пропорционально числу машин участвующих в вычислениях и зависит от типа выдаваемых заданий. Так же не все задания могут быть решены только в рамках модели волонтерских вычислений, что потребовало введения введения дополнительной локальной системы обработки на базе SLURM
По итогам работы, можно делать следующий вывод:
• Получена горизонтально масштабируемая вычислительная система с минимальными затратами на организацию и последующее поддержание;
• Организовано масштабируемое файловое хранилище данных, способное хранить 10-100 ТБ данных;
• Введение системы локального планирования позволило сделать процесс доставки результатов детерминированным и ускорить время расчетов за счет использования ресурсов локального кластера.
• Научный персонал теперь может решать задачи из заданных в ТЗ классов более эффективно;
• После внедрения системы удалось автоматизировать функции, связанные с распространением, сбором и агрегированием результатов, созданием отчетных данных (см. рис. 19 и 20).
Стоить помнить, что ГРИД модель волонтерских вычислений пригодна не для всех задач и требует значительного внимания к безопасности системы (хранение данных проекта, хранение пользовательских данных). Для успешного проведения расчетов в рамках ПО BOINC, отдельные небольшие подзадачи должны быть очень слабо связаны между собой и практически не зависеть от результатов параллельно выполняемых заданий. В противном случае очень большие издержки производительности будут приходиться на ожидание других результатов и на их синхронизацию. SLURM частично помог решить данную проблему, введя в оперирование локальный вычислительный комплекс с предсказуемой величиной задержки. Более подробная сводка результатов опубликована в статье [41].
• Планирование
• Разработка
• Внедрение
• Эксплуатация
На стадии разработки, внедрения и эксплуатации использовалось свободное ПО: BOINC, GlusterFS и SLURM. Была дана оценка текущего состояния данной системы, построены функциональные модели с полным описанием всех рабочих подсистем. Озвучены причины, по которым не производилась разработка собственного GRID ПО. Так же в ходе анализа системы BOINC в пункте 1.3 выяснилось, что она обладает рядом неприятных особенностей. В частности, их отрицательное влияние на производительность системы растет пропорционально числу машин участвующих в вычислениях и зависит от типа выдаваемых заданий. Так же не все задания могут быть решены только в рамках модели волонтерских вычислений, что потребовало введения введения дополнительной локальной системы обработки на базе SLURM
По итогам работы, можно делать следующий вывод:
• Получена горизонтально масштабируемая вычислительная система с минимальными затратами на организацию и последующее поддержание;
• Организовано масштабируемое файловое хранилище данных, способное хранить 10-100 ТБ данных;
• Введение системы локального планирования позволило сделать процесс доставки результатов детерминированным и ускорить время расчетов за счет использования ресурсов локального кластера.
• Научный персонал теперь может решать задачи из заданных в ТЗ классов более эффективно;
• После внедрения системы удалось автоматизировать функции, связанные с распространением, сбором и агрегированием результатов, созданием отчетных данных (см. рис. 19 и 20).
Стоить помнить, что ГРИД модель волонтерских вычислений пригодна не для всех задач и требует значительного внимания к безопасности системы (хранение данных проекта, хранение пользовательских данных). Для успешного проведения расчетов в рамках ПО BOINC, отдельные небольшие подзадачи должны быть очень слабо связаны между собой и практически не зависеть от результатов параллельно выполняемых заданий. В противном случае очень большие издержки производительности будут приходиться на ожидание других результатов и на их синхронизацию. SLURM частично помог решить данную проблему, введя в оперирование локальный вычислительный комплекс с предсказуемой величиной задержки. Более подробная сводка результатов опубликована в статье [41].
