Организация распределенных вычислений и анализа данных с использованием программно-аппаратного комплекса GRID BOINC
|
ВВЕДЕНИЕ 5
ГЛАВА 1. ГРИД МОДЕЛЬ 10
1.1 Анализ модели. Её место в мире вычислительных систем 10
1.2 GRID для мировых научных экспериментов. Проект Worldwide LHC
Computing GRID (WLCG) 17
1.2.1 Информация о проекте Worldwide LHC Computing GRID 17
1.2.2 Структура проекта Worldwide LHC Computing GRID. Информация об
участниках 20
1.3 Волонтерские вычисления в рамках модели GRID. Проект Berkeley Open Infrastructure for Network Computing (BOINC) 23
1.3.1 Информация о системе BOINC 23
1.3.2 Алгоритмы работы ПО BOINC. Адаптирование собственных
приложений 25
1.3.3 Сеть факультета и кафедры. Виртуализация вычислительных ресурсов. 29
ГЛАВА 2. ПЛАНИРОВАНИЕ 32
2.1 Планирование распределенного вычислительного комплекса. Стандарт
European e-Competence Framework (e-CF) 32
2.1.1 Стратегия развития. Составление финансовой программы. PR 34
2.1.2 Выбор (разработка) платформы. Инфраструктурные решения.
Поддержка и корректировка стратегии развития 37
2.1.3 Мониторинг рынка и систем. Принятие решений, связанных с
модификацией программной и аппаратной платформ. Поддержка и корректировка стратегии развития 41
2.1.4 Анализ текущего состояния системы и принятие необходимых мер.
Поддержание работоспособности системы для обеспечения бесперебойной работы 43
2.1.5 Сбор и анализ требований к приложениям. Разработка приложений.
Проверка общей работоспособности и работоспособности приложений в сети GRID 45
2.1.6 Поддержание в актуальном состоянии использующегося программного
и аппаратного обеспечения, а также применяемых технологий 47
ГЛАВА 3. РАЗРАБОТКА 48
3.1 Техническое задание 48
3.1.1 Термины и сокращения 48
3.1.2 Общие сведения 49
3.1.3 Назначение и цели создания системы 50
3.1.4 Требования к системе 51
ГЛАВА 4. ВНЕДРЕНИЕ И ЭКСПЛУАТАЦИЯ СИСТЕМЫ 54
4.1 Функциональная модель до внедрения системы BOINC 54
4.2 Функциональная модель после внедрения системы BOINC 55
4.3 Структура системы 57
4.3.1 Служба обработки состояния подзадач (Transitioner) 58
4.3.2 Служба проверки результатов (Validator) 58
4.3.3 Служба освоения (Assimilator) 60
4.3.4 Служба удаления файлов (Filedeleter) 60
4.3.5 Служба подачи (Feeder) 60
4.3.6 Планировщик (Scheduler) 61
4.3.7 Мост (Bridge) 61
4.4 Эксплуатация системы. Жизненный цикл задания 62
4.5 Требования к аппаратной части системы 63
4.6 Требования к программному обеспечению системы 64
4.7 Технико-экономические показатели 65
4.8 Состав и содержание работ по созданию системы 66
4.9 Порядок контроля и приемки системы 66
4.10 Требования к документированию и гарантийное сопровождение 67
ГЛАВА 5. РАСПРЕДЕЛЕННЫЕ ВЫЧИСЛЕНИЯ И АНАЛИЗ. ЗАДАЧА
КОШИ ДЛЯ НЕЛИНЕЙНОГО ОДУ 68
ЗАКЛЮЧЕНИЕ 73
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 75
ПРИЛОЖЕНИЕ А 77
ПРИЛОЖЕНИЕ В 83
ГЛАВА 1. ГРИД МОДЕЛЬ 10
1.1 Анализ модели. Её место в мире вычислительных систем 10
1.2 GRID для мировых научных экспериментов. Проект Worldwide LHC
Computing GRID (WLCG) 17
1.2.1 Информация о проекте Worldwide LHC Computing GRID 17
1.2.2 Структура проекта Worldwide LHC Computing GRID. Информация об
участниках 20
1.3 Волонтерские вычисления в рамках модели GRID. Проект Berkeley Open Infrastructure for Network Computing (BOINC) 23
1.3.1 Информация о системе BOINC 23
1.3.2 Алгоритмы работы ПО BOINC. Адаптирование собственных
приложений 25
1.3.3 Сеть факультета и кафедры. Виртуализация вычислительных ресурсов. 29
ГЛАВА 2. ПЛАНИРОВАНИЕ 32
2.1 Планирование распределенного вычислительного комплекса. Стандарт
European e-Competence Framework (e-CF) 32
2.1.1 Стратегия развития. Составление финансовой программы. PR 34
2.1.2 Выбор (разработка) платформы. Инфраструктурные решения.
Поддержка и корректировка стратегии развития 37
2.1.3 Мониторинг рынка и систем. Принятие решений, связанных с
модификацией программной и аппаратной платформ. Поддержка и корректировка стратегии развития 41
2.1.4 Анализ текущего состояния системы и принятие необходимых мер.
Поддержание работоспособности системы для обеспечения бесперебойной работы 43
2.1.5 Сбор и анализ требований к приложениям. Разработка приложений.
Проверка общей работоспособности и работоспособности приложений в сети GRID 45
2.1.6 Поддержание в актуальном состоянии использующегося программного
и аппаратного обеспечения, а также применяемых технологий 47
ГЛАВА 3. РАЗРАБОТКА 48
3.1 Техническое задание 48
3.1.1 Термины и сокращения 48
3.1.2 Общие сведения 49
3.1.3 Назначение и цели создания системы 50
3.1.4 Требования к системе 51
ГЛАВА 4. ВНЕДРЕНИЕ И ЭКСПЛУАТАЦИЯ СИСТЕМЫ 54
4.1 Функциональная модель до внедрения системы BOINC 54
4.2 Функциональная модель после внедрения системы BOINC 55
4.3 Структура системы 57
4.3.1 Служба обработки состояния подзадач (Transitioner) 58
4.3.2 Служба проверки результатов (Validator) 58
4.3.3 Служба освоения (Assimilator) 60
4.3.4 Служба удаления файлов (Filedeleter) 60
4.3.5 Служба подачи (Feeder) 60
4.3.6 Планировщик (Scheduler) 61
4.3.7 Мост (Bridge) 61
4.4 Эксплуатация системы. Жизненный цикл задания 62
4.5 Требования к аппаратной части системы 63
4.6 Требования к программному обеспечению системы 64
4.7 Технико-экономические показатели 65
4.8 Состав и содержание работ по созданию системы 66
4.9 Порядок контроля и приемки системы 66
4.10 Требования к документированию и гарантийное сопровождение 67
ГЛАВА 5. РАСПРЕДЕЛЕННЫЕ ВЫЧИСЛЕНИЯ И АНАЛИЗ. ЗАДАЧА
КОШИ ДЛЯ НЕЛИНЕЙНОГО ОДУ 68
ЗАКЛЮЧЕНИЕ 73
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 75
ПРИЛОЖЕНИЕ А 77
ПРИЛОЖЕНИЕ В 83
В настоящее время в мире информационных технологий интенсивно развивается модель ГРИД (англ. GRID) вычислений. Термин GRID появился в начале 90-х годов в качестве метафоры для организации распределенной вычислительной системы и довольно не сложного процесса подключения новых узлов к ней, теоретически аналогичного включению бытовой электроники в энергосеть (англ. Power grid), отсюда название - GRID. Данная модель описывает компьютерную инфраструктуру сравнительно нового типа, обеспечивающую глобальную интеграцию географически распределенных слабосвязных гетерогенных вычислительных ресурсов.
Суть инициативы ГРИД состоит в создании набора стандартизированных служб для обеспечения надежного, совместимого, дешевого и безопасного доступа к отдельным компьютерам, кластерам и суперкомпьютерам (НРС), хранилищам информации, и вообще говоря, любым абстрактным вычислителям.
Обратимся теперь к модели ISO OSI. В частности, миссия сети Интернет (OSI L7 - Прикладной уровень) заключалась в глобализации обмена информацией, стандартизации размещения, доставки и поиска различных документов. Стандартизация, в свою очередь, привела к существенному росту активности пользователей и их числа в сети. К тому же, начиная с 2000 года, за последние шестнадцать лет было произведено колоссальное множество IBM совместимых PC для пользовательских нужд, обладающих довольно высокой вычислительной мощностью. Кроме того, различными национальными вычислительными центрами организовывались высокопроизводительные кластеры для различных целей, строились полноценные суперкомпьютеры.
Актуальность темы, связанной с исследованиями в данной области заключается в том, что облачные технологии и, в частности, GRID стал следующим этапом в цепочке революционных технологических преобразований не только мира информационных технологий, но и научного мира в целом. В течение последних десятилетий на наших глазах произошла стандартизация и глобализация использования всех видов компьютерных ресурсов, вызванная ростом сложности решаемых задач в различных областях науки. 10,000,000 1,000,000 100,000 10,000 1,000 100 10 1 о 1985 1990 1995 2000 2005 2010
Yeaf0,ln,r0duc,i0ri
Грид-инфраструктура EGI стала повседневным рабочим средством для целого ряда больших и малых исследовательских сообществ: физики высоких энергий, биологических наук и смежных дисциплин, наук о Земле, астрофизики, вычислительной химии, термоядерной энергетики и других. Число пользователей инфраструктуры EGI, объединенных в более чем 200 виртуальных организаций, составляло более 14000 человек, а ежедневно в инфраструктуре EGEE выполнялось более 400 тысяч заданий, т.е. более 12 миллионов заданий в месяц.
Главными целями проекта явились:
1. Построение централизованной и устойчивой грид-инфраструкутуры для обеспечения надежного, совместимого, дешевого и безопасного доступа к отдельным вычислителям.
2. Разработка промежуточного программного обеспечения, gLite, специально предназначенного для использования многочисленными научными коллаборациями.
3. Привлечение и поддержка широкого круга пользователей из различных областей науки и промышленности, обеспечивая им всестороннюю техническую поддержку и обучение.
Автор считает, что исследования в данной области могут принести большую пользу, как в научном мире, так и в области коммерческих решений. Целью представленной выпускной квалификационной работы является:
• Детальный анализ современных технологий GRID;
• Организация собственного распределенного вычислительного комплекса с использованием ПО BOINC, способного успешно решать задачи определенного класса.
• Выборка и анализ результатов работы системы, в домене специально разработанных задач (распределенное решение задачи Коши для ОДУ с логарифмической нелинейностью).
Также в работе рассматриваются преимущества и недостатки, как модели GRID в целом, так и конкретной среды BOINC для организации географически распределенных слабосвязных гетерогенных вычислений.
Кроме того, распределенный вычислительный комплекс проектировался и реализовывался с использованием модели e-Competence Framework (e-CF), учитывая следующие этапы развития системы:
1. Планирование
2. Разработка
3. Внедрение
4. Эксплуатация
5. Вывод системы из эксплуатации
Суть инициативы ГРИД состоит в создании набора стандартизированных служб для обеспечения надежного, совместимого, дешевого и безопасного доступа к отдельным компьютерам, кластерам и суперкомпьютерам (НРС), хранилищам информации, и вообще говоря, любым абстрактным вычислителям.
Обратимся теперь к модели ISO OSI. В частности, миссия сети Интернет (OSI L7 - Прикладной уровень) заключалась в глобализации обмена информацией, стандартизации размещения, доставки и поиска различных документов. Стандартизация, в свою очередь, привела к существенному росту активности пользователей и их числа в сети. К тому же, начиная с 2000 года, за последние шестнадцать лет было произведено колоссальное множество IBM совместимых PC для пользовательских нужд, обладающих довольно высокой вычислительной мощностью. Кроме того, различными национальными вычислительными центрами организовывались высокопроизводительные кластеры для различных целей, строились полноценные суперкомпьютеры.
Актуальность темы, связанной с исследованиями в данной области заключается в том, что облачные технологии и, в частности, GRID стал следующим этапом в цепочке революционных технологических преобразований не только мира информационных технологий, но и научного мира в целом. В течение последних десятилетий на наших глазах произошла стандартизация и глобализация использования всех видов компьютерных ресурсов, вызванная ростом сложности решаемых задач в различных областях науки. 10,000,000 1,000,000 100,000 10,000 1,000 100 10 1 о 1985 1990 1995 2000 2005 2010
Yeaf0,ln,r0duc,i0ri
Грид-инфраструктура EGI стала повседневным рабочим средством для целого ряда больших и малых исследовательских сообществ: физики высоких энергий, биологических наук и смежных дисциплин, наук о Земле, астрофизики, вычислительной химии, термоядерной энергетики и других. Число пользователей инфраструктуры EGI, объединенных в более чем 200 виртуальных организаций, составляло более 14000 человек, а ежедневно в инфраструктуре EGEE выполнялось более 400 тысяч заданий, т.е. более 12 миллионов заданий в месяц.
Главными целями проекта явились:
1. Построение централизованной и устойчивой грид-инфраструкутуры для обеспечения надежного, совместимого, дешевого и безопасного доступа к отдельным вычислителям.
2. Разработка промежуточного программного обеспечения, gLite, специально предназначенного для использования многочисленными научными коллаборациями.
3. Привлечение и поддержка широкого круга пользователей из различных областей науки и промышленности, обеспечивая им всестороннюю техническую поддержку и обучение.
Автор считает, что исследования в данной области могут принести большую пользу, как в научном мире, так и в области коммерческих решений. Целью представленной выпускной квалификационной работы является:
• Детальный анализ современных технологий GRID;
• Организация собственного распределенного вычислительного комплекса с использованием ПО BOINC, способного успешно решать задачи определенного класса.
• Выборка и анализ результатов работы системы, в домене специально разработанных задач (распределенное решение задачи Коши для ОДУ с логарифмической нелинейностью).
Также в работе рассматриваются преимущества и недостатки, как модели GRID в целом, так и конкретной среды BOINC для организации географически распределенных слабосвязных гетерогенных вычислений.
Кроме того, распределенный вычислительный комплекс проектировался и реализовывался с использованием модели e-Competence Framework (e-CF), учитывая следующие этапы развития системы:
1. Планирование
2. Разработка
3. Внедрение
4. Эксплуатация
5. Вывод системы из эксплуатации
В представленной работе были разобраны все основные темы, связанные с проектированием, разработкой и вводом в эксплуатацию GRID сети для организации распределённых вычислений. Обозначены задачи, которые должны быть решены с использованием данной модели вычислений. Создана собственная GRID сеть кафедры с использованием модели European е- Competence Framework и с учетом следующих этапов развития системы.
• Планирование
• Разработка
• Внедрение
• Эксплуатация
• Вывод системы из эксплуатации
На стадии разработки, внедрения и эксплуатации использовалось свободное ПО, разработанное Калифорнийским университетом в Беркли - BOINC. Была дана оценка текущего состояния данной системы с точки зрения S-кривой, построены функциональные модели с полным описанием всех рабочих подсистем. Озвучены причины, по которым не производилась разработка собственного GRID ПО. Так же в ходе анализа системы BOINC в пункте 1.3 выяснилось, что она обладает рядом неприятных особенностей. В частности, их отрицательное влияние на производительность системы растет пропорционально числу машин участвующих в вычислениях и зависит от типа выдаваемых заданий.
• Планирование
• Разработка
• Внедрение
• Эксплуатация
• Вывод системы из эксплуатации
На стадии разработки, внедрения и эксплуатации использовалось свободное ПО, разработанное Калифорнийским университетом в Беркли - BOINC. Была дана оценка текущего состояния данной системы с точки зрения S-кривой, построены функциональные модели с полным описанием всех рабочих подсистем. Озвучены причины, по которым не производилась разработка собственного GRID ПО. Так же в ходе анализа системы BOINC в пункте 1.3 выяснилось, что она обладает рядом неприятных особенностей. В частности, их отрицательное влияние на производительность системы растет пропорционально числу машин участвующих в вычислениях и зависит от типа выдаваемых заданий.