Разработка системы сбора и визуализации информации о загрузке суперкомпьютеров ЛСМ ЮУрГУ
|
ВВЕДЕНИЕ 5
1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 7
1.1. Суперкомпьютеры ЮУрГУ 7
1.1.1. Суперкомпьютер «Торнадо ЮУрГУ» 7
1.1.2. Суперкомпьютер «СКИФ-Аврора» 8
1.1.3. Суперкомпьютер «СКИФ Урал» 9
1.2. Существующие системы мониторинга суперкомпьютеров 10
1.2.1. Ситуационный экран суперкомпьютера 10
1.2.2. Nagios 10
1.2.3. Ganglia 11
1.2.4. Встроенные системы мониторинга 11
1.3. Очередь задач SLURM 11
1.4. Академические расчеты на суперкомпьютерах ЮУрГУ 12
1.5. Расчеты внешних организаций на суперкомпьютерах ЮУрГУ 12
1.6. Язык программирования Python 12
1.7. Фреймворк Django 13
2. РЕАЛИЗАЦИОННАЯ ЧАСТЬ 14
2.1. Анализ требований 14
2.2. Проектирование 16
2.3. Реализация 18
2.3.1. Создание структуры классов приложения 18
2.3.2. Главный экран подсистемы визуализации 26
2.3.3. Статистика по узлам в процентном соотношении 27
2.3.4. Статистика по запрошенным узлам в очереди 28
2.3.5. Динамика загруженности суперкомпьютера 30
2.3.6. Информация о расчетах на суперкомпьютере 30
3. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ 32
3.1. Тестирование 32
3.2. Сопровождение 36
ЗАКЛЮЧЕНИЕ 38
ЛИТЕРАТУРА 40
ПРИЛОЖЕНИЕ 42
1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ 7
1.1. Суперкомпьютеры ЮУрГУ 7
1.1.1. Суперкомпьютер «Торнадо ЮУрГУ» 7
1.1.2. Суперкомпьютер «СКИФ-Аврора» 8
1.1.3. Суперкомпьютер «СКИФ Урал» 9
1.2. Существующие системы мониторинга суперкомпьютеров 10
1.2.1. Ситуационный экран суперкомпьютера 10
1.2.2. Nagios 10
1.2.3. Ganglia 11
1.2.4. Встроенные системы мониторинга 11
1.3. Очередь задач SLURM 11
1.4. Академические расчеты на суперкомпьютерах ЮУрГУ 12
1.5. Расчеты внешних организаций на суперкомпьютерах ЮУрГУ 12
1.6. Язык программирования Python 12
1.7. Фреймворк Django 13
2. РЕАЛИЗАЦИОННАЯ ЧАСТЬ 14
2.1. Анализ требований 14
2.2. Проектирование 16
2.3. Реализация 18
2.3.1. Создание структуры классов приложения 18
2.3.2. Главный экран подсистемы визуализации 26
2.3.3. Статистика по узлам в процентном соотношении 27
2.3.4. Статистика по запрошенным узлам в очереди 28
2.3.5. Динамика загруженности суперкомпьютера 30
2.3.6. Информация о расчетах на суперкомпьютере 30
3. ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ 32
3.1. Тестирование 32
3.2. Сопровождение 36
ЗАКЛЮЧЕНИЕ 38
ЛИТЕРАТУРА 40
ПРИЛОЖЕНИЕ 42
Актуальность
С суперкомпьютера, ввиду большого количества вычислительных узлов (по сравнению с обычным компьютером) в единицу времени поступает большое количество информации. Эту информацию необходимо каким-то образом обрабатывать, фильтровать и представлять для просмотра. Администраторам обычно проще набрать несколько команд в командной строке, чтобы получить все необходимые данные. Руководителям же суперкомпьютерного центра, в отличие от администраторов, часто бывает нужно быстро посмотреть интеллектуально обработанную информацию в удобном виде, например, в виде графиков, диаграмм или рисунков [19].
Одним словом, визуальная информация позволяет переложить задачу интерпретации однотипных результатов на компьютер, представляя (визуализируя) их для конечного пользователя.
Проблема представления результатов в удобном виде существует и решается по-разному [10]. Например, для слежения за состоянием больших кластерных и распределенных систем есть системы мониторинга, такие как Nagios [3] и Ganglia [2]. Подобные системы предназначены для мониторинга состояния у большого количества однотипных устройств или сервисов, например, проверить ping, доступность портов, скорость записи на диск, загрузку процессора, температуру устройства или целого помещения, нагрузку на коммуникационную сеть и т. д. Однако необходимость в собственной системе часто бывает обусловлена наличием каких-то особенных требований к сервисам или спецификой рабочего процесса [20].
Таким образом, актуальной является задача разработки системы сбора и визуализации информации о загрузке суперкомпьютеров ЛСМ ЮУрГУ. Подобная система будет способна предоставить необходимую и своевременную информацию для администраторов и руководителя лаборатории в удобном виде и поможет обеспечить высокий уровень надежности доступа пользователей к сервисам и вычислительным ресурсам, предоставляемым Суперкомпьютерным центром Лаборатории суперкомпьютерного моделирования ЮУрГУ.
Цель и задачи
Целью данной работы является разработка системы сбора и визуализации информации о загрузке суперкомпьютеров ЛСМ ЮУрГУ.
Для достижения поставленной цели необходимо решить следующие задачи:
1) сделать обзор научной и технической литературы по данной теме;
2) выполнить проектирование программной системы;
3) реализовать программную систему;
4) произвести тестирование программной системы;
5) осуществить внедрение данной программной системы.
Структура работы
Работа состоит из введения, трех глав, заключения и списка литературы.
В первом разделе «ТЕОРЕТИЧЕСКАЯ ЧАСТЬ» приведен обзор существующих решений и описана предметная область.
Во втором разделе «РЕАЛИЗАЦИОННАЯ ЧАСТЬ» содержится описание проделанной работы в области разработки программного обеспечения. Этот раздел поделен на подразделы, соответствующие этапам разработки ПО: «Анализ требований», «Проектирование», «Реализация».
В третьем разделе «ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ» приводится описание следующих этапов разработки программного обеспечения - «Тестирование» и «Сопровождение». В этом разделе описаны использованные способы проверки адекватности разработанной системы с точки зрения предметной области и рассказано, какие шаги предприняты для упрощения технической поддержки и сопровождения разработанной системы в будущем.
Объем работы составляет 45 страниц, объем списка литературы - 21 наименование.
С суперкомпьютера, ввиду большого количества вычислительных узлов (по сравнению с обычным компьютером) в единицу времени поступает большое количество информации. Эту информацию необходимо каким-то образом обрабатывать, фильтровать и представлять для просмотра. Администраторам обычно проще набрать несколько команд в командной строке, чтобы получить все необходимые данные. Руководителям же суперкомпьютерного центра, в отличие от администраторов, часто бывает нужно быстро посмотреть интеллектуально обработанную информацию в удобном виде, например, в виде графиков, диаграмм или рисунков [19].
Одним словом, визуальная информация позволяет переложить задачу интерпретации однотипных результатов на компьютер, представляя (визуализируя) их для конечного пользователя.
Проблема представления результатов в удобном виде существует и решается по-разному [10]. Например, для слежения за состоянием больших кластерных и распределенных систем есть системы мониторинга, такие как Nagios [3] и Ganglia [2]. Подобные системы предназначены для мониторинга состояния у большого количества однотипных устройств или сервисов, например, проверить ping, доступность портов, скорость записи на диск, загрузку процессора, температуру устройства или целого помещения, нагрузку на коммуникационную сеть и т. д. Однако необходимость в собственной системе часто бывает обусловлена наличием каких-то особенных требований к сервисам или спецификой рабочего процесса [20].
Таким образом, актуальной является задача разработки системы сбора и визуализации информации о загрузке суперкомпьютеров ЛСМ ЮУрГУ. Подобная система будет способна предоставить необходимую и своевременную информацию для администраторов и руководителя лаборатории в удобном виде и поможет обеспечить высокий уровень надежности доступа пользователей к сервисам и вычислительным ресурсам, предоставляемым Суперкомпьютерным центром Лаборатории суперкомпьютерного моделирования ЮУрГУ.
Цель и задачи
Целью данной работы является разработка системы сбора и визуализации информации о загрузке суперкомпьютеров ЛСМ ЮУрГУ.
Для достижения поставленной цели необходимо решить следующие задачи:
1) сделать обзор научной и технической литературы по данной теме;
2) выполнить проектирование программной системы;
3) реализовать программную систему;
4) произвести тестирование программной системы;
5) осуществить внедрение данной программной системы.
Структура работы
Работа состоит из введения, трех глав, заключения и списка литературы.
В первом разделе «ТЕОРЕТИЧЕСКАЯ ЧАСТЬ» приведен обзор существующих решений и описана предметная область.
Во втором разделе «РЕАЛИЗАЦИОННАЯ ЧАСТЬ» содержится описание проделанной работы в области разработки программного обеспечения. Этот раздел поделен на подразделы, соответствующие этапам разработки ПО: «Анализ требований», «Проектирование», «Реализация».
В третьем разделе «ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ» приводится описание следующих этапов разработки программного обеспечения - «Тестирование» и «Сопровождение». В этом разделе описаны использованные способы проверки адекватности разработанной системы с точки зрения предметной области и рассказано, какие шаги предприняты для упрощения технической поддержки и сопровождения разработанной системы в будущем.
Объем работы составляет 45 страниц, объем списка литературы - 21 наименование.
В ходе работы были решены следующие задачи:
1) сделан обзор научной и технической литературы по теме визуализации данных с суперкомпьютеров;
2) выполнено проектирование программной системы;
3) реализована программная система;
4) произведено тестирование программной системы;
5) программная система внедрена в промышленную эксплуатацию.
Таким образом, достигнута главная цель выпускной квалификационной работы: спроектирована и разработана система визуализации загрузки суперкомпьютеров для Лаборатории суперкомпьютерного моделирования ЮУрГУ.
Публикации
Опубликованы 3 статьи на научных конференциях:
1) Костенецкий П.С., Сафонов А.Ю. Суперкомпьютерный комплекс ЮУрГУ // Параллельные вычислительные технологии (ПаВТ’2016): труды международной научной конференции (28 марта - 1 апреля 2016 г., г. Архангельск). - Челябинск: Издательский центр ЮУрГУ, 2016. - С. 561-573.
2) Сафонов А.Ю., Костенецкий П.С. Система сбора и отображения статистики о загрузке суперкомпьютеров ЛСМ ЮУрГУ // Параллельные вычислительные технологии (ПаВТ'2015): труды международной научной конференции (30 марта - 3 апреля 2015 г., г. Екатеринбург). - Челябинск: Издательский центр ЮУрГУ, 2015. - С. 516.
3) Сафонов А.Ю., Костенецкий П.С., Бородулин К.В., Мелехин Ф.М. Система мониторинга загрузки суперкомпьютеров ЮУрГУ // Суперкомпьютерные дни в России 2015: труды международной научной конференции (28-29 сентября 2015 г., г. Москва). - М.: Издательство Московского государственного университета, 2015. - С. 662-666.
При этом 3-я статья вошла в базу цитирования Scopus. Каждая статья была защищена выступлением на научной конференции:
1) выступление с докладом на международной научной конференции «Параллельные вычислительные технологии (ПаВТ’2016)», проходившей 28 марта - 1 апреля 2016 г. в г. Архангельск;
2) был представлен плакат на стендовую секцию международной научной конференции «Параллельные вычислительные технологии (ПаВТ- 2015)», проходившей 30 марта - 3 апреля 2015 г. в г. Екатеринбург;
3) выступление с докладом на международной научной конференции «Суперкомпьютерные дни в России-2015», проходившей в г. Москва 28-29 сентября 2015 г.
Свидетельства о регистрации программы для ЭВМ
Получено свидетельство о государственной регистрации программы для ЭВМ № 2016612127 «Система сбора и отображения статистики о загрузке высокопроизводительных вычислительных систем».
Внедрение
В настоящее время система сбора и визуализации информации о загрузки суперкомпьютеров внедрена в промышленную эксплуатацию в Лаборатории суперкомпьютерного моделирования ЮУрГУ.
1) сделан обзор научной и технической литературы по теме визуализации данных с суперкомпьютеров;
2) выполнено проектирование программной системы;
3) реализована программная система;
4) произведено тестирование программной системы;
5) программная система внедрена в промышленную эксплуатацию.
Таким образом, достигнута главная цель выпускной квалификационной работы: спроектирована и разработана система визуализации загрузки суперкомпьютеров для Лаборатории суперкомпьютерного моделирования ЮУрГУ.
Публикации
Опубликованы 3 статьи на научных конференциях:
1) Костенецкий П.С., Сафонов А.Ю. Суперкомпьютерный комплекс ЮУрГУ // Параллельные вычислительные технологии (ПаВТ’2016): труды международной научной конференции (28 марта - 1 апреля 2016 г., г. Архангельск). - Челябинск: Издательский центр ЮУрГУ, 2016. - С. 561-573.
2) Сафонов А.Ю., Костенецкий П.С. Система сбора и отображения статистики о загрузке суперкомпьютеров ЛСМ ЮУрГУ // Параллельные вычислительные технологии (ПаВТ'2015): труды международной научной конференции (30 марта - 3 апреля 2015 г., г. Екатеринбург). - Челябинск: Издательский центр ЮУрГУ, 2015. - С. 516.
3) Сафонов А.Ю., Костенецкий П.С., Бородулин К.В., Мелехин Ф.М. Система мониторинга загрузки суперкомпьютеров ЮУрГУ // Суперкомпьютерные дни в России 2015: труды международной научной конференции (28-29 сентября 2015 г., г. Москва). - М.: Издательство Московского государственного университета, 2015. - С. 662-666.
При этом 3-я статья вошла в базу цитирования Scopus. Каждая статья была защищена выступлением на научной конференции:
1) выступление с докладом на международной научной конференции «Параллельные вычислительные технологии (ПаВТ’2016)», проходившей 28 марта - 1 апреля 2016 г. в г. Архангельск;
2) был представлен плакат на стендовую секцию международной научной конференции «Параллельные вычислительные технологии (ПаВТ- 2015)», проходившей 30 марта - 3 апреля 2015 г. в г. Екатеринбург;
3) выступление с докладом на международной научной конференции «Суперкомпьютерные дни в России-2015», проходившей в г. Москва 28-29 сентября 2015 г.
Свидетельства о регистрации программы для ЭВМ
Получено свидетельство о государственной регистрации программы для ЭВМ № 2016612127 «Система сбора и отображения статистики о загрузке высокопроизводительных вычислительных систем».
Внедрение
В настоящее время система сбора и визуализации информации о загрузки суперкомпьютеров внедрена в промышленную эксплуатацию в Лаборатории суперкомпьютерного моделирования ЮУрГУ.





