Введение 3
Постановка задачи 4
Глава 1. Технологии виртуализации 5
Глава 2. Работа параллельных приложений в распределенной среде 15
Глава 3. Разработка распределенной вычислительной инфраструктуры для параллельных приложений 20
Глава 4. Применение модели 31
Глава 5. Результаты 45
Заключение 46
Список литературы 48
Высокопроизводительные вычисления занимают важную роль как в сфере информационных технологий как предмет обучения, так и во многих смежных сферах, как инструмент вычислений, моделирования, анализа и т.д. В частности благодаря им есть возможность создавать тренажеры, которые имитируют реальные условия с целью подготовки квалифицированных кадров. В случае натурного эксперимента, есть вероятность утраты дорогостоящего оборудования или, что еще хуже, потери человеческих жизней. В случае виртуальной эмуляции всегда есть возможность прекратить эксперимент и предотвратить трагедию. Данные системы используются для прогнозирования погоды, собирая и обрабатывая огромное количество данных с метеостанций, расположенных по всему миру. Даже для того, чтобы найти необходимую информацию в интернете используется огромное количество вычислительных средств. Одним из способов организации высокопроизводительных вычислений является создание кластера. Кластер — это объединение множества отдельных вычислительных ресурсов в единую систему. Что позволяет получить огромный вычислительный потенциал. Однако, к сожалению при построении кластера не учитываются особенности исполняемых программ. В большинстве своем кластеры не подстраиваются под конкретную задачу, предоставляя всевозможные ресурсы без учета особенностей запускаемых задач. Часто не учитывается то, что на предоставляемых ресурсах она может работать неэффективно. Кроме того, само приложение может быть рассчитано на использование других по мощности ресурсов. И в случае, когда предоставляемые ресурсы будут отличаться от прогнозируемых, производительность приложения может пострадать. Также возможна ситуация, когда программа умышленно или случайно потребляет максимально возможное количество ресурсов или мешает другим приложения исполняться. То есть в целом носит паразитический характер. Вне зависимости от того является ли это злым умыслом, или ошибкой в программе, необходимо предусмотреть механизм предотвращения подобного поведения.
Предложенная в данной работе модель решает часть проблем описанных выше. Используя разработанную систему, у пользователей появляется возможность сконфигурировать ресурсы окружения исходя из своих необходимостей и нужд. При этом есть возможность выбрать оптимальную конфигурацию ресурсов и, в случае наличия в резерве достаточного количества ресурсов, создать виртуальный кластер, на котором непосредственно и произойдет выполнение программы. При этом, с одной стороны, ресурсы кластера подстраиваются под задачу, с другой стороны, для каждой задачи создается ограниченное по ресурсам окружение. Любые действия программы изолированы и не влияют на исполнение других задач. По окончанию работы, использованные ресурсы освобождаются, а созданный кластер уничтожается со всеми составляющими.
В рамках данной работы необходимо было решить поставленные задачи:
• Провести обзор предметной области.
Обзор предметной области произведен. Необходимые аспекты освещены.
• Выбрать основу для виртуальной вычислительной архитектуры;
Произведен обзор возможных вариантов, в качестве рабочего было решено использовать контейнеры приложений.
• Разработать модель для выявления оптимальных параметров.
Описываемая модель позволяет найти оптимальные параметры методом подбора. Что продемонстрировано в ходе работы.
• Издать прототип виртуальной вычислительной системы.
Прототип системы был создан. Предварительно была продумана архитектура системы с учетом теоретической части работы.
• Провести тестирование полученной модели.
Произведено тестирование полученной модели. Подробности и результаты также описаны в работе.
Тем самым цель работы: создание виртуальной распределенной вычислительной среды, которая позволит сконфигурировать предоставляемые вычислительные ресурсы в соответствиям с требованиями приложения была достигнута.
В рамках данной работы представлена новая модель информационной системы для реализации распределенных вычислений. На основе теоретической модели создан прототип. Проведен ряд вычислительных экспериментов, который показал применимость прототипа при решении поставленных задач. Данный подход помимо анализа приложения и оптимального подбора ресурсов, может послужить и для других целей. Например изолированность позволяет реализовать ситуацию, когда на основе аппаратных средств имеются несколько персональных кластеров созданных, к примеру, с целью обучения. При этом программные ошибки и сбои одного кластера не будут влиять на другой кластер, работающий на тех же ресурсов.
В качестве дальнейшей работы можно выделить следущее:
• решить вопрос с ограничением мощности процессора при запуске задач;
• проанализировать данные, которые необходимы для работы приложения с целью проектирования структуры СУБД;
• реализовать полноценную серверную часть;
• реализовать клиентскую часть;
• провести компанию по сбору ресурсов;
• вывести продукт в стадию, когда им можно будет пользоваться.
В ходе развития данной промежуточные результаты были освещены на международной конференции ICCSA 2015 и опубликована работа [8]. В текущем году было выступление на XLVII Международной научной конференции аспирантов и студентов «Процессы управления и устойчивость» Control Processes and Stability (CPS’16) с последующей публикацей. А также принята статья на ICCSA 2016.
В целом есть надежда, что развитие данной работы может послужить началом эры краудфандинга в информационной среде.
