Тема: ПЛАНИРОВЩИК ЗАДАЧ НА ДИНАМИЧЕСКИ РАСШИРЯЕМОМ КЛАСТЕРЕ MESOS

В настоящее время распределённые вычисления пользуются большой популярностью, поскольку они предоставляют возможность обрабатывать гораздо большие объёмы данных, нежели одиночные вычислительные устройства. Нередко высоконагруженные системы могут включать в себя десятки, сотни и даже тысячи серверов, объединяясь в кластеры и образуя сложные топологии. Эти кластеры сложно не только администрировать, но и эффективно распределять доступные ресурсы кластера в зависимости от текущей нагрузки и имеющихся потребностей в работе приложений. Поэтому возникает необходимость в создании централизованных отказоустойчивых систем для управления кластером, которые полностью берут на себя функции оркестрации запускаемых в нём приложений. Таким образом, написание приложений для кластера становится намного проще, так как в них реализуется только необходимая бизнес-логика, а управлением необходимыми приложению ресурсами занимается уже другая система.
Также за последние годы сильно увеличилась доля использования виртуальных серверов, предоставляемых так называемыми облачными провайдерами. В первую очередь это связано с тем, что благодаря таким сервисам удается достичь значительного уменьшения затрат на приобретение вычислительных ресурсов на ранних этапах проекта. Аренда виртуального сервера на несколько месяцев обойдётся гораздо дешевле, чем покупка полноценного мощного сервера, средств на который на старте проекта может не быть. Экономить также помогает гибкость, заключающаяся в возможности довольно сильно кастомизировать конфигурацию арендуемых серверов: увеличивать или уменьшать объём мощностей по требованию, без дорогостоящих ручных миграций. Кроме того, тенденцию на использование таких виртуальных машин можно объяснить простотой использования: настройка и обслуживание собственного сервера является весьма трудоемкой задачей, в то время как облачные провайдеры берут эти активности на себя.
Компания, в которой работает автор данной работы, занимается реализацией и поддержкой зарубежного коммерческого проекта, в котором также возникла необходимость запускать и отслеживать процессы на кластере, работающем с использованием мощностей виртуальных машин. Для решения этих задач, в проекте используется Apache Mesos (далее - Mesos). Mesos представляет собой дополнительный слой абстракции, инкапсулирующий детали расположения и доступа к конкретным вычислительным узлам, представляя весь кластер как набор ресурсов: центральных и графических процессоров, оперативной памяти, дискового пространства и так далее. Mesos широко используется многими коммерческими гигантами, такими как Apple, Twitter, eBay, Uber и другими . Для выполнения некоторых сложных задач требуется большое количество ресурсов, поэтому в проекте иногда возникает проблема нехватки ресурсов кластера. Только после добавления администратором кластера новых ресурсов сложные задачи могут запуститься. Но после их завершения возникает ещё одна проблема - добавленные ресурсы могут не использоваться проектом довольно продолжительное время. Сам Mesos автоматически не изменяет размер кластера, поскольку не анализирует нагрузку процессов, работающих в кластере.
...
Купить

В рамках данной работы была разработана система, полностью отвечающая поставленным требованиям. Таким образом, цель работы - разработка системы, позволяющей запускать задачи на вычислительном кластере Mesos и автоматически увеличивать или уменьшать размер этого кластера в зависимости от потребностей запускаемых приложений - достигнута. Система протестирована с использованием облачного провайдера Digital Ocean, а также предоставляет точки расширения, позволяющие реализовать поддержку других облачных провайдеров, а также различные стратегии принятия решений об изменении размеров кластера, исходя из потребностей конкретной предметной области. Эти точки расширения задокументированы для облегчения их использования разработчиками, не имеющими полного представления об архитектуре системы. В настоящее время для внедрения в проект требуется реализация конкретной стратегии изменения размеров кластера, для чего необходимо провести анализ нагрузки в виде задач, которые уже запускаются в проекте. Также в проекте используется другой облачный провайдер, который в рамках данной работы использовать было нецелесообразно ввиду дороговизны его услуг. В то же время, Digital Ocean предоставил некоторое количество предоплаченных услуг в рамках помощи студенческим проектам, за что автор работы премного ему благодарен. Это позволило тестировать частое создание и удаление платных виртуальных машин в процессе отладки системы, что повлекло бы значительные финансовые траты при работе с целевым для проекта облачным провайдером.
Помимо вышеупомянутых точек расширения, система имеет большой потенциал в своём развитии. Как видно из названия работы, система работает исключительно с Mesos в качестве сервиса оркестрации, однако на рынке существуют другие системы подобного рода, некоторые из которых в последние года приобрели большую популярность, например, Kubernetes [35]. На самом деле, задача запуска процессов на кластере, которые необходимо выполнить как можно быстрее, даже за счёт выделения дополнительных платных ресурсов, может быть рассмотрена в отрыве Mesos, Kubernetes или другой конкретной технологии подобного вида. Теоретически, в разработанной системе можно абстрагировать слой, работающий с Mesos, выделив набор операций с определённой структурой и семантикой, который будет допускать конкретные реализации для различных сервисов оркестрации. Иначе говоря, спроектировать интерфейс и сделать всю работу с Mesos лишь одной из его реализаций. В этом случае получим систему более общего назначения, оставляющую за пользователем право выбора определённого “движка” или даже реализации поддержки собственного. Эта задача сама по себе заслуживает нетривиального анализа многих сложных технологий для проработки не менее сложного интерфейса, но теоретически выглядит реализуемой.
В качестве другой потенциальной точки расширения можно рассмотреть стратегию выбора очередной задачи для запуска на кластере. Если вспомнить рассмотренную архитектуру системы, то можно придать сомнению текущий подход, который WorkloadSupervisorActor применяет для принятия или отклонения очередного оффера от Mesos. А именно, он всегда ориентируется на запросы первой задачи в очереди, что не всегда оправдано. В некоторых случаях задача с большими запросами ресурсов будет причиной отказа от многих офферов, несмотря на то, что после неё в очереди находятся менее требовательные задачи, которые можно было бы запустить до последующего расширения кластера. Процесс принятия решения в отношении поступившего набора офферов на основании всей очереди задач вполне может быть представлен в виде интерфейса, допускающего различные реализации, в том числе текущую. Поскольку в рамках данной работы не ставилось такого требования, в целях экономии времени такая возможность кастомизации не была реализована, но в целом имеет смысл.
...
Купить