Введение
Постановка задачи 4
1. Обзор существующих решений 5
1.1. Монолитная архитектура 5
1.2 Микросервисная архитектура 6
1.3. Очереди и теория очередей 10
1.4 Облачный провайдер - Amazon Web Services EC2 23
2. Подход и архитектура 28
2.1. Используем On-Demand инстансы 28
2.2. Использование Spot-Fleet 32
2.2.1. Использование внешнего хранилища данных 32
2.2.2. Перезапуск задач 35
Результаты тестирования 36
Заключение 37
Список используемой литературы 38
На данный момент мы переживаем время глобальной информатизации. Всё больше данных и расчетов находятся в интернете. Появляется множество сервисов предоставляющих свои услуги по расчётам в так называемых облаках(ЗааЗ) и этот рынок увеличивается с каждым годом[1].
С ростом количества данных - растут нагрузки на сервисы и старые архитектурные решения уже не справляются, появляются новые решения - такие как микросервисы. Всё больше приложений переносят в облачные дата-центры, т.к. они больше предрасположены к системам автоматического расширения.
Одним из самых популярных облачных провайдеров является Amazon Web Services (AWS), так как предоставляет большой спектр предоставляемых услуг, такие как аренда серверов, свой сервис разворачивания образов - Amazon Machine Images[2], очереди, сервисы нотификаций. Также, что важно для разработчиков - есть реализация SDK для популярных языков программирования таких как Ruby, Node.js, Java, .NET.
Несмотря на сильное развитие облачных провайдеров - многие системы до сих пор разрабатываются по монолитной [3] архитектуре.
В результате данной дипломной работы была подготовлена архитектура приложения на примере Amazon AWS, которое может автоматически расширяться под текущую нагрузку и оптимизировано использовать ресурсы, а следовательно понадобится меньше денег на поддержание инфраструктуры приложения.
В ходе работы были изучены способы оптимизации системных ресурсов с использованием микросервисной архитектуры. Теория очередей, модель анализа операций и ресурсов для написания системы автомасштабирования. Было разобрано несколько сервисов из многочисленного количества предоставляемых Amazon AWS.
Была внедрена система прогнозирования времени выполнения задач отталкиваясь от предыдущих запусков. Далее имея время выполнения задачи, исходя из формул анализа операций системы и системы оплаты AWS считалось необходимо количество серверов, с поправкой на интерактивного времени ответа. Таким образом было достигнуто более равномерное распределение задач и оптимальное количество поднятых серверов.
Так же часть системы была переведена на Spot Instances, что сильно удешевляет стоимость аренды серверов, но в целях отказоустойчивости - такие сервера обрабатывают в один момент времени меньше задач, чтобы при падение не потерять большое количество вычислений.
Была поставлена задача сократить расходы на аренду серверов на 40% - исходя из тестов данный архитектурный подход позволил уменьшить расходы на 74%, что можно считать успешным выполнением задачи.
