ВВЕДЕНИЕ 5
1. ОБЗОР И АНАЛИЗ ИСТОЧНИКОВ 7
1.1 Статьи 7
1.2 Существующие решения 10
1.2.1 Шаблоны 10
1.2.2 Архитектура существующих проектов 12
2. ПРОЕКТИРОВАНИЕ ПРОТОТИПА 16
2.1 Выбор подхода и разработка архитектуры 17
2.1.1 Горизонтальная масштабируемость 17
2.1.2 Возможность добавлять, удалять новые сервера 19
2.1.3 Автоматическое развертывание системы 20
2.1.4 Балансировка нагрузки 20
2.1.5 Независимость серверов системы 21
2.2 Алгоритм выбора сервера для пользователя 21
2.2.1 Разделение серверов по модулю 21
2.2.2 Консистентное хеширование 22
2.2.3 “Перемещение” узлов 24
2.2.4 Разделение списка ключей на слоты 24
2.2.5 Хеширование с наивысшим случайным весом 25
3. РАЗРАБОТКА И ТЕСТИРОВАНИЕ ПРОТОТИПА 29
3.1 Алгоритм переноса пользователей на новый узел 29
3.2 Оповещение пользователей об изменении количества узлов 29
3.3 Автоматическое развертывание системы 30
3.4 Описание работы с прототипом 33
3.5 Тестирование прототипа, выявление результатов 35
ЗАКЛЮЧЕНИЕ 37
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 39
Если проект оказался удачным и набирает популярность, то скорее всего, наступит момент, когда мощности сервера, на котором работает приложение, не хватает. А нехватка мощностей отрицательно сказывается на производительности приложения. Если все процессы в системе уже оптимизированы, а производительность все равно оставляет желать лучшего, можно рассмотреть следующие пути улучшения производительности:
1. Добавление новых ресурсов в существующий сервер -
вертикальное масштабирование.
2. Реализация горизонтального масштабирования.
Было интересно рассмотрение именно горизонтального масштабирования серверов в связи с тем, что мощность сервера можно увеличивать не до бесконечности, то есть и добавленной мощности может в конечном счете не хватить[9].
Когда в компании, в которой я работаю, начали интересоваться горизонтальным масштабированием, выяснилось, что в компании нет не только какого-либо готового решения, но и опыта разработки систем с горизонтальным с масштабированием. В то же время набрали популярность системы, работающие с множеством пользователей и требующие большого количества ресурсов. Чтобы не отставать от рынка и иметь возможность предоставлять заказчикам горизонтально масштабируемые системы, надо иметь опыт разработки подобных систем как доказательство того, что компания может это сделать. Причем предоставлять готовые решения нужно в большинстве случаев в сжатые сроки. Для этого было принято решение разработать прототип, который совмещает в себе реализацию существующих решений с ориентацией на цели и среду компании. Наряду с прототипом будут разработаны библиотека, инструкции и скрипты, которые позволят разработать систему с горизонтальным масштабированием. А так как будет готовое решение, которое служит примером горизонтально масштабируемой системы, то реализация займет меньше времени, если бы пришлось разрабатывать все с нуля.
О необходимости масштабируемой архитектуры для высоконагруженных систем свидетельствует и тот факт, что такие многопользовательские системы как ВКонтакте [10], Facebook [11], Одноклассники [12], Instagram [13] сразу или путем опыта пришли к масштабируемым архитектурам.
Таким образом, актуальностью данной работы является то, что нет
готового прототипа и отработанной совокупности подходов, взяв которые, можно было бы в сжатые сроки реализовать горизонтально масштабируемую систему.
В соответствии с выявленной актуальностью была поставлена следующая цель: разработать прототип горизонтально масштабируемой системы и инструкцию к ней, которые можно будет использовать при реализации других горизонтально масштабируемых проектов.
Объектом работы является разработка прототипа горизонтально масштабируемой системы, предметом - библиотека, набор скриптов и инструкций, позволяющие разработать с их использованием горизонтально масштабируемую систему.
Для достижения указанной цели были поставлены следующие задачи:
1. Анализ существующих алгоритмов
2. Выбор подхода и разработка архитектуры
3. Разработка прототипа
4. Реализация автоматического развертывания системы
5. Документирование работы с прототипом
В ходе работы были проделаны следующие задачи:
1. Проанализированы существующие алгоритмы для выбора сервера по ID пользователя. Путем сравнения был выбран наиболее подходящий - Хеширование с наивысшим случайным числом
2. Разработана архитектура системы, позволяющая менять количество входящих в систему серверов без остановки системы
3. Разработан прототип системы согласно архитектуре, причем пользователи равномерно распределяются между имеющимися серверами
4. Реализовано автоматическое развертывания системы на заданное количество серверов
5. Задокументирована работа с представленной библиотекой и скриптами
Таким образом, поставленную цель можно считать выполненной: разработан прототип горизонтально масштабируемой системы, а также написаны инструкцию к ней, которые можно будет использовать при реализации других горизонтально масштабируемых проектов.
Результатом работы является библиотека, написанная на C#, которая предоставляет алгоритм для разработки горизонтально масштабируемой системы. К библиотеке прилагается документация, которая включает в себя пример использования библиотеки. Также есть описание настройки системы непрерывной интеграции с приложенными скриптами, которые позволяют развертывать систему на заданное количество серверов.
Система разработана как доказательство умения разработки концепции горизонтально масштабируемой системы. Навыки разработки такого рода системы имеют важное значение для возможности конкурировать на рынке. Система будет служить в качестве прототипа при необходимости разработать горизонтально масштабируемые системы в будущем.
В дальнейшем планируется продолжить работу над системой: осуществить добавление нового сервера без прерывания сессии пользователя.
