Автоматическая настройка параметров тиринга, зависящая от входящей нагрузки, в системе хранения данных

Введение 5
1. Постановка задачи 7
2. Обзор 8
2.1. Алгоритмы идентификации 8
2.1.1. Window-based Direct Address Counting 8
2.1.2. Multiple Hash Function 9
2.1.3. HotDataTrap 10
2.2. Существующие решения 12
2.2.1. Easy Tier в IBM SVC 12
2.2.2. EMC Fast VP 12
2.3. Linux Kernel Module Programming 13
2.4. Средства тестирования 13
3. Реализация двухуровневого и трёхуровневого тира 15
4. Алгоритм идентификации ’’горячих” данных 17
5. Функциональное тестирование и измерение производи­тельности 18
5.1. Схема экспериментов 18
5.2. Тестирование корректности алгоритма 19
5.3. Тест производительности SSD-RAID 21
5.4. Тестирование параметров тира 22
5.4.1. Тест типа данных Bloom Filter 22
5.4.2. Тест на определение количества хэш-функций 23
5.4.3. Тесты на определение размера Bloom Filter 26
5.5. Исследование поведения системы при различных типах нагрузки 27
5.5.1. Сравнение с тиром без миграции 27
5.5.2. Тестирование миграции при нагрузке на SSD-RAID 29
5.6. Объём метаданных 30
Заключение 32
Список литературы 33
Купить

В последнее время, учёными и исследователями разрабатываются и совершенствуются технологии, предназначенные для замены обычных накопителей на базе магнитных дисков (HDD) [5]. Флэш-память ярко выделяется на фоне остальных и сейчас уже стала один из наиболее популярных способов хранения информации в мобильных устройствах, персональных компьютерах, корпоративных серверах, благодаря высо­кой скорости доступа, низком энергопотреблении, высокой ударопроч­ности и портативности. Появление твердотельных накопителей (SSD), оказало значительное влияние на существующую иерархию в системах хранения данных (СХД). От организации архитектуры такой системы будет зависеть её производительность, затраты памяти, срок службы и множество других факторов [2].
Для увеличения производительности и обеспечения сохранности ин­формации систем хранения данных используется технология RAID, объединяющая множество дисков в один логический массив [13]. Са­мым простым случаем данной технологии является RAID 0, не обеспе­чивающая сохранности информации при отказе диска, зато отсутствует избыточность при хранении информации. Следующие уровни позволя­ют предотвращать потерю данных, но с потерей скорости работы или с большими финансовыми затратами из-за избыточности.
Информацию, с которой работают различные СХД, можно услов­но разделить на ’’горячую” и ’’холодную”, основываясь на предположе­нии, будет ли она необходима, и как часто будут к ней обращения в будущем. Первостепенная задача в этой области - умение идентифи­цировать ’горячие” данные [9]. Правильность решения проблемы иден­тификации напрямую будет влиять на производительность всей систе­мы. Если поместить SSD между основной памятью (RAM) и HDD, то флэш-память будет энергонезависимым кэшом второго уровня. В свою очередь, ускорение системы будет достигаться перемещением ”горячих” данных на SSD или на SSD, обладающим поддержкой спецификации NVM Express, а ’холодных” на HDD, соответственно [1]. Получившая­ся многоуровневая система хранения данных называется тир (от англ. tiered storage - многоуровневое хранение). Уровней иерархии может быть сколько угодно, но, как правило, используется два или три.
Бакалаврская работа выполнялась в системе RAIDIX. Raidix - про­граммное обеспечение для систем хранения данных, разработанное ком­панией ООО ”Рэйдикс” [10]. Данное решение обладает необходимым функционалом для создания и дальнейшего обеспечения работы ме­ханизма тиринга: позволяет создавать RAID-массивы, объединять их в тома, подключать плагины, позволяющие работать с системой хра­нения данных. Поддерживается параллельный доступ к информации, совместная работа над данными.
Купить