Введение 4
1. Постановка задачи 6
2. Обзор 7
3. Анализ Open CAS 10
3.1. Основные обозначения 10
3.2. Основные настройки Open CAS 12
3.3. Настройка ACP very agressive politic 22
3.4. Настройки CAS для повышения производительности работы с файловой системой Lustre 24
3.5. Анализатор запросов 26
4. Тесты производительности DCR Raid и Open CAS 28
4.1. Исходная конфигурация 28
4.2. Ограничения Intel CAS 28
4.3. Тесты случайных операций записи 32
4.4. Тесты смешанных нагрузок 36
4.5. Тесты последовательных операций записи малыми блоками 38
4.6. Тесты последовательных операций записи большими блоками 42
5. Общие рекомендации по использованию Open CAS 46
6. Заключение 48
Приложение 1 49
Список литературы 50
В современном мире объемы информации с каждым годом растут, а также увеличивается количество пользователей, запрашивающих данную информацию, что повышает нагрузки и требования к системам хранения данных (СХД). Организации и компании, разрабатывающие различные продукты СХД, стремятся получить наиболее производительную систему с учетом растущего объема высокопроизводительных нагрузок.
Одним из самых известных вариантов организации СХД является семейство технологий RAID - избыточный массив независимых дисков [13]. Производительность RAID обеспечивается за счет чередования (striping) и реже за счет зеркалирования, а отказоустойчивость за счет информационной избыточности, которая подразумевает использование дополнительных синдромных дисков предназначенных для восстановления данных при частичном повреждении или утрате.
Большая часть хранимых данных имеет небольшое количество повторных обращений, такие данные принято называть холодными(еоИ). Они составляют значительную часть как в крупных серверных СХД, так и на накопителях обычных настольных компьютеров. Если же к данным осуществляются повторные обращения, они будут называться горячими(Ьоф.
Кэширование - это технология, в которой используется буфер для хранения часто запрашиваемых данных. Система должна определять горячие данные и перемещать их в буфер. В качестве буфера часто используются устройства хранения с более высокой производительностью, например, твердотельные накопители SSD или NVMe, или кэшпамять в RAID контроллере, или RAM-диски (технология, позволяющая хранить данные в быстродействующей оперативной памяти). При запросах на чтение и запись часто запрашиваемых данных операции будут выполняться с большей скоростью и с меньшей задержкой.
Системы, которые используют кэширование вместе с HDD дисками, принято называть гибридными. Они популярны на рынке СХД, так как значительно доступнее по цене, чем массивы на основе флэш-памяти, и эффективны для работы с достаточно широким спектром задач и нагрузок. Это делает гибридные СХД подходящими для приложений, требующих большой объем хранилища.
Одним из известных продуктов, предоставляющих инструмент кэширования, является Open Cache Acceleration Software (Open CAS). Open CAS - это проект с открытым исходным кодом, основная задача которого предоставить инструмент кэширования за счет устройств с более высокой производительностью. В основе Open CAS лежит Open CAS Framework (OCF). OCF - это высокопроизводительная метабиблиотека кэширования блочного хранилища, написанная на C. Она полностью независима от платформы и системы и тесно интегрируется с остальным программным стеком, обеспечивая высокопроизводительную утилиту кэширования с малой задержкой. В первую очередь, OCF был разработан для кэширования данных с жестких дисков на твердотельных накопителях, но его также можно использовать для кэширования данных с твердотельных накопителей QLC на твердотельные накопители TLC, накопители Optane, оперативную память или любую комбинацию вышеперечисленного, включая все виды многоуровневых конфигураций. На текущий момент OCF — это проект, поддерживаемый сообществом. Первоначально он был разработан Intel. Open CAS постоянно обновляется, появляются новые версии, новые функции, при этом активно работает отслеживание проблем сообществом призванное быстро исправлять обнаруженные ошибки реализации или объяснять неожиданное поведение кэша.
В данной работе предстоит повысить производительность так называемых Nested RAID (комбинация двух уровней RAID) [9] с большим количеством жестких дисков HDD c помощью Open CAS. Цель применения Open CAS заключается в увеличении производительности при последовательной высокоинтенсивной нагрузке.
В рамках выпускной квалификационной работы были получены следующие результаты:
• Произведен обзор применения Open CAS для повышения производительности на различных системах;
• Проанализировано влияние разных настроек и параметров Open CAS на производительность;
• Получены результаты тестов производительности Open CAS c DCR RAID в качестве core устройства;
• Выработаны рекомендации о использовании Open CAS для различных паттернов нагрузок по результатам тестирования;
• С учетом выработанных рекомендаций создан анализатор запросов для установки параметров CAS в зависимости от нагрузки;
• Результаты работы опубликованы на SYSTOR 2023 Haifa, Israel.
В будущем предстоит:
• Реализовать другую политику очистки LRU, в которой не будет дискретности сброса;
• Увеличить линию кэша;
• Реализовать политику упреждающего чтения для нагрузок последовательного чтения.
