Введение 4
1. Постановка задачи 7
2. Исследование предметной области 8
2.1. SCSI кластеризация 8
2.2. Persistent Reservations 8
3. Обзор существующих аналогов 12
4. Разработка метода 14
4.1. Выбор средства синхронизации 14
4.2. Активные или пассивные обновления 16
4.3. Архитектура системы 17
5. Реализация 20
5.1. Синхронизирующий модуль 20
5.2. Драйвер символьного устройства 24
5.3. Представление данных Persistent Reservations 25
5.4. Команда «Compare and Write» 27
6. Тестирование 30
7. Заключение 32
Список литературы 33
SCSI[1] (Small Computer System Interface) — это набор стандартов, описывающих механизмы, интерфейсы и команды для передачи данных между компьютерами и запоминающими устройствами. В ядре операционной системы Linux предусмотрена возможность выдавать до-ступ к запоминающим устройствам (как правило реальным или виртуальным дискам) по протоколам SCSI. Тогда сторона, которая владеет диском именуется SCSI-target, а сторона, которая читает или пишет в этот диск: SCSI-initiator. Initiator может посылать на target’bi команды согласно задокументированному протоколу, например, команду на получение единоличного доступа к диску. В ядре Linux присутствует подсистема, способная выполнять SCSI команды, в случае когда каждый диск управляется одним target’ом.
На практике зачастую возникает ситуация, когда доступ к одним и тем же дискам управляется несколькими SCSI-target серверами (Рис. 1). Такой подход используется для повышения отказоустойчивости системы и пиковой скорости чтения/записи и называется кластерным режимом. SCSI кластеры часто применяются для организации систем хранения данных. При таком подходе возникает проблема синхронизации состояний между SCSI-target серверами. На данный момент эта проблема решена различными способами в прикладных системах, но на уровне операционный системы с ядром Linux такой режим не поддерживается. В штатной подсистеме ядра Linux, TCM (Target Core Mod) [2], которая включает SCSI-target функциональность, нет поддержки кластерного режима SCSI-target. В данной работе планируется разработать метод, с помощью которого можно реализовать кластерный режим в данной подсистеме.
Заметим, что если подключить несколько SCSI-target^ без поддержки кластерного режима к одним и тем же дискам, система будет работать некорректно в некоторых случаях. Например, если клиент 1 через target 1 начнет взаимодействовать с диском 1 (например, писать на него данные), при этом клиент 2 через target 2 также начнет писать на диск 1 данные, то данные на диске 1 окажутся в некорректном состоянии.
Стоит отметить, что наличие кластерного режима в SCSI-target ядра Linux еще не означает, что существует возможность создавать эффективные кластеры средствами операционной системы. При работе кластера необходимо правильно его конфигурировать, обрабатывать присоединения и отсоединения узлов во время работы кластера, регулировать работу узлов в случае распада кластера, когда часть узлов теряет соединение с остальными узлами, и перезапускать узлы по мере необходимости. Всё это тяжелые задачи, для которых существуют готовые решения в виде программ пользовательского пространства. Данная работа предполагает использование одного из таких решений.
В процессе изучения команд и механизмов SCSI был выделен механизм постоянных резерваций (Persistant Reservations), как наиболее важный механизм для создания систем хранения данных, построенных на SCSI кластерах, поэтому в данной работе ему уделено особое внимание. Этот механизм оперирует резервациями, сущностями, описывающими взятие некоторого ресурса, например диска, под контроль клиентом или группой клиентов. В стандарте также описаны команды, применяемые при работе с резервациями. Резервации могут быть постоянными, что означает, что они сохраняются при сбоях на аппаратном или сетевом уровнях, например, при сбое питания на клиенте, владеющем резервацией, или при аварийном отказе на SCSI-target^. Этот механизм является примером функциональности, реализация ко-торой в кластерном режиме требует дополнительных взаимодействий в кластере, например, нам нужно синхронизировать информацию о резервациях между всеми SCSI-target’ами.
Существуют и другие команды SCSI, реализация которых в кластерном режиме требует синхронизации данных. Так в данной работе была реализована команда «Compare and Write», аналог команды «CMPXCHG» (Compare and Exchange)[3] процессоров с архитектурой x86. Таким образом, команда «Compare and Write» может служить примитивом для создания семафоров на уровне кластера.
Полученные результаты:
В ходе выполнения данной работы были достигнуты следующие результаты:
• проведено исследование предметной области, изучены существующие стандарты;
• произведен обзор решений, которые позволяют организовать SCSI кластер и зафиксированы лучшие аспекты этих решений;
• разработан метод реализации кластерного механизма в SCSI-target ядра Linux;
• реализован разработанный метод, с помощью которого добавлен кластерный режим в команду SCSI Compare And Write ;
• проведено тестирование ключевой функциональности с помощью тестовых стендов.
