ВВЕДЕНИЕ 4
ГЛАВА 1. ОБЗОР СОСТОЯНИЯ РАЗРАБОТОК ПАРАЛЛЕЛЬНЫХ СУБД 13
1.1. Предварительное рассмотрение 13
1.2. Обзор популярных СУБД 19
1.3. Обзор отечественных разработок 25
1.4. Обзор подхода NoSQL 31
1.5. Выводы по главе 1 34
ГЛАВА 2. ПОСТАНОВКА ОСНОВНОЙ ЗАДАЧИ 36
2.1. Принятые ограничения 36
2.2. Предлагаемый метод претрансляции запросов 37
2.3. Разработанный метод настройки MySQL 43
2.4. Принятая методология 45
2.5. Принятые постулаты 49
2.6. Выбор и разработка начального состояния /S-модели 51
2.7. Выводы по главе 2 69
ГЛАВА 3. /^-МОДЕЛИРОВАНИЕ CLUSTERIX-N. ИТЕРАЦИИ 1 - 4 70
3.1. Архитектура для первой итерации внутреннего /^-моделирования
Clusterix-N 70
3.2. Экспериментальное исследование на первой итерации /S-моделирования
Clusterix-N 84
3.3. Вторая итерация /S-моделирования Clusterix-N 91
3.4. Третья итерация /S-моделирования Clusterix-N 95
3.5. Четвертая итерация /S-моделирования Clusterix-N 98
3.6. Выводы по главе 3 101
ГЛАВА 4. АЛЬТЕРНАТИВА СИСТЕМЫ CLUSTERIX-N ПРИ УМЕРЕННЫХ
ОБЪЕМАХ БАЗ ДАННЫХ 103
4.1. Архитектура PerformSys 103
4.2. Платформа SUN-кластера. Исследование при объемах баз данных в
единицы GB 116
4.3. Платформа GPU-кластера без использования акселераторов. Случаи баз
данных в десятки и сотни GB 124
4.4. Выводы по главе 4 126
ГЛАВА 5. НЕКОТОРЫЕ ПЕРСПЕКТИВЫ ДЛЯ ДАЛЬНЕЙШЕГО 128
5.1. Работа со сжатыми базами данных 128
5.2. Кросс-моделирование территориально распределенных СУБД 142
5.3. Выводы по главе 5 150
ЗАКЛЮЧЕНИЕ 152
ОПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ 155
СЛОВАРЬ ТЕРМИНОВ 156
СПИСОК ЛИТЕРАТУРЫ 157
ПРИЛОЖЕНИЕ А. РАЗРАБОТАННЫЕ ДЛЯ НАЧАЛЬНОГО СОСТОЯНИЯ
СЕРВИСНЫЕ СРЕДСТВА 163
А.1. Подсистема журналирования 163
А.2. Подсистема сбора статистики и визуализации 164
А.3. Модуль сетевого взаимодействия 172
A.4. Драйвер СУБД 175
ПРИЛОЖЕНИЕ Б. ЛИСТИНГИ 179
ПРИЛОЖЕНИЕ В. ДИАГРАММЫ ФУНКЦИОНИРОВАНИЯ CLUSTERIX-N ... 183
B.1. Итерация 1 183
В.2. Итерация 2 и 3 186
В.3. Итерация 4 189
ПРИЛОЖЕНИЕ Г. РЕГИСТРАЦИЯ ПРОГРАММ ДЛЯ ЭВМ 192
ПРИЛОЖЕНИЕ Д. АКТ О ВНЕДРЕНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИИ В
УЧЕБНЫЙ ПРОЦЕСС КНИТУ-КАИ 193
ПРИЛОЖЕНИЕ Е. АКТ О ВНЕДРЕНИИ РЕЗУЛЬТАТОВ ДИССЕРТАЦИИ В
ООО «АМР СИСТЕМЫ» 194

Купить

Актуальность исследований. Объемы собираемых и хранимых данных в современных информационных системах достигают огромных объемов, исчисляемых десятками, сотнями GB и TB, а порой и PB. Объемы БД в десятки и сотни GB все чаще встречаются у относительно небольших предприятий. Терабайтные и пета-байтные объемы присущи территориально распределенным системам: социальные сети, поисковые системы, государственные информационные системы и др. Например, размер БД с сообщениями пользователей социальной сети «ВКонтакте» на 2017 год составлял ~ 324 TB [1], а поисковые системы давно преодолели пета- байтный порог (50 PB для «Яндекс» в 2016 году [2]). Кроме того, объемы хранимых данных по результатам разного рода испытаний и наблюдении также могут быть весьма значительными: от десятков GB до единиц PB [3].
Своевременная обработка накопленных данных требует применения высокопроизводительных вычислительных средств (HPC) и специализированного программного обеспечения - СУБД консервативного типа с эпизодическим обновлением данных. Имеется множество коммерческих и свободных разработок параллельных СУБД на платформе вычислительных кластеров (Microsoft SQL Server, Oracle Database, PostgreSQL, MySQL Cluster и др.). Но все они ориентированы, в основном, на OLTP нагрузку [4], которая характеризуется выполнением множества сравнительно простых операций типа selectи insertнад динамически изменяемыми базами данных. Причина в том, что серьезной проблемой для высокопроизводительных реляционных СУБД всегда было и остается повышение скорости обработки сложных запросов [5, 6]. Для консервативных СУБД свойственна OLAP нагрузка [7], которая характеризуется высоким удельным весом сложных запросов типа «селекция - проекция - соединение», оперирующих множеством таблиц с большим числом операций соединения.
Разработки в этом направлении ведутся. В коммерческом секторе уже сейчас последние версии СУБД от Microsoft SQL Server 2016 и 2017 могут быть применены для аналитической обработки в рамках одного узла [8]. Производительность Microsoft SQL Server 2016 на одном сервере Lenovo x3950X6 [9] (8 вычислительных модулей, 144 ядра) с внешней флеш-памятью ~120 TB и объемом оперативной памяти 12 TB, при совокупной стоимости системы $2 634 342 (стоимость Lenovo x3950X6 ~$1,5 млн., стоимость Windows Server 2016 и SQL Server 2016 Enterprise Edition ~$1 млн.), показывает отличные результаты [10] на тесте TPC-H [11]. У Oracle имеется собственная программно-аппаратная платформа Exadata [12] обладающая примерно такой же стоимостью аппаратуры (~$1,5 млн.) на одну стойку в средней комплектации: 2 сервера БД (192 CPU Cores / 3 TB RAM / 12 TB Flash Storage на каждый сервер) и 14 серверов хранилища (20 CPU Cores / 3 TB RAM / 24 TB Flash Storage / 120 TB HDD Storage на каждый сервер). Что более выгодно, чем Lenovo x3950X6, но программное обеспечение для Exadata в стоимость не входит и приобретается отдельно. Поэтому, если установить на эту платформу СУБД Oracle Database с расширением для OLAP обработки, то к стоимости системы прибавится стоимость ПО ~$9 млн. За столь высокой стоимостью коммерческих систем кроются гарантии производителя в надежности и высокой производительности его системы.
Альтернативой дорогим коммерческим СУБД являются свободные СУБД с открытым исходным кодом, ориентированные на работу с БД повышенного объема (PostgreSQL XL, MySQL Cluster, Spark и др.). Их главное преимущество - доступность и независимость разработки. Но они существенно уступают коммерческим по надежности и, в меньшей мере, по производительности. Кроме того, никто не гарантирует их корректную работу, никто не несет ответственности в случае отказа в работе. Настройка и эксплуатирование таких систем полностью ложится на системных администраторов, которые вынуждены принимать меры по повышению надежности подконтрольных им систем своими силами.
Многие свободные СУБД поддерживаются корпорациями, которые предоставляют платные услуги по их настройке и обслуживанию. Ярким примером такой СУБД является MySQL, которая хоть и является СУБД с открытым исходным кодом, но ее поддержкой занимается Oracle. Стоимость такой поддержки в среднем равна $10 000 на один сервер в год, что гораздо дешевле стоимости оригинальной Oracle Database в разы.
Свободные СУБД позволяют экономить большое количество средств на ПО. Но для достижения приемлемой производительности на БД повышенного объема, они требуют использования самых мощных вычислительных узлов, что не всегда возможно. Уменьшить стоимость аппаратной платформы представляется возможным заменой одного мощного узла группой маломощных узлов с целью распределения данных и работ по ним. Такой подход применен в СУБД PostgreSQL XL, но ее производительность и надежность оставляют желать лучшего [13].
Разрабатываемые в диссертации прототипы СУБД предназначены для изыскания возможностей реализации экономичных параллельных/распределенных консервативных СУБД повышенных объемов, которые смогут эффективно обрабатывать поток запросов к БД объемом в десятки и сотни GB на сравнительно недорогих кластерных платформах с применением средств MySQL и GPU-акселераторов на исполнительном уровне. Использование готовой СУБД обусловлено тем, что создание полнофункциональной новой СУБД может занять годы при работе большой команды высококвалифицированных разработчиков. Поэтому, чтобы не оказаться в догоняющей позиции, новые отечественные СУБД следует создавать на базе готовых СУБД с открытым кодом и свободной лицензией, поддерживаемых международным сообществом. PostgreSQL является более совершенной СУБД, чем MySQL, и активно позиционируется на территории России [14]. Но MySQL позволяет использовать различные «движки» и имеет систему расширений [15]. Эти особенности упрощают и ускоряют разработку.
Разработанный в диссертации исследовательский прототип параллельной консервативной СУБД Clusterix-N ориентирован на ускорение (в сравнении с СУБД Clusterix [16]) обработки запросов к БД повышенных объемов (не умещающихся в оперативной памяти одного узла). Повышение объема баз данных требует их хеширования по узлам кластера, что обуславливает необходимость использования регулярного плана обработки запросов. Суть предлагаемого подхода состоит в соответствующей организации пакетной передачи данных и использовании GPU-ускорителей.
Альтернативой Clusterix-N при БД объемом, не превышающим размера оперативной памяти одного узла (единицы и десятки GB) является второй разработанный в диссертации исследовательский прототип консервативной СУБД Per- formSys. Он ориентирован на обработку большого потока запросов к БД малого объема с полной загрузкой процессорных ядер. Работа прототипа организуется со-гласно стратегии «ядро на запрос +1» [17]. Система реализована на платформе вычислительных кластеров, использует в качестве инструментальной СУБД MySQL и эксплуатирует ряд ее возможностей: выделение отдельного потока под запрос, хранение БД в оперативной памяти. Увеличение объема БД существенно снижает производительность. Для сохранения производительности с ростом объема данных необходимо заменять узлы кластера на более мощные, что не всегда возможно.
В настоящее время правительством РФ взят курс на импортозамещение, в связи с чем серьезное внимание уделяется созданию на базе открытых систем (PostgreSQL, MySQL и др.) отечественных СУБД общего и специального назначения. Поэтому разработка и исследование принципов построения и программной организации сравнительно недорогих отечественных СУБД повышенных объемов является актуальной задачей.
Цели исследований. Основной целью является повышение эффективности (по критерию «производительность/стоимость») экономичных систем консервативных баз данных повышенных объемов при обработке по регулярному плану (используемому в СУБД Clusterix) непрерывных потоков сложных запросов типа «селекция - проекция - соединение» до уровня, сравнимого с технологией Spark, полагаемой в настоящее время наиболее перспективной. Развитие технологии PerformSys, перспективной при умеренных объемах баз данных, служит дополнительной целью.
Задачи исследований. В соответствии с поставленной целью основной задачей исследований является анализ возможностей реализации экономичных консервативных СУБД повышенных объемов - СУБД Clusterix-N, сравнимых по эффективности с системой Spark при обработке потока запросов к БД объемом в сотни GB и более на сравнительно недорогих кластерных платформах с использованием регулярного плана обработки запросов, применением средств MySQL и GPU-акселераторов на исполнительном уровне. Дополнительная задача - архитектурно-алгоритмическая и программная разработка альтернативной системы (PerformSys) при умеренных объемах баз данных и анализ перспектив дальнейших исследований по развитию рассматриваемых IT-технологий.
Решение этих задач связывается с проведением следующих исследований, отраженных в главах 2-5 работы соответственно:
- Изыскание специальной настройки инструментальной СУБД MySQL на максимальную загрузку процессорных ядер при работе с консервативными СУБД; разработка способа претрансляции запросов к регулярному плану; интерпретация методологии конструктивного моделирования систем применительно к решению задачи синтеза консервативных СУБД; выбор и разработка начального состояния этого итеративного процесса.
- Итеративная разработка и исследование иерархической модели синтеза СУБД Clusterix-N согласно методологии конструктивного моделирования систем вплоть до получения состояния этой модели, удовлетворяющего поставленной цели.
- Разработка предложений по архитектуре PerformSys и сравнительное ис-следование ее эффективности на платформах SUN- и GPU-кластеров при различных объемах БД.
- Анализ перспектив перехода от системы Clusterix-N к системе Clusterix- G с работой со сжатыми БД и более широким использованием GPU-ускорителей. Выяснение перспектив балансировки нагрузки в территориально распределенных консервативных СУБД с целью повышения их пропускной способности .
Научная новизна:
1. Разработан способ претрансляции запросов к регулярному плану, основанный на таком дроблении исходного запроса на SQL-фрагменты, который, в отличие от использованного для Clusterix метода, позволяет использовать его с различными инструментальным СУБД.
2. Предложена интерпретация методологии конструктивного моделирования систем применительно к задаче моделирования процесса синтеза консервативных СУБД класса BigData, которая, в отличие от ранее использованной для Clus-terix-подобных СУБД, позволяет добиться большей эффективности системы.
3. Предложен и реализован метод параллельной обработки селективных запросов в СУБД Clusterix-N на уровне IO, основанный на поблочной выборке из СУБД MySQL, что, в отличие от ранее реализованного метода в Clusterix-подобных системах, позволяет использовать все процессорные ядра всех узлов IO для обработки одного селективного запроса с полной загрузкой процессорных ядер.
4. Для СУБД Clusterix-N предложены и реализованы методы сосредоточен-ной и распределенной динамической сегментации промежуточных/временных отношений с применением GPU-ускорителей, основанные на хешировании c ускорением на GPU и распределении данных по всем процессорным ядрам всех узлов JOIN, что, в отличие от реализации этой процедуры в СУБД Clusterix [16] и Clusterix-M [18], позволяет существенно ускорить операции хеширования, загрузить все процессорные ядра всех узлов уровня JOIN и более эффективно использовать сеть.
5. Предложен и реализован в СУБД PerformSys метод распределения потока запросов по процессорным ядрам кластерной платформы с их полной загрузкой, основанный на стратегии «запрос на ядро +1», что, в отличие от реализации в MySQL Router [19], позволяет передавать в узлы ровно столько запросов, сколько они могут эффективно обработать.
6. Выявлена возможность дальнейшего повышения эффективности Clusterix-подобных систем (переход от Clusterix-N к архитектуре Clusterix-G), основанного на работе со сжатыми БД, что, в отличие от применения GPU для выполнения SQL запросов в [20, 21], позволяет увеличить объемы хранимых данных и ускорить их передачу по сети.
7. Предложены методы межрегиональной балансировки нагрузки для территориальной распределенных консервативных СУБД, основанные на подсчете веса очередей и времени активности каждого региона, что, в отличие от общепринятых методов балансировки нагрузки [22], позволяет более равномерно распределять нагрузку по регионам и увеличить эффективность эксплуатации территориально распределенных СУБД.
Научная значимость полученных результатов:
1. Проведенное в диссертации конструктивное моделирование консервативных СУБД с регулярным планом обработки запросов позволило существенно пополнить состав развитых ранее элементов содержательной теории таких СУБД анализом возможностей полной загрузки процессорных ядер, использования гибридных технологий и блочной динамичной сегментации отношений.
2. Разработка в диссертации четырех версий СУБД Clusterix-N и получение в последней итерации моделирования результатов, сравнимых с технологией MapReduce, поможет актуализации широкомасштабных научных исследований по дальнейшему развитию теории консервативных СУБД класса BigData с регулярным планом обработки запросов.
3. Позитивные результаты выполненного в диссертации кросс-моделирования межрегиональной балансировки нагрузки территориально распределенных СУБД консервативного типа показывают целесообразность развертывания серьезных научных исследований в этом направлении.
Практическая значимость. Помещенные в открытый доступ исследовательские прототипы систем PerformSys и Clusterix-N могут быть использованы как действующая платформа для создания экономично-эффективных аналитических систем в организациях с ограниченными финансовыми возможностями и изучения вопросов параллельной/распределенной обработки данных в учебном процессе ВУЗов.
Основные положения, выносимые на защиту:
1. Специальная настройка инструментальной СУБД MySQL на максимальную загрузку процессорных ядер при работе с консервативными СУБД; способ претрансляции запросов к регулярному плану; интерпретация методологии конструктивного моделирования систем применительно к задаче моделирования процесса синтеза консервативных СУБД. (отвечает пунктам 1 и 8 паспорта специальности 05.13.11).
2. Оригинальные программные разработки с экспериментальной проверкой, которые требуется выполнять многократно в процессе итеративного исследования - начальное состояние модели и итерации 1 - 4 в процессе разработки модели синтеза СУБД Clusterix-N (отвечает пунктам 1, 4 и 8 паспорта специальности 05.13.11).
3. Методы, алгоритмы и программы СУБД «PerformSys». Результаты экспериментального исследования на платформах SUN- и GPU-кластеров при сравнительно небольших и повышенных объемах БД (отвечает пунктам 4 и 8 паспорта специальности 05.13.11).
4. Результаты предварительной теоретической оценки перспектив перехода от системы Clusterix-N к системе Clusterix-G с работой со сжатыми БД и более широким использованием GPU-ускорителей (отвечает пунктам 1 и 8 паспорта специальности 05.13.11).
5. Перспективы балансировки нагрузки в территориально распределенных консервативных СУБД с целью повышения их пропускной способности. (отвечает пунктам 1 и 9 паспорта специальности 05.13.11).
Объект исследования. Параллельные и распределенные СУБД консервативного типа на кластерной платформе с графическими ускорителями и без них, основанные на свободных СУБД общего назначения.
Предмет исследования. Модели, алгоритмы и программы параллельных/распределенных СУБД консервативного типа повышенных объемов.
Обоснованность и достоверность результатов диссертации. Обоснованием может служить использование в процессе проведенных исследований методологии конструктивного моделирования систем, развитых элементов теории баз данных, параллельных и распределенных вычислений, объектно-ориентированного программирования. Достоверность подтверждена экспериментально на натурных моделях, разработанных с применением оригинальных программных инструментальных средств.
Соответствие работы специальности ВАК 05.13.11. Работа отвечает следующим пунктам паспорта специальности 05.13.11 (в квадратных скобках указаны соответствующие позиции диссертации):
п.1. Модели, методы и алгоритмы проектирования и анализа программ и программных систем, их эквивалентных преобразований, верификации и тестирования. [Модели, методы и алгоритмы проектирования программ и программных систем управления консервативными базами данных. Тестирование разработанных СУБД].
п.4. Системы управления базами данных и знаний. [Разработаны исследовательские версии СУБД Clusterix-N и PerformSys].
п.8. Модели и методы создания программ и программных систем для параллельной и распределенной обработки данных, языки и инструментальные средства параллельного программирования. [Математическая модель процесса синтеза Clusterix- подобных систем, методы создания программ и программных систем параллельных СУБД на платформе вычислительных кластеров с графическими ускорителями].
п.9. Модели, методы, алгоритмы и программная инфраструктура для организации глобально распределенной обработки данных. [Модели, методы, алгоритмы межрегиональной балансировки нагрузки в территориально распределенных СУБД].
Апробация работы. Основные результаты работы неоднократно докладывались и обсуждались на Международной молодежной научной конференции «Туполевские чтения» (Казань, 2013, 2015), Международной научно-методической конференции «Информатика: проблемы, методология, технологии» (Воронеж, 2016), Международной конференции и молодежной школы «Информационные технологии и нанотехнологии» (Самара, 2016), Республиканском научном семинаре АН РТ «Методы моделирования» (Казань, 2015-2018), Международной научной конференции «Системы компьютерной математики и их приложения» (Смоленск, 2018), обсуждение на кафедре системного анализа и информационных технологий КФУ (Казань, 2019).
Публикации. Основные результаты по теме диссертации изложены в 14 печатных изданиях, 9 из которых изданы в журналах, рекомендованных ВАК (включая одну SCOPUS-статью), 1 - в РИНЦ-журнале, 4 - в материалах конференций, индексированных в РИНЦ. По выполненным разработкам получено одно свидетельство о государственной регистрации программы для ЭВМ.
Объем и структура работы. Диссертация состоит из введения, пяти глав и заключения. Полный объем диссертации составляет 195 страниц, включая 54 рисунка, 19 таблиц и 6 приложений. Объем основной части диссертации (без приложений) составляет 162 страницы. Список литературы содержит 130 наименований.

Купить