Адаптация фреймворка BGX для консенсуса горизонтально интегрированной среды
|
Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Качество данных 8
1.1. Понятие качества данных 8
1.2. Качество больших данных 12
1.3. Блокчейн и качество данных 14
Глава 2. Платформа DGT 16
2.1. Архитектура и особенности работы DGT 16
2.2. Методика учета качества поверх DGT 21
Глава 3. Построение семейства транзакций 25
3.1. Пример реализации семейства транзакций 25
3.2. Результаты работы 26
Выводы 29
Заключение 30
Список литературы
Постановка задачи 4
Обзор литературы 5
Глава 1. Качество данных 8
1.1. Понятие качества данных 8
1.2. Качество больших данных 12
1.3. Блокчейн и качество данных 14
Глава 2. Платформа DGT 16
2.1. Архитектура и особенности работы DGT 16
2.2. Методика учета качества поверх DGT 21
Глава 3. Построение семейства транзакций 25
3.1. Пример реализации семейства транзакций 25
3.2. Результаты работы 26
Выводы 29
Заключение 30
Список литературы
Сегодня человечество живет в эпоху цифровизации, когда неразрывным спутником повседневной жизни является широкое применение технологий: многочисленные IT системы, работа пользователей в социальных сетях, сайты в Internet ежесекундно создают 109 байт. Это приводит к значительному росту объема данных, вариативности источников информации, скорости их изменения. Согласно отчету [1] 90% данных было создано за последние несколько лет.
Но ценность данных, возможность извлекать из них знания, принимать решения — существенно зависит от качества. Для упорядоченных, регулярных (структурированных) данных были найдены простые и эффективные решения, внедренные в инструменты управления данными. Однако, в случае больших данных (Big Data) контролировать качество значительно сложнее из-за большого разнообразия их источников, которые порождают конфликты, противоречия, потери связей и другие проблемы.
Наиболее критично вопрос о качестве данных возникает в важнейшей для цифровой экономике проблеме — построении обоснованных консенсусов.
Постановка задачи
Переход к консенсусу в горизонтально интегрированной структуре упирается в целый ряд проблем: малая скорость транзакций, трудности с глобальным арбитражем, и так далее. Но все они упираются в проблему повышения качества данных. Блокчейн обладает свойствами неизменяемости и обеспечения целостности, что исключает возможность изменения данных, записанных в блокчейн, и тем самым улучшает контроль качества. Консенсус F-BFT хорошо подходит, как для построения горизонтально интегрированной системы, так как может быть масштабирован вертикально и горизонтально, так и для контроля качества данных.
Примером контроля качества данных на базе консенсуса F -BFT могут быть написанные семейства транзакций, которые отбирают данные по заданному критерию. Поэтому для демонстрации качества контроля данных в качестве такого примера был выбран процессор транзакций, контролирующий качество данных при вставке в реестр транзакций информации по ценным бумагам.
Поставленная задача может быть разделена на следующие подзадачи:
1) изучение понятия качества данных и метрик качества;
2) изучение контроля качества данных при помощи технологии блокчейн;
3) изучение архитектуры DGT;
4) написание процессора транзакций для контроля качества данных.
Обзор литературы
Согласно [2] (Gartner Report) значительного прогресса в вопросе качества больших данных можно достичь за счет проверок в реальном времени и создания надежной среды хранения распределенных данных с помощью блокчейн технологий. В этом направлении ведется целый ряд исследований, например, [3], в которых предлагается проводить такие проверки непосредственно в реальном времени за счет валидации при вставке данных в распределенный реестр или с использованием смарт- контрактов, обеспечивающих проверку данных.
В то же время нельзя не отметить, что прямое использование классических блокчейн-систем для контроля качества данных имеет ряд ограничений:
• Скорость работы и возможность масштабирования классических блокчейн сетей ограничены энергозатратными механизмами проверки (механизмы консенсуса) и не могут обеспечить высокопроизводительную обработку данных;
• Поддержка публичных сетей за счет механизмов майнинга или подобных вероятностных методов является дорогой с точки зрения использования вычислительных мощностей на единицу обрабатываемых данных;
• Блокчейн сети часто используют для своей работы GOSSIP - протоколы, порождающие избыточный трафик, который затрудняет работу с потоковыми данными, превалирующими над традиционной пакетной обработкой.
Учитывая перечисленное выше, представляется актуальным использование решений распределенной обработки данных гибридного характера: сохраняющими основные положительные свойства блокчейна в части проверок в реальном времени и хранения неизменной копии реестра, но уклоняющихся от отмеченных выше недостатков.
Ниже представлено решение на базе платформы DGT, представляющее собой распределенную гибридную сеть с возможностью хранения распределенного реестра в виде DAG (Directed Acyclic Graph). Платформа работает с использованием консенсуса F-BFT [4], позволяющего проводить проверки качества данных в реальном времени без падения скорости из-за конкуренции узлов.
Общий механизм предлагаемого решения дается следующим алгоритмом:
• Один из узлов (виртуальных серверов) сети пытается вставить данные в реестр. Для этого он должен валидировать информацию за счет ее проверки с другими узлами;
• Для этой цели узел отправляет данные с использованием специального механизма пермалинков в топологически соседние узлы, каждый из которых проверяет данные на предмет их соответствия правилам валидации (корректность, имеются ли уже копии таких данных в реестре, соответствуют ли данные правилам полноты и т.п.);
• Если данные прошли проверку, соседние узлы «голосуют за вставку» и данные добавляются узлом-лидером, поддерживающим группу узлов;
• В процессе проверок могут осуществляться коррекции данные, характеризующие как сам пакет (микро-пакет) данных, так и его источник. Это обстоятельство позволяет непосредственно в процессе обработки оценивать метрику качества данных, как это сделано, например, в [5].
Поскольку DGT является мульти-транзакционной сетью (одновременно допустимы разные семейства транзакций), для моделирования вопросов обработки качества в настоящей работе представлено отдельное семейство транзакций, которое имитирует вставку в реестр транзакций по ценным бумагам.
Данный пример выбран как важный случай потоковых данных, позволяющих оценить и сам источник, и качество информации по торгам (например, насколько она изменяется искусственно). Поскольку такие данные могут поступать из разных источников, само поведение систем в значительной степени контролируются торговыми алгоритмами и ботами, оценка качества данных может быть выполнена за счет статистического анализа тиковых баров (tick bars - минимальных движений цен по каждой акции).
Но ценность данных, возможность извлекать из них знания, принимать решения — существенно зависит от качества. Для упорядоченных, регулярных (структурированных) данных были найдены простые и эффективные решения, внедренные в инструменты управления данными. Однако, в случае больших данных (Big Data) контролировать качество значительно сложнее из-за большого разнообразия их источников, которые порождают конфликты, противоречия, потери связей и другие проблемы.
Наиболее критично вопрос о качестве данных возникает в важнейшей для цифровой экономике проблеме — построении обоснованных консенсусов.
Постановка задачи
Переход к консенсусу в горизонтально интегрированной структуре упирается в целый ряд проблем: малая скорость транзакций, трудности с глобальным арбитражем, и так далее. Но все они упираются в проблему повышения качества данных. Блокчейн обладает свойствами неизменяемости и обеспечения целостности, что исключает возможность изменения данных, записанных в блокчейн, и тем самым улучшает контроль качества. Консенсус F-BFT хорошо подходит, как для построения горизонтально интегрированной системы, так как может быть масштабирован вертикально и горизонтально, так и для контроля качества данных.
Примером контроля качества данных на базе консенсуса F -BFT могут быть написанные семейства транзакций, которые отбирают данные по заданному критерию. Поэтому для демонстрации качества контроля данных в качестве такого примера был выбран процессор транзакций, контролирующий качество данных при вставке в реестр транзакций информации по ценным бумагам.
Поставленная задача может быть разделена на следующие подзадачи:
1) изучение понятия качества данных и метрик качества;
2) изучение контроля качества данных при помощи технологии блокчейн;
3) изучение архитектуры DGT;
4) написание процессора транзакций для контроля качества данных.
Обзор литературы
Согласно [2] (Gartner Report) значительного прогресса в вопросе качества больших данных можно достичь за счет проверок в реальном времени и создания надежной среды хранения распределенных данных с помощью блокчейн технологий. В этом направлении ведется целый ряд исследований, например, [3], в которых предлагается проводить такие проверки непосредственно в реальном времени за счет валидации при вставке данных в распределенный реестр или с использованием смарт- контрактов, обеспечивающих проверку данных.
В то же время нельзя не отметить, что прямое использование классических блокчейн-систем для контроля качества данных имеет ряд ограничений:
• Скорость работы и возможность масштабирования классических блокчейн сетей ограничены энергозатратными механизмами проверки (механизмы консенсуса) и не могут обеспечить высокопроизводительную обработку данных;
• Поддержка публичных сетей за счет механизмов майнинга или подобных вероятностных методов является дорогой с точки зрения использования вычислительных мощностей на единицу обрабатываемых данных;
• Блокчейн сети часто используют для своей работы GOSSIP - протоколы, порождающие избыточный трафик, который затрудняет работу с потоковыми данными, превалирующими над традиционной пакетной обработкой.
Учитывая перечисленное выше, представляется актуальным использование решений распределенной обработки данных гибридного характера: сохраняющими основные положительные свойства блокчейна в части проверок в реальном времени и хранения неизменной копии реестра, но уклоняющихся от отмеченных выше недостатков.
Ниже представлено решение на базе платформы DGT, представляющее собой распределенную гибридную сеть с возможностью хранения распределенного реестра в виде DAG (Directed Acyclic Graph). Платформа работает с использованием консенсуса F-BFT [4], позволяющего проводить проверки качества данных в реальном времени без падения скорости из-за конкуренции узлов.
Общий механизм предлагаемого решения дается следующим алгоритмом:
• Один из узлов (виртуальных серверов) сети пытается вставить данные в реестр. Для этого он должен валидировать информацию за счет ее проверки с другими узлами;
• Для этой цели узел отправляет данные с использованием специального механизма пермалинков в топологически соседние узлы, каждый из которых проверяет данные на предмет их соответствия правилам валидации (корректность, имеются ли уже копии таких данных в реестре, соответствуют ли данные правилам полноты и т.п.);
• Если данные прошли проверку, соседние узлы «голосуют за вставку» и данные добавляются узлом-лидером, поддерживающим группу узлов;
• В процессе проверок могут осуществляться коррекции данные, характеризующие как сам пакет (микро-пакет) данных, так и его источник. Это обстоятельство позволяет непосредственно в процессе обработки оценивать метрику качества данных, как это сделано, например, в [5].
Поскольку DGT является мульти-транзакционной сетью (одновременно допустимы разные семейства транзакций), для моделирования вопросов обработки качества в настоящей работе представлено отдельное семейство транзакций, которое имитирует вставку в реестр транзакций по ценным бумагам.
Данный пример выбран как важный случай потоковых данных, позволяющих оценить и сам источник, и качество информации по торгам (например, насколько она изменяется искусственно). Поскольку такие данные могут поступать из разных источников, само поведение систем в значительной степени контролируются торговыми алгоритмами и ботами, оценка качества данных может быть выполнена за счет статистического анализа тиковых баров (tick bars - минимальных движений цен по каждой акции).
Контроль качества данных является одной из важнейших задач. На основе данных принимаются решения, и качество данных играет огромную роль в получении нужных результатов. В данной работе представлен пример использования DGT для контроля качества данных на базе консенсуса F-BFT. Изучены преимущества использования блокчейн для контроля данных и архитектура DGT.