МНОГОСЛОЙНАЯ ОБРАБОТКА СЛОЖНЫХ СОБЫТИЙ (CEP) В ГОРОДСКОЙ СРЕДЕ
|
ВВЕДЕНИЕ 3
ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 8
ГЛАВА 1. КОНЦЕПЦИЯ МНОГОСЛОЙНОЙ РАСПРЕДЕЛЕННОЙ АРХИТЕКТУРЫ CEP 11
ГЛАВА 2. РЕАЛИЗАЦИЯ СИСТЕМЫ ДЛЯ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННОЙ АРХИТЕКТУРЫ CEP.
21
2.1 Общая концепция 21
2.2 Использование Consul в качестве системы управления 23
2.3 Consul Observer 24
2.4 CEP-программа 26
2.5 Развертывание системы 39
ГЛАВА 3. РЕАЛИЗАЦИЯ ЭКСПЕРИМЕНТАЛЬНОГО СЦЕНАРИЯ 41
3.1 Описание сценария 41
3.2 Техническое оснащение 44
3.3 Программное оснащение 45
3.4 Формат сообщений 45
3.5 Развертывание системы 47
3.6 Wi-Fi сканер 48
3.7 Результат и измерения 49
ЗАКЛЮЧЕНИЕ 54
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 56
ПРИЛОЖЕНИЯ
ОПРЕДЕЛЕНИЯ, ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ 8
ГЛАВА 1. КОНЦЕПЦИЯ МНОГОСЛОЙНОЙ РАСПРЕДЕЛЕННОЙ АРХИТЕКТУРЫ CEP 11
ГЛАВА 2. РЕАЛИЗАЦИЯ СИСТЕМЫ ДЛЯ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННОЙ АРХИТЕКТУРЫ CEP.
21
2.1 Общая концепция 21
2.2 Использование Consul в качестве системы управления 23
2.3 Consul Observer 24
2.4 CEP-программа 26
2.5 Развертывание системы 39
ГЛАВА 3. РЕАЛИЗАЦИЯ ЭКСПЕРИМЕНТАЛЬНОГО СЦЕНАРИЯ 41
3.1 Описание сценария 41
3.2 Техническое оснащение 44
3.3 Программное оснащение 45
3.4 Формат сообщений 45
3.5 Развертывание системы 47
3.6 Wi-Fi сканер 48
3.7 Результат и измерения 49
ЗАКЛЮЧЕНИЕ 54
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 56
ПРИЛОЖЕНИЯ
В последние десятилетия интернет превратился из специализированного инструмента в доступную и необходимую для жизни миллиардов людей технологию. Кроме того, он стал массово объединять в сеть не только компьютеры пользователей, но и различные устройства физического мира. Это позволило говорить о таком понятии, как интернет вещей (Internet of Things, IoT). В первые этот термин был сформулирован в 1999 году и по сей день является устойчивой тенденцией в развитии информационных технологий. В 2018 году в развитии Интернета вещей наступает переломный момент: ожидается, что количество IoT устройств превысит количество мобильных телефонов, что сделает этот сегмент подключенных к интернету устройств самым массовым. Тенденция сохраняется и ожидается [11], что в течении нескольких лет доля подключенных к IoT устройств превысит 50 % от всех подключенных устройств.
Интернет вещей уже давно интересует крупный бизнес, производство и государство, т.к. это одна из тех технологий, которая в ближайшие годы кардинально изменит жизнь людей, как в свое время, например, это сделало повсеместное распространение автомобиля. С другой стороны, столь бурное развитие этого сегмента влечет за собой ряд задач и проблем, которые привлекают исследователей и инженеров. В первую очередь, это задачи, связанные с обработкой большого количества потоков данных, которые генерируются IoT устройствами. Также одной из ключевых задач является построение эффективной инфраструктуры, которая позволила бы агрегировать сигналы многочисленных устройств сети, быстро их обрабатывать, извлекать полезную информацию, с помощью которой можно эффективно принимать решения и применять меры в случае необходимости. В науке о данных для решения этих проблем существует такой раздел, как “обработка сложных событий” (Complex event processing, CEP) [9].
В данной работе рассматривается вариант построения распределенной иерархической многослойной архитектуры обработки сложных событий, который особенно актуален в условиях городского окружения. Это означает, что весь процесс обработки сложных событий из разрозненных источников декомпозируется на логические слои и представляется в виде иерархии вычислительных устройств, каждое из которых читает входящие данные из собственной очереди событий, производит их обработку по определенным CEP- паттернам (правилам обнаружений событий из разрозненных потоков данных), принимает на их основе решения и действия, которые он уполномочен принимать и отправляет выявленные более сложные события вверх по иерархии на устройство из вышестоящего слоя, где происходит точно такой же процесс, только с другой логикой обнаружения событий.
Если рассматривать применение такого подхода в городских условиях, можно представить иерархию устройств, на нижних слоях которой будут располагаться датчики, генерирующие простые физические сигналы. Эти сигналы будут проходить предобработку, в результате которой новый поток более сложных сигналов будет направлен на слой выше. В более высоких по иерархии слоях будут находиться вычислительные устройства, ответственные за обработку входных сигналов, относящихся к определенной территориальной- административной единице (дом, улица, район, округ). Получаемые каждым узлом иерархии события могут позволить быстро принимать решения, относящиеся к более эффективному использованию городских ресурсов в заданном масштабе, автоматизации городских процессов и обеспечения безопасности жителей.
В этих условиях особенно характерно наличие большого количества вычислительных устройств-участников на всех уровнях системы, а также ее постоянная эволюция и модификация: к сети могут подключаться и отключаться новые устройства-узлы с различной логикой обнаружения событий, добавляться и убавляться логические слои, меняться ее топология.
Это делает актуальной проблему того, что в масштабах города практически невозможно вручную эффективно обслуживать и администрировать такую систему. Необходимо решение, с помощью которого можно было бы упростить или автоматизировать процессы управления такой иерархией устройств, эффективно доставлять логику обнаружения сложных событий и направлять потоки генерируемых узлами данных между устройствами.
Целью работы является проектирование, реализация и тестирование системы, которая позволила бы объединять вычислительные устройства в иерархическую структуру, гибко управлять ее топологией, а также логикой осуществления CEP на каждом уровне иерархии.
К этой системе предъявляются следующие требования:
• Система должна давать возможность гибко предоставлять CEP-паттерны к каждому узлу системы (или набору узлов) без перекомпиляции ПО, которое осуществляет CEP.
• Предоставлять каждому узлу иерархии информацию о том, какой поток данных обрабатывать и куда направлять поток обнаруженных в нем событий.
• Гибко управлять топологией иерархической структуры (перенаправлять потоки данных между узлами, добавлять и удалять узлы)
• Следить за жизненным циклом системы (работоспособностью отдельных узлов и ПО, которое на них функционирует)
Исходя из сформулированной проблемы, целей и требований, определены следующий задачи:
• Проектирование архитектуры иерархической CEP-структуры
о В рамках этой задачи - определение сетевых протоколов, технологий передачи и обработки потоков данных, CEP-движка
• Реализация программы, которая будет осуществлять CEP на узлах системы, которая будет принимать на вход конфигурацию, содержащую:
о Сериализованные CEP-паттерны, по которым узел будет определять сложные события из входящего потока данных
о Информацию о том, откуда читать входящий поток данных и куда направлять исходящий поток событий, генерируемый узлом
• Реализация системы управления иерархией устройств, которая позволила бы управлять ее топологией, следить за жизненным циклом, распространять конфигурацию между различными узлами системы.
• Построение экспериментальной модели для проверки эффективности концепции, включающая в себя несколько слоев и устройства из разных вычислительных классов - встраиваемые устройства, персональные компьютеры, серверы и PaaS-облачные решения.
Практическая значимость работы заключается в том, что подобная эффективная инфраструктура и механизм анализа данных позволят автоматизировать многие процессы в системе управления коммунальным хозяйством, эффективно управлять городскими ресурсами, а также делать жизнь людей более комфортной и безопасной.
Объект исследования - разработка информационной системы для управления иерархией вычислительных устройств для построения на ее основе процесса многослойной обработки сложных событий, построение экспериментальной модели для проверки эффективности концепции.
Предмет исследования - информационная система для управления иерархией вычислительных устройств для построения на ее основе процесса многослойной обработки сложных событий, экспериментальная модель для проверки работоспособности концепции.
Интернет вещей уже давно интересует крупный бизнес, производство и государство, т.к. это одна из тех технологий, которая в ближайшие годы кардинально изменит жизнь людей, как в свое время, например, это сделало повсеместное распространение автомобиля. С другой стороны, столь бурное развитие этого сегмента влечет за собой ряд задач и проблем, которые привлекают исследователей и инженеров. В первую очередь, это задачи, связанные с обработкой большого количества потоков данных, которые генерируются IoT устройствами. Также одной из ключевых задач является построение эффективной инфраструктуры, которая позволила бы агрегировать сигналы многочисленных устройств сети, быстро их обрабатывать, извлекать полезную информацию, с помощью которой можно эффективно принимать решения и применять меры в случае необходимости. В науке о данных для решения этих проблем существует такой раздел, как “обработка сложных событий” (Complex event processing, CEP) [9].
В данной работе рассматривается вариант построения распределенной иерархической многослойной архитектуры обработки сложных событий, который особенно актуален в условиях городского окружения. Это означает, что весь процесс обработки сложных событий из разрозненных источников декомпозируется на логические слои и представляется в виде иерархии вычислительных устройств, каждое из которых читает входящие данные из собственной очереди событий, производит их обработку по определенным CEP- паттернам (правилам обнаружений событий из разрозненных потоков данных), принимает на их основе решения и действия, которые он уполномочен принимать и отправляет выявленные более сложные события вверх по иерархии на устройство из вышестоящего слоя, где происходит точно такой же процесс, только с другой логикой обнаружения событий.
Если рассматривать применение такого подхода в городских условиях, можно представить иерархию устройств, на нижних слоях которой будут располагаться датчики, генерирующие простые физические сигналы. Эти сигналы будут проходить предобработку, в результате которой новый поток более сложных сигналов будет направлен на слой выше. В более высоких по иерархии слоях будут находиться вычислительные устройства, ответственные за обработку входных сигналов, относящихся к определенной территориальной- административной единице (дом, улица, район, округ). Получаемые каждым узлом иерархии события могут позволить быстро принимать решения, относящиеся к более эффективному использованию городских ресурсов в заданном масштабе, автоматизации городских процессов и обеспечения безопасности жителей.
В этих условиях особенно характерно наличие большого количества вычислительных устройств-участников на всех уровнях системы, а также ее постоянная эволюция и модификация: к сети могут подключаться и отключаться новые устройства-узлы с различной логикой обнаружения событий, добавляться и убавляться логические слои, меняться ее топология.
Это делает актуальной проблему того, что в масштабах города практически невозможно вручную эффективно обслуживать и администрировать такую систему. Необходимо решение, с помощью которого можно было бы упростить или автоматизировать процессы управления такой иерархией устройств, эффективно доставлять логику обнаружения сложных событий и направлять потоки генерируемых узлами данных между устройствами.
Целью работы является проектирование, реализация и тестирование системы, которая позволила бы объединять вычислительные устройства в иерархическую структуру, гибко управлять ее топологией, а также логикой осуществления CEP на каждом уровне иерархии.
К этой системе предъявляются следующие требования:
• Система должна давать возможность гибко предоставлять CEP-паттерны к каждому узлу системы (или набору узлов) без перекомпиляции ПО, которое осуществляет CEP.
• Предоставлять каждому узлу иерархии информацию о том, какой поток данных обрабатывать и куда направлять поток обнаруженных в нем событий.
• Гибко управлять топологией иерархической структуры (перенаправлять потоки данных между узлами, добавлять и удалять узлы)
• Следить за жизненным циклом системы (работоспособностью отдельных узлов и ПО, которое на них функционирует)
Исходя из сформулированной проблемы, целей и требований, определены следующий задачи:
• Проектирование архитектуры иерархической CEP-структуры
о В рамках этой задачи - определение сетевых протоколов, технологий передачи и обработки потоков данных, CEP-движка
• Реализация программы, которая будет осуществлять CEP на узлах системы, которая будет принимать на вход конфигурацию, содержащую:
о Сериализованные CEP-паттерны, по которым узел будет определять сложные события из входящего потока данных
о Информацию о том, откуда читать входящий поток данных и куда направлять исходящий поток событий, генерируемый узлом
• Реализация системы управления иерархией устройств, которая позволила бы управлять ее топологией, следить за жизненным циклом, распространять конфигурацию между различными узлами системы.
• Построение экспериментальной модели для проверки эффективности концепции, включающая в себя несколько слоев и устройства из разных вычислительных классов - встраиваемые устройства, персональные компьютеры, серверы и PaaS-облачные решения.
Практическая значимость работы заключается в том, что подобная эффективная инфраструктура и механизм анализа данных позволят автоматизировать многие процессы в системе управления коммунальным хозяйством, эффективно управлять городскими ресурсами, а также делать жизнь людей более комфортной и безопасной.
Объект исследования - разработка информационной системы для управления иерархией вычислительных устройств для построения на ее основе процесса многослойной обработки сложных событий, построение экспериментальной модели для проверки эффективности концепции.
Предмет исследования - информационная система для управления иерархией вычислительных устройств для построения на ее основе процесса многослойной обработки сложных событий, экспериментальная модель для проверки работоспособности концепции.
В результате исследования была спроектирована, разработана и протестирована с помощью симуляционной модели система, позволяющая быстро и гибко развертывать и конфигурировать иерархическую структуру из устройств разных классов для построения на ее основе распределенной архитектуры многослойной обработки событий, гибко управлять топологией и логикой CEP паттернов. В системе реализована система дистрибуции конфигурации для вычислительных узлов, содержащая сетевые координаты входной и выходной очереди сообщений и логику CEP. Реализован парсинг набора CEP-паттернов из декларативного сериализованного представления в экземпляры классов библиотеки Apache Flink.
Система была протестирована с помощью симуляционной модели реально возможного сценария использования CEP в городских условиях.
Разработанный функционал позволяет решить актуальную проблему того, что в масштабах города практически невозможно вручную эффективно обслуживать и администрировать распределенную CEP-систему. Решение позволяет упростить и автоматизировать процессы управления такой иерархией устройств, эффективно доставлять логику обнаружения сложных событий и направлять потоки генерируемых узлами данных между устройствами.
Кроме того, реализованный в системе парсинг CEP-паттернов из некоторой тестовой нотации, решает проблему пользователей библиотеки Apache Flink, которые давно на профессиональных площадках просят разработчиков добавить подобный функционал. Это требование понятно, ведь логика CEP-паттернов, точки входа, выхода и формат данных в реальных сценариях может регулярно меняться, несмотря на неизменность общей схемы работы с потоком. Необходимость пересборки приложения при каждом таком изменении может стать препятствием к эффективной эксплуатации CEP-систем на основе Apache Flink.
Вышесказанное свидетельствует о том, что полученное решение является практически значимым и может использоваться не только в городском окружении, но и в других сценариях.
Система может использоваться для создания среды проектирования графических нотаций, с помощью которой инженеры могли бы создавать подобные распределенные CEP-системы с использованием графических функциональных блоков и GUI интерфейса, абстрагируясь от необходимости непосредственного программирования. Похожий функционал реализован в системе Apache Ni-Fi и в некоторых других инженерных средах.
Разработанная система удовлетворяет всем поставленным изначально требованиям.
Система была протестирована с помощью симуляционной модели реально возможного сценария использования CEP в городских условиях.
Разработанный функционал позволяет решить актуальную проблему того, что в масштабах города практически невозможно вручную эффективно обслуживать и администрировать распределенную CEP-систему. Решение позволяет упростить и автоматизировать процессы управления такой иерархией устройств, эффективно доставлять логику обнаружения сложных событий и направлять потоки генерируемых узлами данных между устройствами.
Кроме того, реализованный в системе парсинг CEP-паттернов из некоторой тестовой нотации, решает проблему пользователей библиотеки Apache Flink, которые давно на профессиональных площадках просят разработчиков добавить подобный функционал. Это требование понятно, ведь логика CEP-паттернов, точки входа, выхода и формат данных в реальных сценариях может регулярно меняться, несмотря на неизменность общей схемы работы с потоком. Необходимость пересборки приложения при каждом таком изменении может стать препятствием к эффективной эксплуатации CEP-систем на основе Apache Flink.
Вышесказанное свидетельствует о том, что полученное решение является практически значимым и может использоваться не только в городском окружении, но и в других сценариях.
Система может использоваться для создания среды проектирования графических нотаций, с помощью которой инженеры могли бы создавать подобные распределенные CEP-системы с использованием графических функциональных блоков и GUI интерфейса, абстрагируясь от необходимости непосредственного программирования. Похожий функционал реализован в системе Apache Ni-Fi и в некоторых других инженерных средах.
Разработанная система удовлетворяет всем поставленным изначально требованиям.