Тип работы:
Предмет:
Язык работы:


АЛГОРИТМЫ И ПРОГРАММНЫЕ СРЕДСТВА УПРАВЛЕНИЯ МЕТАДАННЫМИ В ДИСКРЕТНО-СОБЫТИЙНЫХ ДИНАМИЧЕСКИХ ИНФОРМАЦИОННО УПРАВЛЯЮЩИХ СИСТЕМАХ

Работа №161208

Тип работы

Магистерская диссертация

Предмет

информатика

Объем работы165
Год сдачи2024
Стоимость4910 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
0
Не подходит работа?

Узнай цену на написание


ВВЕДЕНИЕ 6
1 Аспекты применения метаданных в реагирующих дискретно-
событийных динамических информационно управляющих системах 13
1.1 Реагирующие дискретно-событийные динамические ИУС 13
1.1.1 Информационно-управляющие системы и их классификация 13
1.1.2 Понятие и роль обработки событий в информационно-
управляющих системах 16
1.1.3 Свойства реагирующих дискретно-событийных динамические ИУС 18
1.2 Применение технологий потоковой обработки и активных правил для обнаружения событий и синтеза управляющих воздействий в реагирующих ИУС 19
1.2.1 Потоковая обработка событий 19
1.2.2 Концепции активных правил 23
1.2.3 Классификация активных правил 25
1.3 Применение метамоделирования для проектирования и реализации
систем потоковой обработки событий с применением активных правил 25
1.3.1 Понятие и роль метаданных 26
1.3.2 Основы метамоделирования 27
1.3.3 Обзор подходов к разработке информационных систем с
применением метамоделирования 29
1.4 Анализ требований к составу, архитектуре и процессам управления метаданными в реагирующих ИУС потоковой обработки событий
и исполнения активных правил 33
1.5 Выводы по разделу 1 36
2 Архитектура, модели и алгоритмы управления метаданными в
реагирующей ИУС потоковой обработки событий и исполнения активных правил в рамках единой метамодели 38
2.1 Единая метамодель реагирующей ИУС 38
2.1.1 Метамодель внешних систем 39
2.1.2 Метамодель событий 41
2.1.3 Метамодель активных правил 43
2.1.4 Отображение единой метамодели в модели данных 46
2.2 Алгоритмы первичной валидации метаданных при добавлении их
в центральный репозиторий реагирующей ИУС 50
2.3 Распределенная архитектура метаданных реагирующей ИУС
потоковой обработки событий и исполнения активных правил 53
2.4 Обоснование выбора подходов синхронизации метаданных 55
2.4.1 Модели согласованности в распределённой архитектуре 55
2.4.2 Управление версиями с использованием временных меток для
синхронизации метаданных 57
2.4.3 Обработка конфликтов при тиражировании и синхронизации
метаданных 58
2.5 Алгоритм тиражирования и синхронизации метаданных 60
2.5.1 Алгоритм тиражирования метаданных 60
2.5.2 Алгоритм синхронизации метаданных 65
2.6 Выводы по разделу 2 68
3 Программные средства управления метаданными в составе сервиса потоковой обработки событий и исполнения активных правила 70
3.1 Назначение, архитектура и функциональные возможности
программных средств управления метаданными сервиса потоковой обработки событий и исполнения активных правил 70
3.2 Программные средства конструирования метаданных 75
3.3 Программные средства тиражирования и синхронизации
распределенных метаданных 85
3.3.1 Экспериментальное обоснование выбора технологий для реализации алгоритма 85
3.3.2 Архитектура программных средств в процессе тиражирования и
синхронизации 87
3.3.3 Применение Sidecar паттерна 92
3.4 Выводы по разделу 3 94
4 Экспериментальная оценка разработанных моделей, алгоритмов и программных средств управления метаданными 96
4.1 Планирование и постановка эксперимента 96
4.1.1 Сценарии и условия проведения эксперимента 96
4.1.2 Параметры экспериментальной оценки программных средств 99
4.1.3 Предметная область ИУС для экспериментальной оценки 100
4.2 Разработка, развертывание и настройка информационного и
программного обеспечения эксперимента 101
4.3 Проведение эксперимента 109
4.4 Анализ и систематизация экспериментальных данных 114
4.5 Выводы по разделу 4 122
ЗАКЛЮЧЕНИЕ 123
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 124
ПРИЛОЖЕНИЕ А. Глоссарий 128
ПРИЛОЖЕНИЕ Б. Программный код для проведения эксперимента 130
ПРИЛОЖЕНИЕ В. Результаты апробации работы 140
ПРИЛОЖЕНИЕ Г. Презентация 148

Актуальность исследования. В соответствии с международным стандартом ISA-95 под информационно-управляющей системой (ИУС) понимается совокупность компонентов, собирающих, подготавливающих и предоставляющих данные, необходимые для безопасного и точного управления технологическим процессом, производством или предприятием в целом [1].
Быстрое развитие компьютерных и телекоммуникационных технологий, а также технологий автоматизированного управления вызвало появление и широкое распространение дискретно-событийных информационно управляющих систем (ДС ИУС), которые характеризуются дискретностью пространства состояний и изменение состояний во времени производится асинхронными дискретными событиями [2-3].
В соответствии с классификацией Д. Харела информационно - управляющие системы можно разделить на трансформационные системы, которые преобразуют входные данные в выходные, и реагирующие системы, которые реагируют на изменения внешней среды [4]. В реагирующими системах входному событию, требующему отклика системы, ставится в соответствие заданное действие. При этом действия должны выполняться строго в том порядке, в котором происходят входные события. Если трансформационные системы запускаются по мере необходимости, то реагирующие системы, в большинстве своем, являются постоянно действующими.
Одним из подходов к построению событийно-ориентированных ИУС, непрерывно функционирующих в режиме 24/7 является применение технологии потоковой обработки событий (Event Stream Processing, ESP) [5]. Данная технология позволяет не только оперативно получать события от различных источников (датчиков, баз данных, приложений и др.), но и организовать их эффективную обработку и оперативно реагировать на возникновение событий. Технология ESP гарантирует получение, обогащение событий метаданными и доставку событий адресатам, позволяет обрабатывать огромные объемы событий и реагировать на них в реальном масштабе времени, обнаруживать зависимости между событиями на основе заданных шаблонов, применяя технологию сложной обработки событий (Complex Event Processing, CEP).
Реагирование на поступившие или обнаруженные в потоках события удобным образом реализуется при помощи механизма активных правил (Active Rule, AR). Базовой концепцией представления активных правил является нотация «Событие-Условие-Действие» (Event-Condition-Action, ECA) [6], которая постоянно развивается и расширяется для эффективной разработки бизнес-логии управления.
Потоковая обработка событий и выработка реагирующих воздействий в ответ на возникновение событий реализуют асинхронный процесс, поэтому обоснованным является применение микросервисной модульной архитектуры для реализации программного обеспечения в ДС ИУС. Программная микросервисная платформа для построения ДС ИУС обеспечит быстрое развертывание, интеграцию и настройку ДС ИУС под конкретную предметную область и технологии сбора данных о событиях.
Low-сode и no-code разработка в сочетании с микросервисной платформой значительно уменьшают время разработки и ввода в эксплуатацию ДС ИУС. Это позволяет инженерам, специалистам индустрии создавать и разворачивать как рыночно-ориентированные продукты, так и внутренние сервисы ИУС, не обладая большим опытом в программировании. Применение единой программной платформы, low-code и no-code средств разработки, ориентированных на специалистов предметной области, позволит сократить состав команды разработчиков, уменьшить расходы на оборудование, разработку эксплуатацию и сопровождение программного обеспечения.
Достижение всех указанных преимуществ возможно на основе применения концепции мета-моделирования, широкого внедрения метаданных на всех этапах разработки и на всех уровнях ИУС, автоматизации процессов управления метаданными [7]. При этом распределенная микросервисная архитектура ИУС порождает потенциальные проблемы с поддержкой актуальных значений метаданных в компонентах программных приложений. Применение классических сценариев обмена данными в распределенных приложениях для постоянно функционирующих высоконагруженных ДС УИС ограничено, т.к. может потребовать останова и перезапуска работающих модулей после обновления метаданных. Таким образом, тема магистерской выпускной квалификационной работы представляется актуальной.
Объектом исследования являются процессы управления метаданными в ДС ИУС в рамках микросервисной архитектуры с применением потоковой обработки событий и механизма активных правил.
Предметом исследования являются модели, алгоритмы и программные средства конструирования, анализа и тиражирования метаданных в дискретно - событийных динамических информационно управляющих системах в рамках микросервисной архитектуры с применением потоковой обработки событий и механизма активных правил.
Целью диссертационной работы является исследование и разработка моделей, алгоритмов и программных средств управления метаданными в ДС ИУС, построенных на базе микросервисной программной платформы потоковой обработки и исполнения активных правил.
Для достижения поставленной цели определены следующие задачи:
- разработка обобщенной метамодели ДС ИУС, функционирующей на базе микросервисной архитектуры с применением технологии потоковой обработки событий и механизма активных правил,
- разработка единой архитектуры распределенного репозитория метаданных для ДС ИУС, функционирующей на базе микросервисной архитектуры с применением технологии потоковой обработки событий и механизма активных правил,
- разработка алгоритмов управления метаданными ДС ИУС на этапах жизненного цикла, включая конструирование, анализ, тиражирование и синхронизацию метаданных,
- разработка программных средств управления метаданными с применением low-code и no-code подходов,
- экспериментальная оценка и анализ предлагаемых решений.
Научная новизна, оригинальность идей в работе:
- предложена обобщенная метамодель ДС ИУС на основе теоретико-множественного подхода, описывающая расширенный набор классов событий и активных правил,
- разработана единая архитектура распределенного репозитория метаданных, ориентированная на микросервисную архитектуру ДС ИУС, применение потоковой обработки событий и активных правил,
- разработаны алгоритмы тиражирования и синхронизации метаданных в локальных репозиториях ДС ИУС, соответствующие требованиям скорости, надежности и восстановления состояния метаданных в случаях сбоев.
Методы проведенных исследований. Методы исследований основаны на положениях теории множеств и математической логики, теоретических положениях системного анализа, реляционной теории, методах проектирования реляционных и NoSQL баз данных, объектно-реляционного анализа и проектирования приложений.
Основные положения, выносимые на защиту:
- обобщенная метамодель ДС ИУС на основе теоретико-множественного подхода, описывающая расширенный набор классов событий и активных правил,
- единая архитектура распределенного репозитория метаданных для ДС ИУС, функционирующей на базе микросервисной архитектуры с применением технологии потоковой обработки событий и механизма активных правил,
- алгоритмы верификации метаданных на этапе конструирования,
- алгоритмы тиражирования и синхронизации метаданных в локальных репозиториях ДС ИУС, обеспечивающие высокую скорость, надежность и постоянную доступность приложений,
- программные средства управления метаданными в ДС ИУС.
Апробация работы. По тематике работы имеется 9 публикаций, 7 выступлений на научно-технических конференциях, участие в 3 конкурсах.
Основные положения и результаты работы докладывались на следующих конференциях:
- Открытая ХХХП университетская научно-практическая конференции «Актуальные проблемы науки и образования» (Пенза, 2022 г.)
- XIV Международная научно-техническая конференция с элементами научной школы и конкурсом научно-исследовательских работ «Шляндинские чтения - 2022» (Пенза, 2022 г.),
- X Ежегодная всероссийская межвузовская научно-практическая конференция «Информационные технологии в науке и образовании. Проблемы и перспективы.» (Пенза, 2023 г.),
- Всероссийская научная конференция с международным участием «Информационные технологии в моделировании и управлении: подходы, методы, решения» (Тольятти, 2023 г.),
- IX Международная научно-практическая конференция (школа- семинар) молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук» (Тольятти, 2023 г.),
- Всероссийская научно-практическая конференция молодых ученых «Наука, инновации и технологии: от идей к внедрению» (Комсомольск-на- Амуре, 2023 г.),
- XX Международная научно-техническая конференция «Новые информационные технологии и системы» (Пенза, 2023 г.),
- XXXV Всероссийская с международным участием научно¬техническая конференция, посвященной 80-летию Пензенского государственного университета «Проблемы автоматизации и управления в технических системах» (Пенза, 2023 г.).
Участие в конкурсах научно-исследовательских работ:
- конкурс научно-исследовательских докладов в рамках XIV международной научно-технической конференции с элементами научной школы и конкурсом научно-исследовательских работ «Шляндинские чтения - 2022» (Диплом победителя I степени),
- конкурс научно-исследовательских докладов в рамках X ежегодной всероссийской межвузовской научно-практической конференция «Информационные технологии в науке и образовании. Проблемы и перспективы.» (Диплом победителя I степени в секции «Программное обеспечение автоматизированных систем и вычислительной техники»),
- конкурс научно-исследовательских докладов в рамках всероссийской научной конференции с международным участием «Информационные технологии в моделировании и управлении: подходы, методы, решения» (Сертификат участника),
- конкурс научно-исследовательских докладов в рамках IX международной научно-практической конференции молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук» (Сертификат участника),
- конкурс научно-исследовательских докладов в рамках всероссийской научно-практической конференции молодых ученых «Наука, инновации и технологии: от идей к внедрению» (Сертификат участника),
- конкурс научно-исследовательских докладов в рамках XX международной научно-технической конференции «Новые информационные технологии и системы» (Диплом победителя I степени в секции «Современные технологии передачи, хранения и обработки данных»),
- конкурс научно-исследовательских докладов в рамках XXXV всероссийской с международным участием научно-технической конференции, посвященной 80-летию Пензенского государственного университета «Проблемы автоматизации и управления в технических системах» (Сертификат участника),
- региональный конкурс научно-исследовательских работ
обучающихся «Научный прорыв» (Сертификат участника),
- XXV Международный конкурс научно-исследовательских работ «Путь в науку - 2022» (Диплом победителя II степени),
- международный конкурс «Студент года - 2023», проводимого по инициативе проекта Interclover (Лауреат III степени).
Структура и объем диссертации. Диссертация состоит из введения, 4 разделов, заключения, списка использованных источников, включающего 33 источника. Материал диссертации изложен на 163 листах, включает 46 рисунков, 6 таблиц и 4 приложения. Глоссарий представлен в приложении А.


Возникли сложности?

Нужна помощь преподавателя?

Помощь в написании работ!


В ходе магистерской работы были исследованы и разработаны модели, алгоритмы и программные средства управления метаданными в дискретно- событийных информационно управляющих системах, построенных на базе микросервисной программной платформы потоковой обработки и исполнения активных правил.
Была описана и разработана единая метамодель ДС ИУС, которая включает в себя метамодель внешних систем, событий и активных правил. Разработана единая архитектура метаданных и модель распределенного репозитория.
Были разработаны алгоритмы управления метаданными, включая конструирование, анализ, тиражирование и синхронизацию метаданных в компонентах микросервисной архитектуры ДС ИУС;
Были рассмотрены аспекты применения программных средств для тиражирования и синхронизации метаданных, в том числе, были детально описаны клиентские и серверные средства конструирования.
Для процессов тиражирования была выбрана технология Redis Pub/Sub. Был проведен эксперимент для более корректного обоснования выбора. Разработанные алгоритмы были реализованы с применением данной технологии.
Проведена экспериментальная оценка разработанных моделей, алгоритмов и программных средств управления метаданными. В результате проведённого эксперимента и анализа можно сделать вывод, что разработанные средства показали высокую эффективность.
Результаты апробации работы и презентация представлены в приложениях В и Г соответственно.



1. Enterprise-Control System Integration, Part 1: Models and Terminology - Instrument Society of America, 1999. - 150 с.
2. Cassandras, C. G. Introduction to Discrete Event Systems / C. G. Cassandras, S. Lafortune. - Springer, 2008. - 772 c.
3. Unity in diversity, diversity in unity: Retrospective and prospective views on control of discrete event systems / R. Boel, X. R. Cao, G. Cohen, A. Giua, W. M. Wonham, J. H. Schuppen // J. Discrete Event Dynamic Systems: Theory and Application. - 2002. - Vol. 12, № 3. - P. 253-264.
4. Harel D. Statecharts: a Visual Formalism for Complex Systems. Science of Computer Programming. 1987. vol. 8. pp. 231-274.
5. Шибанов, С. В. Сервис потоковой обработки событий и исполнения активных правил / С. В. Шибанов, Я. С. Шлепнев // Математическое модели-рование и суперкомпьютерные технологии: Труды XXI Международной конференции, Нижний Новгород, 22-26 ноября 2021 года. - Нижний Новго-род: Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского, 2021. - С. 403-407.
6. Adaikkalavan R. Active Authorization Rules for Enforcing Role-Based Access Control and its Extensions / R. Adaikkalavan, S. Chakravarthy // 21st International Conference on Data Engineering Workshops - Tokyo : Изд-во IEEE, 2005. - С. 220 - 222.
7. Шибанов, С. В. Метамодель сервиса потоковой обработки событий / С. В. Шибанов, Я. С. Шлепнев, А. С. Гусаров // Методы, средства и технологии получения и обработки измерительной информации («Шляндинские чтения - 2022») : материалы XIV Международной научно-технической конференции с элементами научной школы и конкурсом научно-исследовательских работ для обучающихся и молодых ученых, Пенза, 24-26 октября 2022 года. - Пенза: Пензенский государственный университет, 2022. - С. 240-243.
8. David C. Luckham Event Processing and the Survival of the Modern Enterprise / David C. Luckham - New York, Изд-во Wiley, 2011. - 288 с.
9. Big Data. Principles and Paradigms / Rajkumar Buyya, Amir Vahid Dastjerdi, Rodrigo N. Calheiros - Melbourne, Изд-во Morgan Kaufmann Publishers, 2016. - 494 с.
10. Cassandras, C. G.; Lafortune, S. Introduction to Discrete Event Systems / Cassandras, C. G.; Lafortune, S. - New York, Изд-во Springer, 2008. - 770 с.
11. Psaltis Streaming Data. Understanding the real-time pipeline / Andrew G. Psaltis - New York, Изд-во Manning, 2017. - 216 с.
12. Paschke A., Kozlenkov A. Rule-Based Event Processing and Reaction Rules / Adrian Paschke, Alexander Kozlenkov // Rule Interchange and Applications
- Las Vegas : Изд-во Springer, 2009. - С. 53 - 66.
13. Шибанов С. В., Скоробогатько А. А., Э. В. Лысенко. Интегрированная модель активных правил / С. В. Шибанов, А. А. Скоробогатько, Э. В. Лысенко // Математическое и программное обеспечение систем в промышленной и социальной сферах: междунар. сб. науч. трудов - Магнитогорск : Изд-во Магнитогорск. гос. техн. ун-та им. Г.И. Носова, 2011. - С. 41 - 46.
14. Федотов А.М., Леонова Ю.В. Требования к прототипу системы
управления информационными ресурсами в распределенных
информационных системах поддержки научных исследований // Вычислительные технологии - Новосибирск, Изд-во Институт вычислительных технологий СО РАН, 2018. - Т. 23, №5. С. 82 - 109.
15. Лядова Л. Метамоделирование и многоуровневые метаданные как основа технологии создания адаптируемых информационных систем / Людмила Лядова // Advanced Studies in Software and Knowledge Engineering - Varna, Изд-во Institute of Information Theories and Applications FOI ITHEA, 2008. - C. 125 - 132.
16. Richardson C. Microservices Patterns / Chris Richardson - New York, Изд-во Manning, 2018. - 520 с.
17. Pattern: Database per service // Microservice Architecture [Электронный
ресурс]. URL: https://microservices.io/patterns/data/database-per-service.html
(дата обращения 05.03.2023)
18. Ньюмен С. От монолита к микросервисам. - СПб.: БХВ-Петербург, 2021. - 272 c.
19. What is Strict Consistency vs Eventual Consistency? // Cohesity [Электронный ресурс]. URL: https://www.cohesity.com/blogs/strict-vs-eventual- consistency(дата обращения 12.12.2023)
20. Picking an Active-Active Geo Distribution Strategy: Comparing Merge Replication and CRDT // InfoQ [Электронный ресурс]. URL: https://www.infoq.com/articles/database-merge-replication-crdt(дата обращения 20.11.2023)
21. Concurrency and Automatic Conflict Resolution // Dev.to [Электронный
русурс]. URL: https://dev.to/frosnerd/concurrency-and-automatic-conflict-
resolution-4i9o (дата обращения 20.11.2023)
22. Top 5 Ways to Implement Real-Time Rich Text Editor [Электронный
ресурс]. URL: https://exaspark.medium.com/top-5-ways-to-implement-real-time- rich-text-editor-ranked-by-complexity-3bc26e3c777f (дата обращения 20.11.2023)
23. Гусаров А.С. Серверные программные средства управления метаданными для сервиса потоковой обработки событий : выпускная квалификационная работа бакалавра : 09.03.04 - Пенза, 2022. - 122 с.
24. PostgreSQL [Электронный ресурс]. URL: https://www.postgresql.org(дата обращения 01.04.2024).
25. Redis [Электронный ресурс]. URL: https://redis.io(дата обращения 01.04.2024).
26. Sequelize ORM [Электронный ресурс]. URL: https://sequelize.org(дата обращения 01.04.2024).
27. React [Электронный ресурс]. URL: https://react.dev(дата обращения 01.04.2024).
28. Redux Toolkit [Электронный ресурс]. URL: https://redux-toolkit.js.org(дата обращения 01.04.2024).
29. Гусаров, А.С. Использование No-Code подхода при управлении метаданными сервиса потоковой обработки событий и исполнения активных правил / А. С. Гусаров, С. В. Шибанов, Я. С. Шлепнев // Информационные технологии в науке и образовании. Проблемы и перспективы : материалы X Ежегодной всероссийской межвузовской научно-практической конференции
- Пенза : Изд-во ПГУ, 2023. - С. 368 - 374.
30. Шибанов, С. В. Портал управления метаданными сервиса потоковой обработки событий и исполнения активных правил / С. В. Шибанов, Я. С. Шлепнев, А. С. Гусаров // Информационные технологии в моделировании и управлении: подходы, методы, решения : материалы VI Всероссийской научной конференции с международным участием - Тольятти : Изд-во ТГУ, 2023. - С. 577 - 587.
31. Брендан Бернс: Распределенные системы. Паттерны проектирования
- СПб.: Питер, 2019. - 224 с.
32. Prometheus [Электронный ресурс]. URL: https://prometheus.io(дата обращения 01.04.2024).
33. Grafana Labs [Электронный ресурс]. URL: https://grafana.com(дата обращения 01.04.2024).


Работу высылаем на протяжении 30 минут после оплаты.




©2025 Cервис помощи студентам в выполнении работ