Тема: АЛГОРИТМЫ И ПРОГРАММНЫЕ СРЕДСТВА УПРАВЛЕНИЯ МЕТАДАННЫМИ В ДИСКРЕТНО-СОБЫТИЙНЫХ ДИНАМИЧЕСКИХ ИНФОРМАЦИОННО УПРАВЛЯЮЩИХ СИСТЕМАХ
Характеристики работы
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
📋 Содержание
1 Аспекты применения метаданных в реагирующих дискретно-
событийных динамических информационно управляющих системах 13
1.1 Реагирующие дискретно-событийные динамические ИУС 13
1.1.1 Информационно-управляющие системы и их классификация 13
1.1.2 Понятие и роль обработки событий в информационно-
управляющих системах 16
1.1.3 Свойства реагирующих дискретно-событийных динамические ИУС 18
1.2 Применение технологий потоковой обработки и активных правил для обнаружения событий и синтеза управляющих воздействий в реагирующих ИУС 19
1.2.1 Потоковая обработка событий 19
1.2.2 Концепции активных правил 23
1.2.3 Классификация активных правил 25
1.3 Применение метамоделирования для проектирования и реализации
систем потоковой обработки событий с применением активных правил 25
1.3.1 Понятие и роль метаданных 26
1.3.2 Основы метамоделирования 27
1.3.3 Обзор подходов к разработке информационных систем с
применением метамоделирования 29
1.4 Анализ требований к составу, архитектуре и процессам управления метаданными в реагирующих ИУС потоковой обработки событий
и исполнения активных правил 33
1.5 Выводы по разделу 1 36
2 Архитектура, модели и алгоритмы управления метаданными в
реагирующей ИУС потоковой обработки событий и исполнения активных правил в рамках единой метамодели 38
2.1 Единая метамодель реагирующей ИУС 38
2.1.1 Метамодель внешних систем 39
2.1.2 Метамодель событий 41
2.1.3 Метамодель активных правил 43
2.1.4 Отображение единой метамодели в модели данных 46
2.2 Алгоритмы первичной валидации метаданных при добавлении их
в центральный репозиторий реагирующей ИУС 50
2.3 Распределенная архитектура метаданных реагирующей ИУС
потоковой обработки событий и исполнения активных правил 53
2.4 Обоснование выбора подходов синхронизации метаданных 55
2.4.1 Модели согласованности в распределённой архитектуре 55
2.4.2 Управление версиями с использованием временных меток для
синхронизации метаданных 57
2.4.3 Обработка конфликтов при тиражировании и синхронизации
метаданных 58
2.5 Алгоритм тиражирования и синхронизации метаданных 60
2.5.1 Алгоритм тиражирования метаданных 60
2.5.2 Алгоритм синхронизации метаданных 65
2.6 Выводы по разделу 2 68
3 Программные средства управления метаданными в составе сервиса потоковой обработки событий и исполнения активных правила 70
3.1 Назначение, архитектура и функциональные возможности
программных средств управления метаданными сервиса потоковой обработки событий и исполнения активных правил 70
3.2 Программные средства конструирования метаданных 75
3.3 Программные средства тиражирования и синхронизации
распределенных метаданных 85
3.3.1 Экспериментальное обоснование выбора технологий для реализации алгоритма 85
3.3.2 Архитектура программных средств в процессе тиражирования и
синхронизации 87
3.3.3 Применение Sidecar паттерна 92
3.4 Выводы по разделу 3 94
4 Экспериментальная оценка разработанных моделей, алгоритмов и программных средств управления метаданными 96
4.1 Планирование и постановка эксперимента 96
4.1.1 Сценарии и условия проведения эксперимента 96
4.1.2 Параметры экспериментальной оценки программных средств 99
4.1.3 Предметная область ИУС для экспериментальной оценки 100
4.2 Разработка, развертывание и настройка информационного и
программного обеспечения эксперимента 101
4.3 Проведение эксперимента 109
4.4 Анализ и систематизация экспериментальных данных 114
4.5 Выводы по разделу 4 122
ЗАКЛЮЧЕНИЕ 123
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 124
ПРИЛОЖЕНИЕ А. Глоссарий 128
ПРИЛОЖЕНИЕ Б. Программный код для проведения эксперимента 130
ПРИЛОЖЕНИЕ В. Результаты апробации работы 140
ПРИЛОЖЕНИЕ Г. Презентация 148
📖 Введение
Быстрое развитие компьютерных и телекоммуникационных технологий, а также технологий автоматизированного управления вызвало появление и широкое распространение дискретно-событийных информационно управляющих систем (ДС ИУС), которые характеризуются дискретностью пространства состояний и изменение состояний во времени производится асинхронными дискретными событиями [2-3].
В соответствии с классификацией Д. Харела информационно - управляющие системы можно разделить на трансформационные системы, которые преобразуют входные данные в выходные, и реагирующие системы, которые реагируют на изменения внешней среды [4]. В реагирующими системах входному событию, требующему отклика системы, ставится в соответствие заданное действие. При этом действия должны выполняться строго в том порядке, в котором происходят входные события. Если трансформационные системы запускаются по мере необходимости, то реагирующие системы, в большинстве своем, являются постоянно действующими.
Одним из подходов к построению событийно-ориентированных ИУС, непрерывно функционирующих в режиме 24/7 является применение технологии потоковой обработки событий (Event Stream Processing, ESP) [5]. Данная технология позволяет не только оперативно получать события от различных источников (датчиков, баз данных, приложений и др.), но и организовать их эффективную обработку и оперативно реагировать на возникновение событий. Технология ESP гарантирует получение, обогащение событий метаданными и доставку событий адресатам, позволяет обрабатывать огромные объемы событий и реагировать на них в реальном масштабе времени, обнаруживать зависимости между событиями на основе заданных шаблонов, применяя технологию сложной обработки событий (Complex Event Processing, CEP).
Реагирование на поступившие или обнаруженные в потоках события удобным образом реализуется при помощи механизма активных правил (Active Rule, AR). Базовой концепцией представления активных правил является нотация «Событие-Условие-Действие» (Event-Condition-Action, ECA) [6], которая постоянно развивается и расширяется для эффективной разработки бизнес-логии управления.
Потоковая обработка событий и выработка реагирующих воздействий в ответ на возникновение событий реализуют асинхронный процесс, поэтому обоснованным является применение микросервисной модульной архитектуры для реализации программного обеспечения в ДС ИУС. Программная микросервисная платформа для построения ДС ИУС обеспечит быстрое развертывание, интеграцию и настройку ДС ИУС под конкретную предметную область и технологии сбора данных о событиях.
Low-сode и no-code разработка в сочетании с микросервисной платформой значительно уменьшают время разработки и ввода в эксплуатацию ДС ИУС. Это позволяет инженерам, специалистам индустрии создавать и разворачивать как рыночно-ориентированные продукты, так и внутренние сервисы ИУС, не обладая большим опытом в программировании. Применение единой программной платформы, low-code и no-code средств разработки, ориентированных на специалистов предметной области, позволит сократить состав команды разработчиков, уменьшить расходы на оборудование, разработку эксплуатацию и сопровождение программного обеспечения.
Достижение всех указанных преимуществ возможно на основе применения концепции мета-моделирования, широкого внедрения метаданных на всех этапах разработки и на всех уровнях ИУС, автоматизации процессов управления метаданными [7]. При этом распределенная микросервисная архитектура ИУС порождает потенциальные проблемы с поддержкой актуальных значений метаданных в компонентах программных приложений. Применение классических сценариев обмена данными в распределенных приложениях для постоянно функционирующих высоконагруженных ДС УИС ограничено, т.к. может потребовать останова и перезапуска работающих модулей после обновления метаданных. Таким образом, тема магистерской выпускной квалификационной работы представляется актуальной.
Объектом исследования являются процессы управления метаданными в ДС ИУС в рамках микросервисной архитектуры с применением потоковой обработки событий и механизма активных правил.
Предметом исследования являются модели, алгоритмы и программные средства конструирования, анализа и тиражирования метаданных в дискретно - событийных динамических информационно управляющих системах в рамках микросервисной архитектуры с применением потоковой обработки событий и механизма активных правил.
Целью диссертационной работы является исследование и разработка моделей, алгоритмов и программных средств управления метаданными в ДС ИУС, построенных на базе микросервисной программной платформы потоковой обработки и исполнения активных правил.
Для достижения поставленной цели определены следующие задачи:
- разработка обобщенной метамодели ДС ИУС, функционирующей на базе микросервисной архитектуры с применением технологии потоковой обработки событий и механизма активных правил,
- разработка единой архитектуры распределенного репозитория метаданных для ДС ИУС, функционирующей на базе микросервисной архитектуры с применением технологии потоковой обработки событий и механизма активных правил,
- разработка алгоритмов управления метаданными ДС ИУС на этапах жизненного цикла, включая конструирование, анализ, тиражирование и синхронизацию метаданных,
- разработка программных средств управления метаданными с применением low-code и no-code подходов,
- экспериментальная оценка и анализ предлагаемых решений.
Научная новизна, оригинальность идей в работе:
- предложена обобщенная метамодель ДС ИУС на основе теоретико-множественного подхода, описывающая расширенный набор классов событий и активных правил,
- разработана единая архитектура распределенного репозитория метаданных, ориентированная на микросервисную архитектуру ДС ИУС, применение потоковой обработки событий и активных правил,
- разработаны алгоритмы тиражирования и синхронизации метаданных в локальных репозиториях ДС ИУС, соответствующие требованиям скорости, надежности и восстановления состояния метаданных в случаях сбоев.
Методы проведенных исследований. Методы исследований основаны на положениях теории множеств и математической логики, теоретических положениях системного анализа, реляционной теории, методах проектирования реляционных и NoSQL баз данных, объектно-реляционного анализа и проектирования приложений.
Основные положения, выносимые на защиту:
- обобщенная метамодель ДС ИУС на основе теоретико-множественного подхода, описывающая расширенный набор классов событий и активных правил,
- единая архитектура распределенного репозитория метаданных для ДС ИУС, функционирующей на базе микросервисной архитектуры с применением технологии потоковой обработки событий и механизма активных правил,
- алгоритмы верификации метаданных на этапе конструирования,
- алгоритмы тиражирования и синхронизации метаданных в локальных репозиториях ДС ИУС, обеспечивающие высокую скорость, надежность и постоянную доступность приложений,
- программные средства управления метаданными в ДС ИУС.
Апробация работы. По тематике работы имеется 9 публикаций, 7 выступлений на научно-технических конференциях, участие в 3 конкурсах.
Основные положения и результаты работы докладывались на следующих конференциях:
- Открытая ХХХП университетская научно-практическая конференции «Актуальные проблемы науки и образования» (Пенза, 2022 г.)
- XIV Международная научно-техническая конференция с элементами научной школы и конкурсом научно-исследовательских работ «Шляндинские чтения - 2022» (Пенза, 2022 г.),
- X Ежегодная всероссийская межвузовская научно-практическая конференция «Информационные технологии в науке и образовании. Проблемы и перспективы.» (Пенза, 2023 г.),
- Всероссийская научная конференция с международным участием «Информационные технологии в моделировании и управлении: подходы, методы, решения» (Тольятти, 2023 г.),
- IX Международная научно-практическая конференция (школа- семинар) молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук» (Тольятти, 2023 г.),
- Всероссийская научно-практическая конференция молодых ученых «Наука, инновации и технологии: от идей к внедрению» (Комсомольск-на- Амуре, 2023 г.),
- XX Международная научно-техническая конференция «Новые информационные технологии и системы» (Пенза, 2023 г.),
- XXXV Всероссийская с международным участием научно¬техническая конференция, посвященной 80-летию Пензенского государственного университета «Проблемы автоматизации и управления в технических системах» (Пенза, 2023 г.).
Участие в конкурсах научно-исследовательских работ:
- конкурс научно-исследовательских докладов в рамках XIV международной научно-технической конференции с элементами научной школы и конкурсом научно-исследовательских работ «Шляндинские чтения - 2022» (Диплом победителя I степени),
- конкурс научно-исследовательских докладов в рамках X ежегодной всероссийской межвузовской научно-практической конференция «Информационные технологии в науке и образовании. Проблемы и перспективы.» (Диплом победителя I степени в секции «Программное обеспечение автоматизированных систем и вычислительной техники»),
- конкурс научно-исследовательских докладов в рамках всероссийской научной конференции с международным участием «Информационные технологии в моделировании и управлении: подходы, методы, решения» (Сертификат участника),
- конкурс научно-исследовательских докладов в рамках IX международной научно-практической конференции молодых ученых «Прикладная математика и информатика: современные исследования в области естественных и технических наук» (Сертификат участника),
- конкурс научно-исследовательских докладов в рамках всероссийской научно-практической конференции молодых ученых «Наука, инновации и технологии: от идей к внедрению» (Сертификат участника),
- конкурс научно-исследовательских докладов в рамках XX международной научно-технической конференции «Новые информационные технологии и системы» (Диплом победителя I степени в секции «Современные технологии передачи, хранения и обработки данных»),
- конкурс научно-исследовательских докладов в рамках XXXV всероссийской с международным участием научно-технической конференции, посвященной 80-летию Пензенского государственного университета «Проблемы автоматизации и управления в технических системах» (Сертификат участника),
- региональный конкурс научно-исследовательских работ
обучающихся «Научный прорыв» (Сертификат участника),
- XXV Международный конкурс научно-исследовательских работ «Путь в науку - 2022» (Диплом победителя II степени),
- международный конкурс «Студент года - 2023», проводимого по инициативе проекта Interclover (Лауреат III степени).
Структура и объем диссертации. Диссертация состоит из введения, 4 разделов, заключения, списка использованных источников, включающего 33 источника. Материал диссертации изложен на 163 листах, включает 46 рисунков, 6 таблиц и 4 приложения. Глоссарий представлен в приложении А.
✅ Заключение
Была описана и разработана единая метамодель ДС ИУС, которая включает в себя метамодель внешних систем, событий и активных правил. Разработана единая архитектура метаданных и модель распределенного репозитория.
Были разработаны алгоритмы управления метаданными, включая конструирование, анализ, тиражирование и синхронизацию метаданных в компонентах микросервисной архитектуры ДС ИУС;
Были рассмотрены аспекты применения программных средств для тиражирования и синхронизации метаданных, в том числе, были детально описаны клиентские и серверные средства конструирования.
Для процессов тиражирования была выбрана технология Redis Pub/Sub. Был проведен эксперимент для более корректного обоснования выбора. Разработанные алгоритмы были реализованы с применением данной технологии.
Проведена экспериментальная оценка разработанных моделей, алгоритмов и программных средств управления метаданными. В результате проведённого эксперимента и анализа можно сделать вывод, что разработанные средства показали высокую эффективность.
Результаты апробации работы и презентация представлены в приложениях В и Г соответственно.



