Введение 3
Постановка задачи 5
Обзор литературы 6
Глава 1. Детектирование событий 8
1.1. Алгоритм кумулятивных сумм 8
1.2. SVD-разложение 13
Глава 2. Альтернативные методы детектирования событий и локализация
событий 16
2.1. Спектральный анализ 16
2.1. Кепстральный анализ 17
2.2. Корреляционный метод локализации событий 21
Глава 3. Валидация данных 29
3.1. Виды валидаторов и их задачи 29
3.2. Многомерный валидатор 31
Выводы 36
Заключение 38
Список литературы 39
Приложение 43
Анализ данных — широкая и непрерывно развивающаяся область математики и информатики. Вычислительные алгоритмы и математические методы анализа данных позволяют извлекать полезные очевидные и неочевидные закономерности из большого объема сырых данных. Это помогает в решении классов задач предаварийного контроля, поддержки принятия решений и различных оптимизационных задач.
Системы пространственно распределённых датчиков необходимы для мониторинга состояния различных крупных объектов (например, систем водоснабжения, теплоснабжения, продуктопроводов, ГЭС, ГАЭС). В системах датчиков используются сенсорные элементы разного типа: акустические, электрические, пьезоэлектрические, тепловые, электромагнитные [10][18].
Например, для организации системы предаварийного контроля на основе систем пожарной автоматики следует устанавливать тепловизионные камеры, датчики температуры, давления, виброакустические датчики, интегральные датчики контроля высокодисперсных аэрозолей и некоторые другие [11].
Для любого из таких объектов важно предотвратить или, в крайнем случае, моментально обнаружить возникновение неполадок в работе оборудования.
Актуальность исследования данной темы обусловлена высокой значимостью поддержания работоспособности систем пространственно распределённых датчиков.
Новизна работы состоит в предложенных комплексных подходах к обнаружению неполадок работы систем.
Целью работы является реализация методов детектирования и локализации неполадок на системах пространственно распределённых датчиков, а также валидации данных.
Для достижения данной цели были поставлены следующие задачи:
1) Анализ методов детектирования и локализации событий на системах пространственно распределённых датчиков.
2) Анализ методов валидации данных от систем сенсоров.
3) Выбор конкретных методов детектирования и локализации событий, валидации данных.
4) Разработка программной реализации выбранных методов.
5) Оценка результатов применения методов на тестовых и реальных данных.
В рамках сотрудничества с компанией Сименс было рассмотрено применение исследуемых методов для решения реальных задач.
Работа состоит из введения, постановки задачи, обзора литературы, трёх глав, выводов и заключения.
Глава 1 данной работы посвящена детектированию неполадок в работе систем датчиков. В главе рассматривается применение модифицированного алгоритма кумулятивных сумм и SVD-разложения. Демонстрируются результаты применения методов детектирования на реальных данных.
В главе 2 рассматриваются альтернативные методы детектирования (спектральный и кепстральный анализ) и метод локализации неполадок (корреляционный метод). Приведены результаты применения методов на тестовых и реальных данных.
Глава 3 посвящена валидации данных. В главе приводятся краткий обзор задач валидаторов и подробное описание реализации многомерного валидатора. Демонстрируются результаты применения многомерного валидатора на реальных данных.
Выражаю благодарность компании Сименс за сотрудничество, команде аналитиков за консультации по исследуемым темам. Особо благодарю инженеров исследования и разработки Сазыкина Дмитрия и Бакутеева Антона, руководителя направления исследований Вениаминова Николая за консультации и общее руководство практической частью работы.
Постановка задачи
В рамках сотрудничества с компанией Сименс была предложена задача программной реализации методов детектирования и локализации событий на продуктопроводах.
Под событиями на трубопроводе будем понимать возникновение прорывов, врезок, работу запорной арматуры и переключение режимов работы насосов.
Наличие прорывов и врезок в продуктопроводе приводит к потерям продукта, что невыгодно в финансовом плане и экологическом, и к временным затратам на обнаружение мест прорывов и их устранение. Появляется необходимость применения методов анализа данных для обнаружения таких критических событий.
Реализация методов детектирования и локализации событий осуществлена на языке MATLAB.
Работоспособность и адекватность методов проверена на данных датчиков при эмуляции возникновения разного рода событий на реальном продуктопроводе. В главах 1-2 приведены результаты работы методов.
Также в рамках сотрудничества была предложена задача валидации данных для систем сенсоров.
Валидация данных является важным этапом технологического процесса, позволяющим принимать решение о достоверности и надёжности данных. Обработка сигналов, поступающих с сенсоров, позволяет выявить неустойчивость системы, аварийные ситуации, сбой в работе оборудования или его непригодность.
Реализация валидации данных осуществлена на языке Python.
Работоспособность метода валидации данных проверена на реальных данных системы сенсоров. В главе 3 также приведены результаты работы метода
Проведён обзор алгоритмов детектирования и локализации событий на продуктопроводе, методов валидации данных. Предложен новый подход к осуществлению многомерной валидации. Разработана программная реализация рассмотренных алгоритмов.
Приведены результаты работы методов на тестовых и реальных данных. На основании результатов можно заметить, что предложенный подход детектирования событий с помощью алгоритма кумулятивных сумм даёт достаточно точные результаты, а также позволяет сократить количество пропущенных событий. Метод SVD-разложения будет полезен при детектировании событий на многоканальных системах. Альтернативные методы детектирования (спектральный и кепстральный анализ) не дают высокой точности.
Результаты нахождения временной задержки между приходом события на разные датчики не так хороши. Предложения по адаптации метода для улучшения результатов вынесены в разделе «Выводы».
Реализация многомерного валидатора успешно прошла проверку на реальных данных. При предложенной модификации валидатора снижается количество ложных срабатываний валидатора.
[1] Анпилогов В.А., Веревкин А.П., Давлетшина З.Р., Кизина И.Д., Гайнуллин Д.В. Обнаружение утечек и несанкционированных воздействий в магистральных нефтепроводах с использованием Фурье- и вейвлет- преобразований в ПТК СОУ // Автоматизация, телемеханизация и связь в нефтяной промышленности. - 2012. - №4. - с. 28-31.
[2] Бродский Б.Е. Асимптотически оптимальные методы в задаче скорейшего обнаружения разладки. I. Характеристики методов скорейшего обнаружения разладки // Автоматика и телемеханика. - 1995. - №9. - с. 60¬72.
[3] Бродский Б.Е. Асимптотически оптимальные методы в задаче скорейшего обнаружения разладки. II. Исследование методов скорейшего обнаружения // Автоматика и телемеханика. - 1995. - №10. - с. 50-59.
[4] Бродский Б.Е., Дарховский Б.С. Проблемы и методы вероятностной диагностики // Автоматика и телемеханика. - 1999. - №8. - с. 3-50.
[5] Бродский Б.Е., Дарховский Б.С. Сравнительный анализ некоторых непараметрических методов скорейшего обнаружения момента “разладки” случайной последовательности // Теория вероятностей и ее применения. - 1990. - т.35, №4. - с. 655-668.
[6] Буре В.М., Парилина Е.М. Теория вероятностей и математическая статистика. М.: Лань, 2013. 416 с.
[7] Васянович А.В., Грицунова А.В., Лебедев О.Г., Чурюмов Г.И. Эволюция спектров сигналов при переходных процессах в генераторах и усилителях М-типа // Радиоэлектроника и информатика. - 2005. - №1. - с. 22¬28.
[8] Гоноровский И. С. Радиотехнические цепи и сигналы: Учебник для вузов.— 4-е изд., перераб. и доп. — М.: Радио и связь, 1986. - с. 20-25.
[9] Жиглявский А.А., Красковский А.Е. Обнаружение разладки случайных процессов в задачах радиотехники. - Л.: ЛГУ, 1988. 112 с.
[10] Каблов Е.Н. Инновационные разработки ФГУП «ВИАМ» ГНЦ РФ по реализации «Стратегических направлений и технологий их переработки на период до 2030 года» // Авиационные материалы и технологии. - 2015. - №1(34). - с. 3-33.
[11] Концепция предаварийного радиационного и газового контроля на кораблях ВМФ. - СПб.: 1 ЦНИИ МО РФ, 1997. - 11с.
[12] Мамонова Т.Е. Методы диагностики линейной части нефтепроводов для обнаружения утечек // Проблемы информатики. - 2012. №5(17). - с.103-112.
[13] Мамонова Т.Е. Учёт геометрического профиля нефтепровода при определении параметров утечки // Электронный научный журнал «Нефтегазовое дело». - 2012. - №2. - с. 85-102.
[14] Никифоров И.В. Последовательное обнаружение изменения свойств временных рядов / Академия наук СССР. Институт проблем управления. - М.: Наука, 1983. - 200 с.
[15] Никифоров И.В. Применение кумулятивных сумм для обнаружения изменения характеристик случайного процесса // Автоматика и телемеханика. - 1979. - №2. - с. 48-58.
[16] Никонов А. В., Давлетшин Р. В., Яковлева Н. И., Лазарев П. С. Фильтрация методом Савицкого-Голея спектральных характеристик чувствительности матричных фотоприемных устройств // Успехи прикладной физики. - 2016. -т.4, № 2. - с. 198-205.
[17] Осипов Ю.М. Частотный и временной анализ стационарных и переходных характеристик линейных электрических цепей. Учебное пособие по курсам электротехники и ТОЭ. Ч. 2. - СПб: СПбГИТМО (ТУ), 2002. -99 с.
[18] Федотов М.Ю., Сорокин К.В., Гончаров В.А., Шиенок А.М., Зеленский П.В. Возможности сенсорных систем и интеллектуальных ПКМ на их основе // Все материалы. Энциклопедический справочник. - 2013. - №2. - с. 18-23.
[19] Aime Lay-Ekuakille, Giuseppe Griffo, Paolo Visconti, Patrizio Primiceri, Ramiro Velazquez. Leak detection in waterworks: comparison between STFT and FFT with an overcoming of limitations // Metrology and Measurement Systems, 2017. 24(4). Pp. 631-644.
[20] Bogert B. P., Healy M. J. R., Tukey J. W. The Quefrency Analysis of Time Series for Echoes: Cepstrum, Pseudo Autocovariance, Cross-Cepstrum and Saphe Cracking // Symposium on Time Series Analysis (M. Rosenblatt, Ed) Chapter 15, - New York: Wiley, 1963. Pp. 209-243.
[21] Eckart C., Young G. The Approximation of One Matrix by Another of Lower Rank. Psychometrika, 1936. 4. Pp. 81-93.
[22] Ivan Miguel Pires, Nuno M. Garcia, Nuno Pombo, Francisco Florez- Revuelta, and Natalia Diaz Rodriguez. Validation Techniques for Sensor Data in Mobile Health Applications // Journal of Sensors, 2016. 9 p.
[23] Lin Chen, Yongchun Liu, Fancheng Kong, Na He a. Acoustic Source Localization Based on Generalized Crosscorrelation Time-delay Estimation // Procedia Engineering, 2011. Vol. 15. Pp. 4912-4919.
[24] M. Taghvaei, S.B.M Beck and W.J. Staszewski. Leak detection in pipelines using cepstrum analysis // Measurement science and technology, 2006. 17. Pp. 367-372.
[25] Motazedi, N. and Beck, S. Leak detection using cepstrum of cross-correlation of transient pressure wave signals // Proc IMechE Part C: J Mechanical Engineering Science 0(0), 2017. 13 p.
[26] Rhudy, M., Bucci, B., Vipperman, J., Allanach, J., & Abraham, B. Microphone Array Analysis Methods Using Cross-Correlations. Volume 15: Sound, Vibration and Design. - 2009.
[27] Rhudy, Matthew. Real Time Implementation of a Military Impulse Classifier. University of Pittsburgh, Master's Thesis, 2009. 104 p
[28] Siao Sun; Jean-luc Bertrand-krajewski, Anders Lynggaard-Jensen, Joep van den Broeke, Florian Edthofer, Maria do Ceu Almeida, Alvaro Silva Ribeiro, Jose Menaia. Literature review of data validation methods // Seventh framework programme, 2011. Vol. 019. 19 p