Введение 4
Актуальность 4
Практическая значимость работы 5
Постановка задачи 6
Цель работы 6
Задачи работы 6
Обзор литературы 7
Глава 1. Введение в предметную область 11
1.1. Процедура внутритрубной диагностики 11
1.2. Методы визуального контроля дефектов 13
Глава 2. Разработка методов детектирования дефектов ... 15
2.1. Структура и особенности данных 15
2.2. Аугментация датасета 21
2.3. Исследование дефектов 22
2.4. Поиск дефектов по паттерну 24
2.5. Детектирование дефектов методами классического машинного обучения 25
2.6. Классификация дефектов методами классического машинного обучения 26
2.7. Классификация дефектов методами на основе нейронных
сетей 27
Глава 3. Проведение оценки качества алгоритмов 32
3.1. Процедура оценки качества 32
3.2. Результаты поиска дефекта по паттерну 32
3.3. Результаты детектирования методами классического машинного обучения 34
3.4. Результаты классификации методами классического машинного обучения 35
3.5. Результаты нейросетевого подхода 37
3.6. Выводы 40
Заключение 41
Результаты работы 41
Перспективы развития 41
Список литературы 43
Развитие современных информационных технологий затрагивает все области жизни общества. Не является исключением и сфера промышленности. В последнее время появилось огромное количество технологий, инструментов и программных комплексов, которые позволяют автоматизировать и оптимизировать производственные процессы. В настоящее время происходит повсеместная информатизация промышленности. Процесс информатизации производств подталкивает компании к проведению исследований в конкретной промышленной области и внедрению результатов исследований в технологические процессы.
Благодаря этому многие области промышленности получили большой толчок в развитии, например, автомобильная промышленность или нефтегазовая промышленность. В качестве примера можно привести то, что за последние годы в группе компаний «Газпром Нефть» были внедрены новейшие решения для оптимизации технологических и производственных процессов [1]:
• Проект «Когнитивный геолог», автоматизирующий предварительную обработку данных, полученных в результате геологоразведочных работ.
• Технология «КиберГРП» применяется для моделирования гидроразрыва пласта.
• Экспертная система «ГгсБА» накапливает информацию и формирует базу знаний по «Большой Ачимовке». На основе различных данных она помогает подобрать оптимальное технологическое решения для бурения новой скважины.
На текущий момент «Газпром Нефть» проводит огромную исследовательскую программу по созданию информационных и технологических решений для проведения геологоразведочных работ и дальнейшей разработки трудноизвлекаемых запасов нефти [2].
Практическая значимость работы
На балансе нефтедобывающей компании находится порядка 12 тыс. км промысловых трубопроводов. Одной из важных задач является оценка состояния эксплуатируемых трубопроводов [3]. На данный момент эта процедура требует большого количества ручного труда высококвалифицированных специалистов при визуальном контроле результатов внутритрубной диагностики (ВТД). Эксперты тратят до одного месяца на интерпретацию данных внутритрубной диагностики одного километра трубы. Автоматизация данного процесса позволит сократить время между проведением ВТД и интерпретацией результатов, а также уменьшить влияние человеческого фактора. В результате уменьшится количество прорывов нефтепроводов и утечек нефти. В компании разрабатывается программный комплекс для детектирования дефектов на основе экспертных правил. Использование методов машинного обучения может повысить качество детектирования дефектов.
Практическая значимость работы заключается в том, что предложенные методы детектирования дефектов позволят повысить качество процесса интерпретации данных ВТД и могут быть внедрены в разрабатываемый программный комплекс.
Результаты работы
В рамках проделанной работы были выполнены следующие задачи:
• проведен обзор и анализ подходов и методов машинного обучения для детектирования аномалий и дефектов;
• собраны и предобработаны данных внутритрубной диагностики для обучения и оценки качества моделей, написан парсер для расшифровки бинарных файлов, а также проведена аугментация и балансировка датасетов;
• реализованы методы с использованием нейронных сетей и алгоритмов машинного обучения для обнаружения дефектов;
• проведено тестирование и оценка качества разработанных алгоритмов в процессе кроссвалидации на подготовленной выборке;
• полученные результаты проанализированы и сформированы рекомендации по улучшению разработанных подходов в будущем;
• полученное решение интегрировано в программный комплекс для информатизации процесса внутритрубной диагностики;
• получено свидетельство о государственной регистрации программы для ЭВМ [50].
Перспективы развития
На основании проведенных экспериментов для улучшения качества детекции дефектов следует предпринять следующие шаги:
• предложить решение, позволяющее определять состояние магнитограммы;
• исключить из выборки некорректные магнитограммы;
• обогатить выборку хорошими магнитограммами;
• перепроверить текущую разметку магнитограмм с помощью экспертов;
• расширить признаковое описание дефектов на основе работы CNN сетей.
• усложнить архитектуру используемых сетей CNN и добавить Batch Normalization слои;
• рассмотреть возможность использования autoencoders в данной задаче.
[1] Алексеев, А. Точки инновационного роста /А. Алексеев // «Сибирская нефть». — 2019. — №161. — С. 46-52.
[2] Статья ТАСС «Ачимовка — нефть будущего»: сайт. — URL:
https://spec.tass.ru/achimovka/ (дата обращения: 05.05.2022). — Текст: электронный.
[3] Шалай, В.В. Анализ технического состояния объектов линейной част магистральных Нефтепроводов, определение оптимальных способов поддержания объектов линейной части в нормативном состоянии / В.В. Шалай, М.М. Васильев, К.А. Шумаков // «Омский научный вестник»— Омск, 2004. —С. 196-199.
[4] Braei, Mohammad & Wagner, Sebastian. Anomaly Detection in Univariate Time-series: A Survey on the State-of-the-Art. 2020.
[5] A. H. Yaacob, I. K. T. Tan, S. F. Chien and H. K. Tan, "ARIMA Based Network Anomaly Detection,"2010 Second International Conference on Communication Software and Networks, 2010, pp. 205-209.
[6] Jasek, R., Szmit, A., Szmit, M. (2013). Usage of Modern ExponentialSmoothing Models in Network Traffic Modelling. In: Zelinka, I., Chen, G., Rossler, O., Snasel, V., Abraham, A. (eds) Nostradamus 2013: Prediction, Modeling and Analysis of Complex Systems. Advances in Intelligent Systems and Computing, vol 210. Springer, Heidelberg.
[7] Yufeng Yu, Yuelong Zhu, Shihua Li, and Dingsheng Wan. Time series outlier detection based on sliding window prediction. In Mathematical Problems in Engineering, 2014.
[8] J. MacQueen. Some Methods for Classification and Analysis of Multivariate Observations. In Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Statistics, pages 281297, Berkeley, Calif., 1967. University of California Press.
[9] Martin Ester, Hans-Peter Kriegel, Jorg Sander, and Xiaowei Xu. A densitybased algorithm for discovering clusters a density-based algorithm for discovering clusters in large spatial databases with noise. In Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, KDD’96, pages 226-231. AAAI Press, 1996.
[10] M. Celik, F. Dada^ser-Celik, and A. JS. Dokuz. Anomaly detection in temperature data using dbscan algorithm. In 2011 International Symposium on Innovations in Intelligent Systems and Applications, pages 91-95, 06 2011.
[11] Fei Tony Liu, Kai Ming Ting, and Zhi hua Zhou. Isolation forest. In ICDM ’08: Proceedings of the 2008 Eighth IEEE International Conference on Data Mining. IEEE Computer Society, pages 413-422, 2008.
[12] V.N. Vapnik and A.Ya Chervonenkis. A class of algorithms for pattern recognition learning. Avtomat. i Telemekh.,25:937-945, 1964.
[13] Bernhard Scholkopf, Robert Williamson, Alex Smola, John Shawe- Taylor, and John Platt. Support vector method for novelty detection. In Proceedings of the 12th International Conference on Neural Information Processing Systems, NIPS’99, pages 582-588, Cambridge, MA, USA, 1999. MIT Press.
[14] Tianqi Chen and Carlos Guestrin. Xgboost: A scalable tree boosting system. CoRR, abs/1603.02754, 2016.
[15] Trevor Hastie, Robert Tibshirani, and Jerome Friedman. The Elements of Statistical Learning: Data Mining, Inference and Prediction. Springer, 2 edition, 2009.