ВВЕДЕНИЕ 4
ГЛАВА 1. МЕТОДЫ КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ ПОИСКА ОБЪЕКТОВ НА СНИМКАХ 6
1.1. Компьютерное зрение. Применение технологий компьютерного зрения в различных
сферах деятельности 6
1.2. Методы поиска прямых линий на снимках 8
1.2.1. Hough Transform 8
1.2.2. Line Segment Detector (LSD) 9
1.3. Методы выделения ключевых точек на изображении 11
1.4. Применение методов компьютерного зрения для автоматизации определения
местоположения опор и проводов ЛЭП на аэрофотоснимках 12
ГЛАВА 2. МЕТОДЫ АВТОМАТИЗИРОВАННОГО ПОИСКА ОПОР ЛЭП НА АЭРОФОТОСНИМКАХ И
ОПРЕДЕЛЕНИЯ ИХ МЕСТОПОЛОЖЕНИЯ 13
2.1. Методы, использующие поиск прямых линий 13
2.2. Методы, использующие поиск объектов по ключевым точкам 15
2.3. Недостатки 16
ГЛАВА 3. МЕТОДЫ И АЛГОРИТМЫ АВТОМАТИЗИРОВАННОГО ПОИСКА ПРОВОДОВ НА
АЭРОФОТОСНИМКАХ И ПОСТРОЕНИЯ ГЕОМЕТРИИ 18
3.1. Методы поиска проводов с использованием компьютерного зрения 18
3.2. Алгоритмы, реализованные в коммерческом программном обеспечении 23
3.2.1. Теоретические основы 24
3.2.2. Тестирование 26
ГЛАВА 4. ВОЗМОЖНОСТИ УСОВЕРШЕНСТВОВАНИЯ МЕТОДОВ ПОИСКА И ОПРЕДЕЛЕНИЯ
МЕСТОПОЛОЖЕНИЯ ОПОР И ПРОВОДОВ ЛЭП НА ОСНОВЕ ДАННЫХ АЭРОФОТОСЪЁМКИ 30
4.1. Поиск опор на аэрофотоснимках и определение их местоположения 30
4.1.1. Ограничение области поиска 30
4.1.2. Работа со структурой снимка и использование Line Segment Detector 31
4.1.3. Пространственная привязка обнаруженных линий и определение реального
местоположения опоры 32
4.2. Поиск проводов на аэрофотоснимках и построение их 3D-геометрии 33
4.2.1. Применение инструмента «Найти провода» и фильтрация некорректной 3D-
геометрии 33
4.2.2. Уточнение положения изоляторов 35
4.2.3. Построение 3D-геометрии в пропущенных пролётах 35
ГЛАВА 5. РАЗРАБОТКА АЛГОРИТМОВ, РЕАЛИЗУЮЩИХ УСОВЕРШЕНСТВОВАННЫЕ МЕТОДЫ 38
5.1. Использование вычислительных возможностей Metashape 38
5.2. Интеграция библиотек Python для задач компьютерного зрения 39
5.3. Интеграция библиотек Python для обработки пространственных данных 40
5.4. Апробация разработанных алгоритмов 43
ЗАКЛЮЧЕНИЕ 44
ЛИТЕРАТУРА 45
Электроэнергетика является одной из главных отраслей энергетической промышленности Российской Федерации. Значительную нишу в отрасли занимают установка, мониторинг, обслуживание и ремонт элементов воздушных линий электропередачи (далее - ЛЭП, ВЛ): опор, проводов, изоляторов, бандажей и прочих, а также поддержание стабильной ситуации в охранной зоне ЛЭП, для обеспечения необходимой безопасности человека, окружающей среды и хозяйственной деятельности. Мониторинг предстаёт, как одна из самых ресурсо- и трудозатратных частей эксплуатации ВЛ, что в первую очередь связано с необходимостью регулярного проведения подобных работ.
В настоящий момент всё большую популярность набирает использование беспилотных воздушных судов (далее - БВС) для съёмки актуального состояния ВЛ и проведения мониторинга. В особенности, технологии геодезии и фотограмметрии позволяют помимо общей визуальной оценки ЛЭП по полученным снимкам или видео создавать модели местности, которые могут быть использованы для точного определения положения опор, проводов и других элементов ЛЭП, различных объектов, попадающих в охранную зону, а также для измерения высот и площадей окружающей древесно-кустарниковой растительности.
Автоматизация производственных процессов является важной задачей в любой отрасли в виду сокращения времени работ и ресурсных затрат. В сфере мониторинга ВЛ с использованием БВС применяется множество методов, связанных с автоматизированными анализом и обработкой пространственных данных, однако получение самих пространственных данных на основе созданных моделей местности предстаёт актуальным вопросом для перехода к полностью автоматическим или автоматизированным методам.
Цель работы: разработка алгоритмов на основе существующих методов автоматизированного определения координат объектов энергетики с использованием данных аэрофотосъёмки, адаптированных под современные производственные задачи, на примере опор и проводов ЛЭП.
Для достижения поставленной цели необходимо выполнить следующие задачи:
- изучить методы распознавания опор и проводов на снимках, основанные на технологиях компьютерного зрения;
- разработать алгоритм локализации опор, адаптированный под производственные задачи мониторинга ЛЭП для применения в используемом программном обеспечении;
- изучить алгоритмы автоматического поиска и построения геометрии проводов по снимкам, реализованные в коммерческом программном обеспечении, выявить проблемы;
- разработать автоматизированный алгоритм поиска и построения проводов на основе автоматического с устранением ошибок;
- протестировать разработанные алгоритмы.
В качестве данных использованы снимки множества линейных аэрофотосъёмок ВЛ, выполненных ООО «Авиационные роботы».
В работе использовано программное обеспечение: Metashape 1.7.3, QGIS Desktop 3.22. Разработка была выполнена на языке программирования Python версии 3.8.
В результате работы была достигнута цель - разработаны алгоритмы на основе существующих методов автоматизированного определения координат объектов энергетики с использованием данных аэрофотосъёмки, адаптированных под современные производственные задачи, на примере опор и проводов ЛЭП.
В процессе работы:
- были изучены методы распознавания опор и проводов на снимках, основанные на технологиях компьютерного зрения;
- разработан алгоритм локализации опор, адаптированный под производственные задачи мониторинга ЛЭП для применения в используемом программном обеспечении;
- изучены алгоритмы автоматического поиска и построения геометрии проводов по снимкам, реализованные в коммерческом программном обеспечении, выявлены проблемы;
- разработан алгоритм автоматизированного поиска и построения геометрии проводов на основе автоматического с устранением ошибок;
- протестированы разработанные алгоритмы.
1. ГОСТ Р 58087-2018 «Единая энергетическая система и изолированно работающие энергосистемы. Электрические сети. Паспорт воздушных линий электропередачи напряжением 35 кВ и выше»
2. Постановление Правительства РФ от 24 февраля 2009 г. N 160 «О порядке установления охранных зон объектов электросетевого хозяйства и особых условий использования земельных участков, расположенных в границах таких зон» (с изменениями и дополнениями)
Печатные издания:
3. Вьюгин В. Математические основы теории машинного обучения и прогнозирования. — МЦМНО, 2013. — 390 с.
4. Магидин Ф. А.; под ред. А. Н. Трифонова. Электромонтажные работы. В 11 кн. Кн. 8. Ч. 1. Воздушные линии электропередачи: Учеб. пособие для ПТУ. — М.: Высшая школа, 1991. — 208 с.
5. Правила устройства электроустановок. — 7-е изд. — М.: НЦ ЭНАС, 1999-2005.
6. Форсайт Д., Понс Ж., Компьютерное зрение. Современный подход. — М.: «Вильямс», 2004. — 928 с.
7. Шапиро Л., Стокман Дж., Компьютерное зрение — М.: Бином. Лаборатория знаний, 2006. — 752 с.
8. Zucchini W. «APPLIED SMOOTHING TECHNIQUES Part 1: Kernel Density Estimation»
Публикации:
9. Alpatov B. Babayan P., Shubin N. «Robust line detection using Weighted Radon Transform». 3rd Mediterranean Conference on Embedded Computing (MECO), 2014, c. 148-151.
10. Araar O., Aouf N., Luis J., Dietz V., «Power pylon detection and monocular depth estimation from inspection UAVs», Industrial Robot: An International Journal, 2015.
11. Cao W., Yang, X. Zhu L., Han J., Wang T., «Power line detection based on symmetric partial derivative distribution prior», IEEE International Conference on Information and Automation, 2013, с. 767-772.
12. Chen Y., Li Y., Zhang H., Ling T., Xue Z., «Automatic power line extraction from high resolution remote sensing imagery based on an improved radon transform», Pattern Recognition, vol. 49, 2016, с. 174-186.
13. Clausi D., Yue B., «Comparing Cooccurrence Probabilities and Markov Random Fields for Texture Analysis of SAR Sea Ice Imagery», IEEE Transactions on Geoscience and Remote Sensing, 2004, с. 215-228.
14. Grompone von Gioi, R., Jakubowicz, J., Morel, J.-M., Randall, G., «LSD: A Fast Line Segment Detector with a False Detection Control», IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, с. 722-732.
15. Grompone von Gioi, R., Jakubowicz, J., Morel, J.-M., Randall, G., «LSD: a Line Segment Detector», Image Processing on Line, 2012, с. 35-55.
16. Haralick R.M., Shanmugam K., Dinstein I., «Textural Features for Image Classification», IEEE Transactions on Systems Man and Cybernetics, 1973, с. 610-621.
17. Jiang S., Jiang W., Huang W., Yang L., «UAV-Based Oblique Photogrammetry for Outdoor Data Acquisition and Offsite Visual Inspection of Transmission Line», Remote Sensing, 2017.
18. Li Z., Liu Y., Hayward R., Zhang J., Cai J., «Knowledge-based power line detection for UAV surveillance and inspection systems», 23rd International Conference Image and Vision Computing New Zealand, 2008, с. 1-6.
19. Linnainmaa S., Harwood D., Davis L.S., «Pose Determination of a Three-Dimensional Object Using Triangle Pairs», IEEE Transactions On Pattern Analysis And Machine Intelligence, 1987, с. 634-647.
20. Marr D., Hildreth E., «Theory of Edge Detection», Proceedings of the Royal Society of London. Series B, Biological Sciences, 1980, с. 187-217.
21. Oyallon E.,Rabin J., «An Analysis of the SURF Method», Image Processing On Line, 2015, с. 176-218.
22. Tilawat J., Theera-Umpon N., Auephanwiriyakul S., «Automatic Detection of Electricity Pylons in Aerial Video Sequences», ICEIE, 2010, с. 342-346.
23. Tong W., Li B., Yuan J.,Zhao S., «Transmission line extraction and recognition from natural complex background», International Conference on Machine Learning and Cybernetics, 2009, с. 2473-2477.
24. Wu Q., An J., Yang R., «Extraction of power lines from aerial images based on Hough transform», Earth Observing Missions and Sensors: Development, Implementation, and Characterization, 2010.
25. Yan G., Li C., Zhou G., Zhang W., Li X., «Automatic extraction of power lines from aerial images», IEEE Geoscience and Remote Sensing Letters, 2007, с. 387-391.
26. Yu P., Dong B., Xue Y., «Electric Power Tower Inclination Angle Detection Method Based on SIFT Feature Matching», Applied Mechanics and Materials, 2012, 759-764.
27. Zhan K.; Shi J.; Wang H.; Xie Y.; Li Q., «Computational mechanisms of pulse-coupled neural networks: A comprehensive review», Archives of Computational Methods in Engineering, 2017, с. 573-588.
28. Zhou G., Yuan J., Yen I., Bastani F., «Robust real-time UAV based power line detection and tracking», ICIP, 2016, с. 744-748.
29. Zhu L., Cao Y., Han J., Du Y., «A double-side filter based power-line recognition method for UAV vision system», ROBIO, 2013, с. 2655-2660.
30. Zou K. Jiang Z., Zhang Q., «Research Progresses and Trends of Power Line Extraction based on Machine Learning», ISCEIC, 2021, с. 211-215.
Научные работы:
31. Серебро А., «Определение положения и ориентации опор линий электропередач средствами компьютерного зрения», СПбАУ РАН, 2017, магистерская диссертация
32. Correa A. C., «UAV vision system: Application in electric line following and 3D reconstruction of associated terrain», Национальный университет Колумбии, 2017, докторская диссертация
Интернет-источники:
33. https://www.agisoft.com/pdf/metashape python api 1 7 1.pdf- Metashape Python API, 24.05.2022
34. https://compsciclub.ru/courses/photogrammetry/2021-spring/classes/6938/ -
Обнаружение 3D проводов, 28.04.2022
35. https://github.com/AndranikSargsyan/pylsd-nova- Python bindings for Line Segment Detector (LSD), 24.05.2022
36. https://github.com/numpy/numpy- The fundamental package for scientific computing with Python, 24.05.2022
37. https://github.com/opencv/opencv-python- Automated CI toolchain to produce precompiled opencv-python, opencv-python-headless, opencv-contrib-python and opencv-contrib-python-headless packages, 24.05.2022
38. https:// github.com/OSGeo- Open Source Geospatial Foundation, 24.05.2022
39. https://github.com/scipy/scipy- SciPy library main repository, 24.05.2022
40. https://github.com/shapely/shapely- Manipulation and analysis of geometric objects, 24.05.2022
41. https://habr.com/ru/post/106302/- Построение SIFT дескрипторов и задача сопоставления изображений, 18.05.2022
42. https://habr.com/ru/post/166693/- Фильтр Калмана, 11.05.2022
43. https://planetmath.org/houghtransform- Преобразование Хафа, 17.05.2022
44. https://www.tadviser.ru/index.php- Компьютерное зрение: технологии, рынок, перспективы, 18.05.2022
45. https://towardsdatascience.com/understanding-k-means-clustering-in-machine-learning-6a6e67336aa1- K-means clustering, 11.05.2022
46. https://trends.rbc.ru/trends/industry/5f1f007e9a794756fafbfa83- Что такое компьютерное зрение и где его применяют, 18.05.2022