ВВЕДЕНИЕ 4
ГЛАВА I ОБЗОР ПРОБЛЕМАТИКИ. ПОСТАНОВКА ЗАДАЧ 7
1.1 Предобработка изображений 7
1.2 Детектирование и распознавание пешеходов и дорожных знаков 12
1.2.1 Детектирование дорожных знаков 12
1.2.2 Распознавание дорожных знаков 15
1.2.3 Распознавание дорожных знаков и пешеходов с помощью
нейронных сетей 18
1.2.4 Описание структуры сверточных нейронных сетей 21
1.3 Выводы по первой главе 23
ГЛАВА II МАТЕМАТИЧЕСКИЕ МЕТОДЫ И МОДЕЛИ. АЛГОРИТМЫ РЕШЕНИЯ 24
2.1 Предобработка изображений 24
2.1.1 Оценка уровня шума 25
2.1.2 Оценка уровня резкости 27
2.1.3 Оценка наличия засветки на изображении 29
2.1.4 Оценка уровня контрастности 31
2.1.5. Исследование качества применения фильтров предобработки изображений 32
2.1.6 Алгоритм автоматической фильтрации 35
2.2 Детектирование и распознавание дорожных знаков 36
2.3 Детектирование и распознавание пешеходов и дорожных знаков с
помощью сверточных нейросетей 40
2.4 Выводы по второй главе 40
ГЛАВА III ВЫЧИСЛИТЕЛЬНАЯ РЕАЛИЗАЦИЯ 41
3.1 Общая структура системы машинного зрения 41
3.2 Предобработка изображений 43
3.2.1 Алгоритм автоматической предобработки 43
3.2.2 Основные функции 46
3.3 Детектирование и распознавание дорожных знаков 49
3.4 Детектирование и распознавание пешеходов 52
3.5 Выводы по третьей главе 54
ГЛАВА IV РЕЗУЛЬТАТЫ ИСПОЛЬЗОВАНИЯ И ВНЕДРЕНИЯ 55
4.1 Описание программного обеспечения предобработки изображений .... 55
4.2 Испытания подсистемы предобработки изображений 59
4.3 Испытания подсистемы детектирования и распознавания дорожных
знаков 66
4.4 Испытания подсистемы детектирования и распознавания пешеходов.. 68
4.5 Выводы по четвертой главе 70
ЗАКЛЮЧЕНИЕ 71
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ
Актуальность темы исследования. В современном мире активно внедряется автоматизация во многие области человеческой жизни. Особую роль в автоматизации различных процессов играет машинное зрение. Системы машинного зрения используются в таких областях как контроль качества, системы визуального контроля и безопасности, крупное промышленное производство и во многих других.
В настоящее время активно развивается направление построения ADAS. ADAS - это системы, которые помогают водителю в процессе движения. Различают пять уровней ADAS, где пятый уровень означает полностью беспилотный автомобиль.
Построение подобных систем невозможно без системы машинного зрения, которая позволяет получать информацию об инфраструктуре окружающей среды, такой как дорожные знаки, дорожная разметка и т. д. Помимо детектирования дорожной разметки инфраструктуры важным направлением применения машинного зрения является детектирование машин и пешеходов
Цель работы - разработка системы машинного зрения на базе архитектуры параллельных вычислений на графическом процессоре Jetson TX2
Для достижения данной цели были сформулированы следующие задачи:
1) Исследование и реализация алгоритмов предобработки изображений, получение характеристик «полезности» их использования для решения задач детектирования объектов;
2) Исследование существующих методов машинного зрения для распознавания пешеходов и дорожных знаков, определение проблематики их реализации на вычислительном микромодуле Jetson TX2;
3) Разработка алгоритма автоматической оценки и предобработки изображений для повышения качества детектирования и распознавания объектов;
4) Разработка высокоэффективной реализации алгоритмов распознавания дорожных знаков и пешеходов на базе архитектуры параллельных вычислений CUDA.
Объект исследования - алгоритмы машинного зрения на базе архитектуры параллельных вычислений.
Предмет исследования - подсистемы распознавания дорожных знаков, пешеходов и предобработки изображений, и информационные процессы при их взаимодействии.
Научная новизна - создание многокаскадного алгоритма препроцессинга изображений с использованием автоматической предварительной оценки входного потока информации.
Практическая ценность - разработанная система машинного зрения за счет повышения процента распознавания позволяет значительно повысить безопасность дорожного движения с использованием беспилотных транспортных средств.
Методы исследования:
Для решения поставленных в работе задач были использованы методы распознавания образов и цифровой обработки сигналов, методы фильтрации изображений, численные методы.
Результаты исследования внедрены в профильных НИОКР,
проводимых ПАО «КАМАЗ» и внесены в научно-технический задел по предприятию для создания перспективных ADAS-систем, а также для создания беспилотных транспортных средств.
Результаты исследования, опубликованные в изданиях ВАК:
- Чикрин Д.Е., Малюгина А.А., Державин Д.В., Егорчев А.А. «Автоматическая оценка и предобработка изображений видеопотока для задач машинного зрения» // Современная наука: актуальные проблемы теории и практики. Серия «Естественные и технические науки, №5, 2018.
В рамках данной работы был проведен анализ существующих методов предобработки изображений, получены характеристики «полезности» их использования для решения задач детектирования объектов.
По результатам исследования разработана подсистема предобработки изображений, которая включает в себя алгоритмы оценки качества изображений и алгоритмы фильтрации. На основе данной подсистемы был сформирован алгоритм автоматической фильтрации изображений.
Исследованы существующие методы машинного зрения для распознавания пешеходов и дорожных знаков. На основе проведенного анализа были реализованы соответствующие подсистемы.
Система машинного зрения была протестирована, по результатам тестов было выявлено, что использование алгоритмов предобработки изображений способствует повышению процента распознавания объектов, а система в целом обладает достаточной точностью для применения в практических целях.
Цель работы была достигнута, поставленные задачи были выполнены.
Результаты исследования внедрены в профильных НИОКР, проводимых ПАО «КАМАЗ» и внесены в научно-технический задел по предприятию для создания перспективных ADAS-систем, а также для создания беспилотных транспортных средств.
По теме работы была выпущена одна публикация:
Чикрин Д.Е., Малюгина А.А., Державин Д.В., Егорчев А.А. «Автоматическая оценка и предобработка изображений видеопотока для задач машинного зрения» // Современная наука: актуальные проблемы теории и практики. Серия Естественные и технические науки - статья подписана в печать в .№5 (Июнь 2018 года). Издание входит в перечень ВАК.
1. A. de la Escalera Road Traffic Sign Detection and Classification / A. de la Escalera L. E. Moreno M. A. Salichs J. M. Armingol // IEEE Transactions on Industrial Electronics. - 1997. - 44 Vol. - №6. - С. 848-859.
2. Aoyagi Y. A study on traffic sign recognition in scene image using genetic algorithms and neural networks / Y. Aoyagi T. Asakura // Proceedings of the 1996 IEEE IECON 22nd International Conference on, Taipei. - 1996. - С. 1838-1843.
3. Beghdadi A. Contrast enhancement technique based on local detection of edges / Beghdadi A. Negrate A. L. // Computer Vision, Graphics and Image Processing. - 1989. - 46 Vol. №2 - С. 162-174
4. Birdal T. Sharpness Estimation From Image Gradients // . - 2011. -
5. Broggi A., Cerri P., Medici P., Porta P. P., Ghisio G. // Real Time Road Signs Recognition, Intelligent Vehicles Symposium, 2007 IEEE, Istanbul. - June 2007- pp. 981-986
6. Escalera S. Traffic Sign Classification Using Error Correcting Techniques / S. Escalera P. Radeva O. Pujol // International Conference on Computer Vision Theory and Applications, VISAPP 2007, Barcelona. - 2007 C. 281285.
7. Fang C. Y. An automatic road sign recognition system based on a computational model of human recognition processing / C. Y. Fang C. S. Fuh P. S. Yen S. Cherng S. W. Chen // Computer Vision and Image Understanding. - 2004. - Vol. 96 №2. С. 237-268.
8. Gavrila D. M. Real-time object detection for smart vehicles / D. M. Gavrila and V. Philomin // The Proceedings of the Seventh IEEE International Conference on. - 1999. - C. 87-93.
9. Girshick R. Region-Based Convolutional Networks for Accurate Object Detection and Segmentation [Text] / R. Girshick, J. Donahue, T. Darrell, J. Malik
10. Girshick, R. Fast R-CNN // Computer Vision and Pattern Recognition (CVPR'15). - 2015. - C.9-10.
11. Gordon R. Feature enhancement of film mammograms using fixed and adaptive neighborhoods / Gordon R. Rangayyan R. M. // Applied Optics. - 1984. - 23 Vol. - №4. - С.560-564
12. Gordon R. Feature enhancement of film mammograms using fixed and adaptive neighborhoods / Gordon R. Rangayyan R. M. // Applied Optics. - 1984. - 23 Vol. - №4. - С.560-564
13. Hsu S.H. Road sign detection and recognition using matching pursuit method / S.H. Hsu C.L. Huang // Image and Vision Computing. - 2001. - 19Vol. №3. С. 119-129.
14. Hummel R. Image Enhancement by Histogram Transformation // Computer Vision, Graphics and Image Processing. - 1977. - 6 Vol. - С.184-195 Image Understanding. - 1996. - 2 Vol. - №2. - С.300-302
15. Immerkaer J. Fast Noise Variance Estimation // Computer Vision and
16. Kim. V. Rank algorithms for picture processing / Kim V. Yaroslavsky L. P. // Computer Vision, Graphics and Image Processing. - 1986. - 6 Vol. С.234-258
17. Loy G. Fast Shape-based Road Sign Detection for a Driver Assistance System / G. Loy N. Barnes // International Conference on, Sendai. - 2004. -C. 70-75.
18. Piccioli G. Robust method for road sign detection and recognition / G. Piccioli E. de Micheli P. Parodia M. Campani // Image and Vision Computing. - 1996. - 14 Vol. - №3. С. 209-223.
19. Pizer S. M. Adaptive Histogram Equalization and Its Variations / S. M. Pizer, E. P. Amburn, J. D. Austin // Computer Vision, Graphics and Image Processing. - 1987. - 6 Vol. - С.355-368
20. Redmon, J. You Only Look Once: Unified, Real-Time Object Detection / J. Redmon, S. Divvala, R. Girshick, A. Farhadi // Computer Vision and Pattern Recognition (CVPR'16). - 2016 - С. 9-10.
21.Suzuki S. Topological structural analysis of digitized binary images by border following / S.Suzuki K.Abe // Computer Vision, Graphics, and Image Processing. - 1985. - Vol.30. - №1. С. 32-46