ВВЕДЕНИЕ 4
ГЛАВА I ОБЗОР ПРОБЛЕМАТИКИ. ПОСТАНОВКА ЗАДАЧ 7
1.1 Предобработка изображений 7
1.2 Детектирование и распознавание пешеходов и дорожных знаков 12
1.2.1 Детектирование дорожных знаков 12
1.2.2 Распознавание дорожных знаков 15
1.2.3 Распознавание дорожных знаков и пешеходов с помощью
нейронных сетей 18
1.2.4 Описание структуры сверточных нейронных сетей 21
1.3 Выводы по первой главе 23
ГЛАВА II МАТЕМАТИЧЕСКИЕ МЕТОДЫ И МОДЕЛИ. АЛГОРИТМЫ РЕШЕНИЯ 24
2.1 Предобработка изображений 24
2.1.1 Оценка уровня шума 25
2.1.2 Оценка уровня резкости 27
2.1.3 Оценка наличия засветки на изображении 29
2.1.4 Оценка уровня контрастности 31
2.1.5. Исследование качества применения фильтров предобработки изображений 32
2.1.6 Алгоритм автоматической фильтрации 35
2.2 Детектирование и распознавание дорожных знаков 36
2.3 Детектирование и распознавание пешеходов и дорожных знаков с
помощью сверточных нейросетей 40
2.4 Выводы по второй главе 40
ГЛАВА III ВЫЧИСЛИТЕЛЬНАЯ РЕАЛИЗАЦИЯ 41
3.1 Общая структура системы машинного зрения 41
3.2 Предобработка изображений 43
3.2.1 Алгоритм автоматической предобработки 43
3.2.2 Основные функции 46
3.3 Детектирование и распознавание дорожных знаков 49
3.4 Детектирование и распознавание пешеходов 52
3.5 Выводы по третьей главе 54
ГЛАВА IV РЕЗУЛЬТАТЫ ИСПОЛЬЗОВАНИЯ И ВНЕДРЕНИЯ 55
4.1 Описание программного обеспечения предобработки изображений .... 55
4.2 Испытания подсистемы предобработки изображений 59
4.3 Испытания подсистемы детектирования и распознавания дорожных
знаков 66
4.4 Испытания подсистемы детектирования и распознавания пешеходов.. 68
4.5 Выводы по четвертой главе 70
ЗАКЛЮЧЕНИЕ 71
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ И ЛИТЕРАТУРЫ
Актуальность темы исследования. В современном мире активно внедряется автоматизация во многие области человеческой жизни. Особую роль в автоматизации различных процессов играет машинное зрение. Системы машинного зрения используются в таких областях как контроль качества, системы визуального контроля и безопасности, крупное промышленное производство и во многих других.
В настоящее время активно развивается направление построения ADAS. ADAS - это системы, которые помогают водителю в процессе движения. Различают пять уровней ADAS, где пятый уровень означает полностью беспилотный автомобиль.
Построение подобных систем невозможно без системы машинного зрения, которая позволяет получать информацию об инфраструктуре окружающей среды, такой как дорожные знаки, дорожная разметка и т. д. Помимо детектирования дорожной разметки инфраструктуры важным направлением применения машинного зрения является детектирование машин и пешеходов
Цель работы - разработка системы машинного зрения на базе архитектуры параллельных вычислений на графическом процессоре Jetson TX2
Для достижения данной цели были сформулированы следующие задачи:
1) Исследование и реализация алгоритмов предобработки изображений, получение характеристик «полезности» их использования для решения задач детектирования объектов;
2) Исследование существующих методов машинного зрения для распознавания пешеходов и дорожных знаков, определение проблематики их реализации на вычислительном микромодуле Jetson TX2;
3) Разработка алгоритма автоматической оценки и предобработки изображений для повышения качества детектирования и распознавания объектов;
4) Разработка высокоэффективной реализации алгоритмов распознавания дорожных знаков и пешеходов на базе архитектуры параллельных вычислений CUDA.
Объект исследования - алгоритмы машинного зрения на базе архитектуры параллельных вычислений.
Предмет исследования - подсистемы распознавания дорожных знаков, пешеходов и предобработки изображений, и информационные процессы при их взаимодействии.
Научная новизна - создание многокаскадного алгоритма препроцессинга изображений с использованием автоматической предварительной оценки входного потока информации.
Практическая ценность - разработанная система машинного зрения за счет повышения процента распознавания позволяет значительно повысить безопасность дорожного движения с использованием беспилотных транспортных средств.
Методы исследования:
Для решения поставленных в работе задач были использованы методы распознавания образов и цифровой обработки сигналов, методы фильтрации изображений, численные методы.
Результаты исследования внедрены в профильных НИОКР,
проводимых ПАО «КАМАЗ» и внесены в научно-технический задел по предприятию для создания перспективных ADAS-систем, а также для создания беспилотных транспортных средств.
Результаты исследования, опубликованные в изданиях ВАК:
- Чикрин Д.Е., Малюгина А.А., Державин Д.В., Егорчев А.А. «Автоматическая оценка и предобработка изображений видеопотока для задач машинного зрения» // Современная наука: актуальные проблемы теории и практики. Серия «Естественные и технические науки, №5, 2018.
В рамках данной работы был проведен анализ существующих методов предобработки изображений, получены характеристики «полезности» их использования для решения задач детектирования объектов.
По результатам исследования разработана подсистема предобработки изображений, которая включает в себя алгоритмы оценки качества изображений и алгоритмы фильтрации. На основе данной подсистемы был сформирован алгоритм автоматической фильтрации изображений.
Исследованы существующие методы машинного зрения для распознавания пешеходов и дорожных знаков. На основе проведенного анализа были реализованы соответствующие подсистемы.
Система машинного зрения была протестирована, по результатам тестов было выявлено, что использование алгоритмов предобработки изображений способствует повышению процента распознавания объектов, а система в целом обладает достаточной точностью для применения в практических целях.
Цель работы была достигнута, поставленные задачи были выполнены.
Результаты исследования внедрены в профильных НИОКР, проводимых ПАО «КАМАЗ» и внесены в научно-технический задел по предприятию для создания перспективных ADAS-систем, а также для создания беспилотных транспортных средств.
По теме работы была выпущена одна публикация:
Чикрин Д.Е., Малюгина А.А., Державин Д.В., Егорчев А.А. «Автоматическая оценка и предобработка изображений видеопотока для задач машинного зрения» // Современная наука: актуальные проблемы теории и практики. Серия Естественные и технические науки - статья подписана в печать в .№5 (Июнь 2018 года). Издание входит в перечень ВАК.
