Введение 3
Глава I. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ 5
1.1 Область применения компьютерного зрения 5
1.2 Анализ аналогов систем содействия водителю - ADAS 6
1.2.1 Система содействия водителю компании Nissan 7
1.2.2 Функция полуавтоматического вождения компании Tesla 8
1.2.3 Беспилотный автомобиль компании Google 9
1.3 Постановка задачи 10
1.4 Задача распознания дорожной сцены в компьютерном зрении 12
1.5 Ошибки детектирования 14
Глава II. РАЗРАБОТКА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ДОРОЖНОЙ СЦЕНЫ 22
2.1 Выбор библиотек разработки 22
2.2 Нейронные сети для детектирования окружающих объектов 24
2.3 Приемы, применяемые при построении нейронной сети 30
2.3.1 Оптимизаторы сети 30
2.3.2 Батч-нормализация (batch normalization) 31
2.3.3 Ранняя остановка 32
2.4 Архитектуры сверточных нейронных сетей 37
2.4.1 Google Inception v3 43
2.4.2 ResNet101 46
2.4.3 Inception-ResNet-v2 49
2.5 Виртуальные среды в глубоком обучении 52
Глава III. ПРОЕКТИРОВАНИЕ И РАЗРАБОТКА ПРОГРАММНОГО СРЕДСТВА 56
3.1 Требования, предъявляемые к программному средству 56
3.2 Детектор дорожной полосы 57
3.3 Обучающая выборка 67
3.4 Детектор объектов 68
3.5 Структура программного средства 71
3.6 Интерфейс пользователя 77
Глава IV. ПРОВЕДЕНИЕ ТЕСТОВЫХ ИСПЫТАНИЙ 81
4.1 План тестирования 81
4.2 Программа и методика испытаний 81
4.3 Результаты работы приложения 83
ЗАКЛЮЧЕНИЕ 86
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 88
ПРИЛОЖЕНИЕ 91
Сегодня системы фотонаблюдения и видеонаблюдения встречаются повсеместно, они активно используются для решения задач, как повседневной жизни, так и военного назначения. В связи с этим встает задача хранения и обработки, полученной от таких систем информации, которая может быть представлена в виде изображений или видеоданных. Эту задачу решает новая технология - компьютерное зрение.
Компьютерное зрение - это теория и технология, с помощью которой возможно получать информацию из изображений или видеоданных. Одна из задач, решаемых этой предметной областью - обнаружение объектов на изображении. На данную тему написано множество работ, однако до сих пор нет универсального аналитического решения, каждая из работ отталкивается от определенных условий: освещенность, класс объекта, область применения и другое. На сегодняшний день компьютерное зрение как наука находится на начальном этапе своего становления, машины еще не способны анализировать изображения и извлекать из них ту же информацию, что и человек: детектировать все объекты и определять класс объекта. Однако, несмотря на это компьютерное зрение уже востребовано в различных областях, таких как контроль производственных процессов, робототехника, исследование Земли из космоса, медицина. Компьютерное зрение также активно применяется в системах, встраиваемых в автотранспортные средства с целью анализа дорожного движения. Задача таких систем - помогать водителю автотранспорта своевременно реагировать на возникшее на пути препятствие, и таким образом, снизить число аварий.
Подобные системы называются Advanced Driver Assistance Systems (далее - ADAS), что переводится как современные системы содействия водителю. Системы содействия водителю можно разделить на два типа. Первые выполняют функции, помогающие водителю избежать аварии, то есть предоставляют активную безопасность. Вторые системы помогают только уменьшить последствия аварии, то есть обеспечивают пассивную безопасность. Все больше автопроизводителей встраивают такие системы в новые модели, чтобы сделать вождение более удобным и безопасным.
Разработка высокотехнологичных средств для предотвращения дорожно-транспортных происшествий является одной из самых перспективных и эффективных мер по сокращению количества автомобильных аварий, что доказывает актуальность данной задачи.
Цель исследования - разработка и реализация современной системы содействия водителю автомобиля, распознающую дорожную сцену, её имплементация и исследование применительно к задаче детектирования объектов на кадре видеоряда, полученного с движущегося автотранспортного средства в реальном времени.
Объектом исследования являются изображения, полученные из видеоряда с бортовой камеры автотранспорта в процессе его движения.
Предметом исследования являются алгоритмы и инструменты детектирования объектов на изображении.
Задачи исследования:
• Изучение литературы по глубокому обучению, сверточным нейронным сетям, машинному обучению, обработке изображений, обработке видео, методам поиска объектов на видео и изображении;
• Исследование алгоритмов для детектирования объектов;
• Разработка модели системы содействия водителю автомобиля;
• Реализация компьютерной программы по разработанной модели;
• Проведение экспериментального исследования влияния параметров модели на её точность и время отклика.
Цель данной работы - на основе исследования методов и алгоритмов нахождения объектов на видеопоследовательностях осуществить разработку современной системы содействия водителю автомобиля и реализующего её программного средства детектирования окружающих объектов с движущегося автотранспортного средства в реальном времени.
В первом разделе работы были рассмотрены история развития предметной области - компьютерное зрение, аналоги решаемой задачи - это системы содействия водителю (ADAS), поставлена задача исследования, а также было определено понятие ошибки детектирования.
Во втором разделе было проведено исследование существующих нейросетевых алгоритмов обнаружения окружающих объектов. Были выбраны библиотеки разработки, изучены приемы, применяемые при построении нейронных сетей, а также рассмотрены лучшие современные архитектуры сверточных нейронных сетей Google Inception v3, ResNet101 и Inception-ResNet- v2. Также была раскрыта тема применения виртуальных сред для обучения и тестирования моделей компьютерного зрения.
В третьем разделе были выдвинуты требования, предъявляемые к программному средству. С помощью методов компьютерного зрения был разработан детектор дорожной полосы, а благодаря библиотеки TensorFlow Object API был реализован детектор объектов обеспечивающий правильный баланс скорости и точности. Проведен сравнительный анализ глубоких сетей. По итогам исследования было выявлено, что наилучшие результаты достигаются на сверхглубоких сетях архитектуры ResNet. Детектор основанный на структуре Faster R-CNN + ResNet101 занял 18 место в рейтинге COCO Detection Challenge
2017. Также в разделе описана компьютерная модель программного средства, реализующего разработанный алгоритм, в него входит описание структуры и пользовательского интерфейса.
Четвертый раздел содержит описание тестовых испытаний. В нем приведены примеры результатов работы программного средства на множестве видеорядов. Во-первых, это видеоролики из реального мира (видео из интернета, видеозаписи с видеорегистратора), а во-вторых - это видеопоследовательности, полученные из виртуального мира GTA V. Были подсчитаны количественные метрики оценки качества работы разработанной системы содействия водителю автомобиля: общая производительность и частная производительность.
Тестирование показало, что программное средство более успешно работает на видеопоследовательностях с видеорегистратора, этот результат является верным, так как обучающая выборка, на которой обучена сверточная нейронная сеть, включает в себя изображения сложных повседневных сцен, содержащих объекты в естественной среде. Полученные значения метрик для видеоряда с видеорегистратора 91 % точности и 166 мс на обработку одного кадра, что является отличным результатом.
Существует несколько подходов, которые позволили бы достичь ещё лучших результатов. Для обнаружения съезда с дорожной полосы - применение сверточных нейронных сетей для сегментации дорожного полотна и дальней обработки. Применение сенсорных систем (LIDAR, RADAR и т.д.) для обнаружения возможных столкновений.
Также из направлений возможных дальнейших исследований можно выделить улучшение качества детектирования алгоритма, то есть увеличение значений метрик; добавление в алгоритм возможности параллельной обработки нескольких видеопоследовательностей, например, с камер, расположенных на разных сторонах автомобиля, что даст возможность контролировать большую площадь вокруг автотранспортного средства.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
