АННОТАЦИЯ 2
ВВЕДЕНИЕ 6
1 МЕТОДЫ ДЕТЕКТИРОВАНИЯ ПЕШЕХОДОВ В РЕЖИМЕ РЕАЛЬНОГО
ВРЕМЕНИ 8
1.1 Этапы детектирования пешеходов 8
1.2 Компьютерное зрение 10
1.2.1 Метод вычитания фона 11
1.2.2 HOG дескриптор 13
1.2.3 Поиск контуров 18
1.3 Глубокие нейронные сети 20
1.3.1 Алгоритм R-CNN 20
1.3.2 Алгоритм Fast R-CNN 21
1.3.3 Алгоритм Faster R-CNN 23
1.3.4 Алгоритм YOLO 24
1.3.5 Алгоритм YOLOv3-tiny 27
1.3.6 Алгоритм YOLOv3 27
1.3.7 Алгоритм SSD 28
1.3.8 Алгоритм FPN 29
1.4 Выводы по главе 1 31
2 ДЕТЕКЦИЯ ПЕШЕХОДОВ С ПОМОЩЬЮ НЕЙРОННОЙ СЕТИ
YOLOV3 33
2.1 Архитектура нейронной сети 33
2.2 Подготовка данных 34
2.3 Постановка задачи детекции пешеходов 36
2.4 Метрики качества 37
2.4.1 Метрика точности (accuracy) 37
2.4.2 Метрика точности (precision) 38
2.4.3 Метрика полноты 38
2.4.4 Метрика локализации объекта 39
2.5 Обучение сверточной нейронной сети 40
2.5.1 Функции активации 40
2.5.2 Функция потерь 42
2.5.3 Операция свертки 43
2.5.4 Операция субдискретизации (пулинга) 44
2.5.5 Кодировщик. Нейронная сеть DarkNet-53. Декодировщик 45
2.5.6 Метод оптимизации функции потерь 47
2.5.7 Метод обратного распространения ошибки 48
2.6 Выводы по главе 2 52
3 РЕЗУЛЬТАТЫ ДЕТЕКТИРОВАНИЯ, ТРЕКИНГА И ПОДСЧЕТА ПЕШЕХОДОВ В РЕЖИМЕ РЕАЛЬНОГО ВРЕМЕНИ СЕТЬЮ YOLOV3 .... 53
3.1 Конфигурация нейронной сети 53
3.2 Алгоритмы обучения и тестирования нейронной сети YOLOv3 55
3.3 Результаты обучения, полученные метрики 58
3.4 Подсчет пешеходов по всем направлениям дорожного узла 61
3.5 Выводы по главе 3 63
ЗАКЛЮЧЕНИЕ 65
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 67
ПРИЛОЖЕНИЯ 71
ПРИЛОЖЕНИЕ 1 Код нормализации файлов с разметкой 71
ПРИЛОЖЕНИЕ 2 Обучение нейронной сети 75
ПРИЛОЖЕНИЕ 3 Код для запуска работы нейронной сети 91
ПРИЛОЖЕНИЕ 4 Код для подсчета пешеходов 95
Согласно данным Всемирной организации здравоохранения (ВОЗ) на 2015 год, вследствие дорожно-транспортных происшествий (ДТП) ежегодно погибают более 1,25 миллиона человек (186 тысяч из них дети). От 20 млн. до 50млн. получают различные травмы [1]. Ежедневно погибают более 3 тысяч человек и около 100 тысяч получают серьезные травмы. Этот показатель практически не меняется с 2007 года.
Основной причиной смерти людей от 15 до 29 лет являются дорожные аварии. Наибольший процент смертности наблюдается среди мотоциклистов (23% всех случаев смерти в результате ДТП), пешеходов (22%) и велоси-педистов (4%). В 90% случаев ДТП со смертельным исходом происходит в странах с низким и средним уровнем дохода.
В России по статистике Министерства внутренних дел (МВД) в 2018 году произошло 168 тысяч ДТП с пострадавшими [2]. Из них 50 тысяч с участием пешеходов. Каждое девятое ДТП закончилось смертельным исхо-дом. За год на дорогах страны погибло около 18 тысяч человек. Еще 215 тысяч человек получили различные травмы.
Сравнивая статистику ДТП с участием пешеходов, согласно данным МВД, за первое полугодие 2019 года произошло 20,4 тыс. ДТП (21,2 тысячи за аналогичный период 2018-го), в которых погибли 1775 человек (1969 жертв в 2018-м) и пострадали свыше 19,4 тыс. (почти 20,1 тысяч в 2018-м).
И несмотря на то, что показатель числа ДТП уменьшается, решение вопроса о снижении числа транспортных происшествий остается актуальным. В городах увеличивается количество машин, происходит рост числа насе-ления, в следствие чего возникает необходимость оценить загруженность пешеходных переходов, что приведет к решению проблем на дорогах, а также сокращению числа аварий с участием пешеходов. Развитие компьютерного зрения дает возможность решить поставленную задачу. Хорошо в решении данной задачи зарекомендовали себя искусственные нейронные сети (ИНС).
Целью данной работы является разработка модели ИНС, которая в режиме реального времени обнаруживает и ведет подсчет пешеходов в каждом направлении дорожного узла.
Для достижения данной цели необходимо решить следующие задачи:
1) проанализировать существующие подходы к решению задачи распоз¬навания пешеходов;
2) разработать математическую модель ИНС;
3) проанализировать, собрать и подготовить данные для обучения ИНС;
4) проверить работу ИНС в дорожных узлах в режиме реального времени.
Цель данной работы заключалась в разработке модели искусственной нейронной сети, которая в режиме реального времени обнаруживает и ведет подсчет пешеходов в каждом направлении дорожного узла.
В ходе работы задача обнаружения пешеходов была сформулирована, как задача детекции объектов (пешеходов) на изображении, рассмотрены различные подходы к ее решению, которые подразделяются на две основные группы - методы из области компьютерного зрения и глубокие нейронные сети. Была выбрана нейронная сеть YOLOv3 для решения поставленной задачи.
Также была составлена математическая модель и разработана архи-тектура для решения задачи детекции пешеходов. Были приведены метрики качества и функция потерь, которые позволяют определить точность работы YOLOv3. В качестве алгоритма обучения выбран метод обратного распространения ошибки с применением оптимизации функции потерь методом ускоренного градиента Нестерова .
Для сбора данных для обучения за внимание были взяты 7 камер различных дорожных узлов. С них было собрано около 7000 изображений, на которых размечен каждый из пешеходов. После дальнейших преобразований, путем аугментации, число изображений выросло до 84 000. Среди них 16 800 изображения представляют собой валидационную выборку, оставшиеся - тренировочную. Подготовка данных осуществлялась с помощью платформы Sypervisely.
В качестве фреймворка для обучения использовался DarkNet. Это фреймворк с открытым исходным кодом, написанный на языке Си. В качестве среды разработки использовался PyCharm c применением языка програм-мирования Python 3.6.
Для проведения анализа точности работы нейронной сети были использованы метрики качества, такие как - локализация объекта (IoU), точность (accuracy), точность (precision), полнота (recall), также визуализируется матрица ошибок.
Был подробно описан процесс подсчета пешеходов на каждом из пешеходных переходов. Приведены графики точности подсчета для каждой зоны, соответствующей пешеходному переходу, из которых впоследствии можно увидеть загруженность каждого участка.
Таким образом, цель достигнута, а поставленные задачи - полностью решены. Разработанная архитектура нейронной сети успешно внедрена и используется в проекте «Умный город» (подразделение «Умный транспорт») для обнаружения и подсчета пешеходов по всем направлениям дорожного узла.
В связи со стремительным развитием области нейронных сетей и появлением новых современных решений целью дальнейшей работы может стать исследование новых архитектур и подходов к решению задачи детекции пешеходов.
