Введение 8
Глава 1. Обзор предметной области 9
1.1. Задача распознавания номерных знаков транспортных
средств 9
1.2. Методы детектирования и распознавания номерных знаков
транспортных средств 9
1.2.1. Алгоритмы для детектирования объектов 9
1.2.2. Алгоритмы машинного обучения для распознавания символов 15
1.3. Использования нейронных сетей для детектирования и
распознавания символов 18
1.4. Обзор существующих реализации для детектирования и
распознавания номерных знаков 22
1.4.1. OpenALPR 22
1.4.2. Plate Recognizer 27
Глава 2.Сбор и подготовка данных 31
2.1. Поиск выборки данных для задачи распознавания номерных
знаков 31
2.2. Изучения структуры веб-сайта avto-nomer для веб-парсинга ....32
2.3. Разработка веб-парсера для скачивания изображений 33
2.4. Запуск веб-парсера и решения проблем 34
2.5 Подготовка данных для обучения нейронных сетей 35
Глава 3. Разработка алгоритмов для детектирования и распознавания номерных знаков 40
3.1 Детектор объектов 40
3.2 Детектор ключевых точек 47
3.3 Распознавание символов 49
3.3.1 Получения дескрипторов областей изображения 51
3.3.2 Обработка последовательности дескрипторов 51
3.3.3 Транскрипция 53
3.4 Архитектура системы детектирования и распознавания
номерных знаков 53
Глава 4. Реализация системы 55
4.1 Детектор объектов 55
4.2. Детектор ключевых точек 57
4.3. Распознавание символов 57
4.4 Компоновка нейронных сетей в единую систему 58
4.5 Серверная обработка видеопотоков 58
Глава 5. Тестирование и анализ результатов 60
5.1 Детектор объектов 60
5.2 Детектор ключевых точек 60
5.3 Распознавание символов 60
5.4 Результаты работы системы 61
ЗАКЛЮЧЕНИЕ 63
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
В настоящее время вычислительная техника активно внедряется в большинство задач, связанных с автомобильным транспортом. Создаются и совершенствуются системы автопилотов, безопасности движения, учета транспортных средств и др. Одной из актуальных задач является задача распознавания номерных знаков автомобилей.
Известны системы распознавания номерных знаков [1, 2]. В них используются ряд методов, позволяющих проводить распознавание знаков. Последовательность применения методов сводится к следующим этапам: улучшение качества потока поступающих с видеокамеры кадров, сегментирование области расположения номерного знака, распознавание с использованием свёрточной нейронной сети. Известен метод использования инфракрасной камеры с подсветкой. Он используется в ГИБДД. Благодаря известным алгоритмам компьютерного зрения, качественным видео и инфракрасным камерам задача распознавания номерных знаков решается достаточно успешно. Однако данные системы хорошо работают в нормальных условиях, но ряд факторов существенно ухудшают качество распознавания. К таким факторам следует отнести отражение солнечного света и яркого света автомобильных фар, движение автомобиля, загрязнение номера, низкое разрешение видеокамеры, погодные условия. Поэтому задача разработки эффективных программных алгоритмов распознавания номерных знаков автомобилей продолжает быть актуальной.
Целью работы является разработка системы детектирования и распознавания номерных знаков транспортных средств с применением нейронных сетей.
В данной работе был разработана система детектирования и распознавания номерных знаков по изображениям.
Во время разработки системы было проанализировано различные методы для детектирования и распознавания номерных знаков, а также различные готовые решения от других разработчиков.
Для обучения системы было собрана больше 100 тысяч изображений с помощью собственного веб-парсера. А набор данных был размечен с помощью метода псевдо-разметки.
Разработанный алгоритм состоит из трёх частей. Сначала происходит детектирования расположения номерного знака с помощью нейронной сети YoloV3, а затем вырезается изображения номерного знака и передается на детектор ключевых точек. Затем мы выравниваем изображения по этим четырем точкам и подаем кадр на нейронную сеть по распознаванию символов(СЯКХ).
Система была разработана на языке Python 3.6. Для обучения и запуска нейронных сетей использовалась библиотека PyTorch, а для работы с изображения библиотека OpenCV. При подготовке данных для работы с большими данных было использована библиотека NumPy. Программа была протестирована на разных видео кадрах и отдельных изображениях. В обычных сценариях эксплуатации, система справилась со всеми примерами.
Чтобы улучшить систему можно предпринять следующие шаги:
• Добавить в выборку данных номерных знак других стран.
• Перевести модели на более низкоуровневые библиотеки для нейронных. сетей
• Переписать систему на С++.
