Введение 3
Постановка задачи 4
Обзор литературы 6
Глава 1. Подготовка базы изображений 11
1.1 База изображений «CelebA» 11
1.2 База видео «ChokePoint» 11
1.3 База изображений «MaskTheFace» 12
1.4 База изображений «WIDER Face Training Images» 13
Глава 2. Тестирование методов распознавания лиц 14
Глава 3. Тестирование методов детектирования лиц 17
Глава 4. Определение качества изображения 20
Глава 5. Тестирование методов трекинга 21
Глава 6. Объединение методов 23
Выводы 26
Заключение 27
Список использованной литературы 28
В настоящее время широко распространено внедрение технологий идентификации и трекинга лиц. Системы распознавания лиц используются для борьбы с преступностью, усиления безопасности на объектах, ускорения пропускного контроля. Кроме того, в настоящее время происходит внедрение системы распознавания лиц для оплаты проезда в общественном транспорте.
Данная область активно развивается и появляются новые методы. Применение наиболее эффективной комбинации методов детектирования, распознавания и трекинга при построении единой целостной системы позволит реализовать процесс идентификации людей в реальном времени и применять построенную систему для решения большого круга задач.
Постановка задачи
Дана последовательность кадров видеопотока sl,i = 1,2,... фиксированного размера, не менее чем 160x160.
Требуется обнаружить лица на изображениях, выделить их прямоугольной областью и осуществить распознавание лиц.
Необходимо реализовать трекинг лиц, что может позволить минимизировать вычислительные затраты, так как не потребуется повторно осуществлять распознавание лиц. Для каждого найденного лица на изображении должен быть поставлен в соответствие идентификатор трекинга отслеживаемого лица. Для каждого нового кадра найденные ограничивающие лица прямоугольники должны быть поставлены в соответствие уже существующим идентификаторам трекинга или должны быть созданы новые идентификаторы для отслеживания новых целей.
Предварительно необходимо получить и сохранить векторы признаков vJ',j = 1,2,... для всех шаблонных изображений. Распознавание должно быть
осуществлено путем выделения вектора признаков v*, последующего сравнения и* с помощью евклидовой метрики расстояния с векторами uJ ,j = 1,2,..., хранящимися в базе. Если наименьшее из расстояний d* = min(d7') = Хк|^**-ц^|2] /
найденный объект должен считаться соответствующим вектору и1. Если d* будет более заданного порога, то вектор и* следует считать соответствующим «самозванцу».
Для улучшения качества распознавания лиц возможно проводить распознавание только на тех кадрах sl, где лицо приближено к расположению анфас. Для этого могут быть вычислены углы Эйлера для поворота головы. Кадр потока следует считать допустимым, если угол поворота не превосходит заранее заданного допустимого угла. Допустимым углом Эйлера при этом можно считать 15 градусов относительно положения анфас.
Поставленная задача может быть разделена на следующие этапы.
1. Подготовка базы изображений.
2. Исследование и тестирование методов распознавания лиц.
3. Исследование и тестирование методов детектирования лиц.
4. Добавление функциональности для определения угла поворота головы и прекращения обработки изображения до выполнения распознавания лица при повороте головы более чем на 15 градусов относительно положения анфас.
5. Исследование и тестирование методов трекинга лиц.
6. Выбор методов детектирования, распознавания и трекинга лиц.
7. Реализация системы распознавания и трекинга лиц.
В результате выпускной квалификационной работы:
• подготовлена база изображений для тестирования методов, которая содержит как статические изображения, так и поток кадров;
• рассмотрены существующие методы детектирования, распознавания и трекинга лиц;
• подготовлена тестовая среда с использованием языка программирования Python 3;
• проведено тестирование двух библиотек распознавания лиц на базе изображений и выбрана библиотека facenet-pytorch, использование которой помогло достигнуть более качественных результатов;
• проведено сравнение качества детектирования для двух методов: SSD в реализации библиотеки OpenCV и MTCNN в реализации библиотеки facenet-pytorch и по результатам тестирования на 1000 изображениях из базы «WIDER Face Training Images» для дальнейшего рассмотрения выбрана нейронная сеть MTCNN;
• написана программа на языке программирования Python 3 для определения угла поворота лица;
• проведено тестирование методов трекинга SORT и ByteTrack на потоке кадров и метод ByteTrack был выбран для дальнейшего применения в рамках системы трекинга и распознавания лиц;
• выбранные методы объединены в общую систему и измерено среднее время обработки потока кадров при использовании метода трекинга и без его использования.
