Введение 5
1. Постановка задачи 7
2. Обзор предметной области 8
2.1. Криминалистические факторы 8
2.2. Обзор открытых наборов данных для гендерной классификации 9
2.2.1. VGGFace2 9
2.2.2. DiF 10
2.2.3. IMDb-WIKI 11
2.2.4. Unfiltered faces for gender and age classification . . 12
2.2.5. FairFace 13
2.3. Обзор существующих алгоритмов гендерной классификации 13
2.3.1. Gil Levi and Tal Hassner model trained on Adience 14
2.3.2. VGG-Face model fine-tuned on IMDb-Wiki 15
2.3.3. FairFace 15
2.4. Выводы из обзора предметной области 15
3. Наборы данных для обучения и тестирования алгоритма 17
3.1. Набор данных для обучения 17
3.2. Тестирующий набор данных 18
4. Алгоритм гендерной классификации 20
4.1. Архитектура EfficientNet 20
4.2. Обучение на подготовленном наборе данных 21
5. Анализ работы алгоритмов 23
5.1. Качественная характеристика работы алгоритмов .... 23
5.2. Скорость работы алгоритмов на CPU 25
5.3. Анализ результатов 26
5.4. Примеры работы построенного алгоритма 26
6. Интеграция в продукт BelkaSoft Evidence Center X
Заключение
Список литературы
Компьютерная криминалистика - это прикладная наука о раскрытии преступлений, связанных с компьютерной информацией, об исследовании цифровых доказательств, методах поиска, получения и закрепления таких доказательств. С развитием технологического прогресса компьютерная криминалистика оказывается все более востребованной, так как постоянно растет число различных цифровых носителей: персональных компьютеров, смартфонов, систем видеонаблюдения, планшетов и т.д.
Цифровые источники фотографий (камеры видеонаблюдения, веб-камеры, смартфоны, фотоаппараты) особо интересны криминалистам, так как с помощью этих изображений можно получить визуальную ин-формацию о совершенном преступлении. В частности, с помощью городских камер видеонаблюдения можно оперативно установить место-нахождение подозреваемого.
Данных с таких источников может быть очень много, и становится необходимым автоматизировать процесс обработки поступающих изображений. Выделим следующий ряд задач: автоматическое обнаружение лиц людей на фотографиях, кластеризация лиц, получение информации о человеке (гендер и возраст). При этом успешное автоматическое определение пола человека по его фотографии существенно ускоряет процесс анализа имеющихся фотографий.
Фотографии, полученные с камер видеонаблюдения, смартфонов и других цифровых источников, в контексте решения криминалистических задач характеризуются особыми факторами (т.н. криминалистическими факторами), которые значительно усложняют автоматизацию обработки и классификации фотографий. Подробно о криминалистических факторах будет рассказано в главе 2.1. Однако, большинство существующих алгоритмов гендерной классификации создавались для статичных, хорошо освещенных портретных фотографий, не обладающих остальными криминалистическими факторами. Также криминалистов интересует фактор скорости работы алгоритма гендерной классификации, т.к. время обработки фотографий или видеосъемки может быть ограничено жесткими рамками вследствие необходимости быстрого реагирования на преступление. Наконец, важным этапом является поиск аналогов данного изображения в большом объеме фотоматериалов.
В соответствии с вышеперечисленным возникает цель данного исследования - составить такой алгоритм, который бы справлялся с за-дачей гендерной классификации в рамках сферы компьютерной криминалистики.
В ходе выполнения работы были получены следующие результаты.
• Рассмотрены наиболее актуальные для исследования существующие наборы данных (VGGFace2, DiF, IMDb-WIKI, Adience, Fairface) и алгоритмы (Gil Levi and Tal Hassner model, VGG-Face, FairFace).
• Создан набор данных для обучения алгоритма гендерной классификации, основанный на наборе данных WiderFaces, включающий 12620 лиц людей и удовлетворяющий приведенным криминалистическим факторам. В качестве тестирующего набора данных был собран набор фотографий с камер видеонаблюдения в метро и на улицах, фотографий со смартфонов, а также специально подготовленных фотографий людей в масках и с нанесенным макияжем.
• Создан алгоритм машинного обучения для задачи гендерной классификации на основе архитектуры EfficientNet, получены метрики (recall, precision, F1-мера) на тестовой части обучающего множества.
• Созданный алгоритм был сопоставлен по качеству и скорости работы со следующими существующими алгоритмами: Gil Levi and Tal Hassner model, VGG-Face, FairFace. Созданный алгоритм показывает наивысшие результаты по качеству работы с метрикой F1-мера 0.9, а также является одним из самых быстрых алгоритмов по скорости работы со скоростью обработки фотографии на CPU 0.28 сек.
• Разработанный алгоритм гендерной классификации интегрирован в продукт BelkaSoft Evidence Center.
• Исходный код исследования, а также построенные наборы данных доступны по ссылке11.
11https://github.com/Feodoros/ForensicGenderSex, дата обращения: 25.04.2021
• Создано Python-решение, а также десктопное приложение (плат-форма .NET) для тестирования построенного алгоритма. Решения доступны по ссылке .
