ВВЕДЕНИЕ 5
1 АНАЛИЗ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ РЕШЕНИЯ ЗАДАЧ
КЛАССИФИКАЦИИ И ЛОКАЛИЗАЦИИ 7
1.1 Метрики оценки качества сверточных нейронных сетей 7
1.1.1 Т очность и полнота 7
1.1.2 График Точности и Полноты 8
1.1.3 Метрика степени пересечения областей на изображении «IoU» 9
1.1.4 Метрика оценки качества ранжирования «mAP» 10
1.2 Детектирование объектов на основе сверточных нейронных сетей YOLO 11
1.2.1 Архитектура сети YOLO 11
1.2.2 Архитектура сети YOLOv2 14
1.2.3 Архитектура сети YOLOv3 16
1.3 Детектирование объектов на основе сверточной нейронной сети
RetinaNet 18
1.3.1 Функция потерь Focal loss 18
1.3.2 Функциональная пирамидальная сеть 19
1.3.3 Архитектура сети RetinaNet 20
1.5 Выводы по главе 27
2 ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ СВЕРТОЧНЫХ НЕЙРОННЫХ
СЕТЕЙ ПРИ РЕШЕНИИ ЗАДАЧИ ДЕТЕКТИРОВАНИЯ ОБЪЕКТОВ 28
2.1 Метод обучения нейронных сетей на основе подхода «Transfer learning» 28
2.2 Постановка задачи 29
2.3 Сравнительный анализ эффективности сверточных нейронных сетей .. 31
2.4 Определение расстояния до детектируемых объектов при помощи
контроллера Kinect v2 33
2.4.1 Построение карты глубин 33
2.4.2 Совмещение детектора для задачи классификации и локализации c
игровым контроллером Kinect v2 34
2.5 Вывод по главе 37
ЗАКЛЮЧЕНИЕ 38
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
Актуальность. Компьютерное зрение - область научных и прикладных исследований, направленных на извлечение и последующее использование информации об объектах внешнего мира, полученной из изображений. Первоначальной задачей компьютерного зрения было восстановление пространственной структуры объекта (3D) по плоским изображениям (2D). Затем, данная задача была расширена в сторону анализа состояния объекта по изображениям
Задачи компьютерной обработки и анализа изображений открывают широкие перспективы автоматизации многих сфер человеческой деятельности. Новые подходы в области задачах классификации, локализации, сегментации объектов берут в курс в сторону быстродействия и точности, что позволяет создавать системы распознавания в режиме реального времени. Усовершенствование быстродействия таких подходов позволяет создать различные системы распознавания, что делает возможным их применение в таких сферах жизни, как маркетинг, где, например, такие подходы используются для поиска определенного бренда одежды, идентификации правонарушителей системой городского видеонаблюдения, диагностики раковых заболеваний на снимках КТ и МРТ в медицине. Также подходы в решении задач классификации и локализации активно используются в робототехнике, например, для использование летательных и сухопутных дронов для анализа энергосетей в труднодоступных для человека местах.
Целью магистерской диссертации является оценка эффективности сверточных нейронных сетей, а также разработка интеллектуальной системы для определения расстояния до детектированных при помощи сверточных нейронных сетей объектов.
Для достижения поставленной цели необходимо решить следующие задачи:
Обзор современных источников литературы по основной теме исследования.
Подготовка данных для обучения сверточных нейронных сетей посредством аннотирования изображений.
Обучение разных архитектур сверточных нейронных сетей и определение их эффективности.
Разработка интеллектуальной системы определения расстояния до локализированных объектов на основе стереокамеры.
Научная новизна заключается в разработке интеллектуальной системы определения расстояния до локализированных объектов на основе методов глубокого обучения, а также использования стереокамеры.
Апробация и публикации. В процессе работы над магистерской диссертацией была опубликована статья:
- в сборнике VI Международной научной конференции «Актуальные проблемы авиации и космонавтики» (г. Красноярск, 2020).
Первым этапом выполнения работы было исследование предметной области. Были рассмотрены архитектуры сверточных нейронных сетей для задачи классификации и локализации YOLO и RetinaNet, а также способы оценки их эффективности.
Вторым этапом выполнения работы был поиск соответствующих фреймворков для обучения на данных о цветах, находящихся в открытом доступе, обучение архитектур сверточных нейронных сетей, а также оценка эффективности распознавания и быстродействия. До начала обучения данные были предварительно обработаны путем аннотирования каждого из изображений. Более точным подходом оказалась архитектура RetinaNet, в то время как обе модели YOLO превосходили по скорости быстродействия.
Последним этапом выполнения работы была разработка интеллектуальной системы определения расстояния по визуальным данным, путем совмещения работы совмещения разных архитектур детекторов, а также бесконтактного игрового контролера Kinect v2. В работе продемонстрирована работа системы и показаны выявленные минусы данного подходы, избавиться от которых можно перейдя от задачи локализации к задаче сегментации изображения.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
