Помощь студентам в учебе
Программная реализация и анализ эффективности моделей сверточных нейронных сетей YOLO для решения задач классификации объектов на изображениях
|
Введение 11
1 Задачи детектирования объектов на изображениях с помощью моделей
СНС 13
1.1 Детектирование летающих объектов на изображениях 13
1.2 Однофазные и двухфазные детекторы объектов на изображениях 14
2 Постановка задачи исследований 19
2.1 Требования к моделям СНС для детектирования летающих объектов 19
2.2 Цель работы и решаемые задачи 20
3 Выбор компактных моделей семейства YOLO 22
3.1 Сравнительный анализ моделей семейства YOLO 22
3.2 Подходы к обнаружению мелких объектов на изображениях 26
3.3 Анализ компактных моделей СНС 28
3.3.1 Модель СНС YOLO Nano 29
3.3.2 Архитектура модели СНС YOLOv4-Tiny 32
3.3.3 Архитектура модели СНС YOLOv5 33
3.3.4 Архитектура модели СНС YOLOv7 36
4 Подготовка датасета 41
5 Программная реализация компактных моделей СНС и особенности их
обучения 45
5.1 Общие положения 45
5.2 Особенности разработки и обучения моделей СНС семейства YOLO 46
6 Результаты обучения и исследования компактных моделей СНС семейства
YOLO 48
6.1 Результаты обучения компактных моделей СНС 48
6.2 Результаты исследования компактных моделей СНС 52
7 Оценка коммерческого потенциала и перспективности проведения научных
исследований с позиции ресурсоэффективности и ресурсосбережения 57
7.1 Потенциальные потребители результатов исследования 57
7.2 Анализ конкурентных технических решений 57
7.3 Технология QuaD 59
7.4 SWOT-анализ .60
7.5 Структура работ в рамках научного исследования 61
7.6 Определение трудоемкости выполнения работ 62
7.7 Разработка графика проведения научного исследования 63
7.8 Бюджет научно-технического исследования 65
7.8.1 Расчет затрат на специальное оборудование для научных
(экспериментальных) целей 65
7.8.2 Основная заработная плата исполнителей темы .66
7.8.3 Дополнительная заработная плата исполнителей темы 68
7.8.4 Отчисления во внебюджетные фонды (страховые отчисления) 69
7.8.5 Накладные расходы .70
7.8.6 Формирование бюджета затрат научно-исследовательского проекта 71
7.8.7 Определение ресурсной (ресурсосберегающей), финансовой,
бюджетной, социальной и экономической эффективности исследования .71
7.9 Определение потенциального эффекта исследования .74
8 Социальная ответственность .77
8.1 Правовые и организационные вопросы обеспечения безопасности 78
8.1.1 Правовые нормы трудового законодательства .78
8.1.2 Организационные мероприятия при компоновке рабочей зоны 78
8.2 Производственная безопасность .79
8.2.1 Вредные производственные факторы 80
8.2.1.1 Нагрузка на зрительный аппарат 80
8.2.1.2 Отсутствие или недостаток необходимого искусственного освещения
и пониженная световая и цветовая контрастность 81
8.2.1.3 Умственное перенапряжение, в том числе вызванное информационной
нагрузкой .82
8.2.2 Опасные производственные факторы 83
8.3 Экологическая безопасность 84
8.4 Безопасность в чрезвычайных ситуациях 84
8.5 Вывод по разделу 86
Заключение 88
Список публикаций .90
Список источников 91
Приложение А 96
1 Задачи детектирования объектов на изображениях с помощью моделей
СНС 13
1.1 Детектирование летающих объектов на изображениях 13
1.2 Однофазные и двухфазные детекторы объектов на изображениях 14
2 Постановка задачи исследований 19
2.1 Требования к моделям СНС для детектирования летающих объектов 19
2.2 Цель работы и решаемые задачи 20
3 Выбор компактных моделей семейства YOLO 22
3.1 Сравнительный анализ моделей семейства YOLO 22
3.2 Подходы к обнаружению мелких объектов на изображениях 26
3.3 Анализ компактных моделей СНС 28
3.3.1 Модель СНС YOLO Nano 29
3.3.2 Архитектура модели СНС YOLOv4-Tiny 32
3.3.3 Архитектура модели СНС YOLOv5 33
3.3.4 Архитектура модели СНС YOLOv7 36
4 Подготовка датасета 41
5 Программная реализация компактных моделей СНС и особенности их
обучения 45
5.1 Общие положения 45
5.2 Особенности разработки и обучения моделей СНС семейства YOLO 46
6 Результаты обучения и исследования компактных моделей СНС семейства
YOLO 48
6.1 Результаты обучения компактных моделей СНС 48
6.2 Результаты исследования компактных моделей СНС 52
7 Оценка коммерческого потенциала и перспективности проведения научных
исследований с позиции ресурсоэффективности и ресурсосбережения 57
7.1 Потенциальные потребители результатов исследования 57
7.2 Анализ конкурентных технических решений 57
7.3 Технология QuaD 59
7.4 SWOT-анализ .60
7.5 Структура работ в рамках научного исследования 61
7.6 Определение трудоемкости выполнения работ 62
7.7 Разработка графика проведения научного исследования 63
7.8 Бюджет научно-технического исследования 65
7.8.1 Расчет затрат на специальное оборудование для научных
(экспериментальных) целей 65
7.8.2 Основная заработная плата исполнителей темы .66
7.8.3 Дополнительная заработная плата исполнителей темы 68
7.8.4 Отчисления во внебюджетные фонды (страховые отчисления) 69
7.8.5 Накладные расходы .70
7.8.6 Формирование бюджета затрат научно-исследовательского проекта 71
7.8.7 Определение ресурсной (ресурсосберегающей), финансовой,
бюджетной, социальной и экономической эффективности исследования .71
7.9 Определение потенциального эффекта исследования .74
8 Социальная ответственность .77
8.1 Правовые и организационные вопросы обеспечения безопасности 78
8.1.1 Правовые нормы трудового законодательства .78
8.1.2 Организационные мероприятия при компоновке рабочей зоны 78
8.2 Производственная безопасность .79
8.2.1 Вредные производственные факторы 80
8.2.1.1 Нагрузка на зрительный аппарат 80
8.2.1.2 Отсутствие или недостаток необходимого искусственного освещения
и пониженная световая и цветовая контрастность 81
8.2.1.3 Умственное перенапряжение, в том числе вызванное информационной
нагрузкой .82
8.2.2 Опасные производственные факторы 83
8.3 Экологическая безопасность 84
8.4 Безопасность в чрезвычайных ситуациях 84
8.5 Вывод по разделу 86
Заключение 88
Список публикаций .90
Список источников 91
Приложение А 96
Обнаружение (детектирование) объектов на изображении представляет собой ключевую задачу в области компьютерного зрения и включает одновременное определение местоположения и классификацию объектов на изображении. Положение объекта определяется с помощью ограничивающего прямоугольника (англ.bounding box). Современные достижения в области глубокого обучения позволили сделать значительные успехи в решении многих задач компьютерного зрения, включая обнаружение объектов, благодаря применению глубоких сверточных нейронных сетей (СНС) [1,2].
Большая часть современных моделей СНС для решения задач мультиклассификации объектов на изображениях сосредоточена на повышении точности детектирования объектов, не уделяя должного внимания вычислительной эффективности алгоритмов детектирования объектов. Такой подход приводит к моделям СНС с высокой вычислительной сложностью и низкой ресурсоэффективностью, которые поэтому сложно применять в случае развертывания таких моделей СНС на мобильных устройствах, например, на беспилотных летательных аппаратах (БПЛА) [3]. Таким образом, к моделям СНС, предназначенным для развертывания на мобильных устройствах предъявляются требования [4]:
1. Проведение мультиклассификации объектов на изображениях в режиме реального времени;
2. Высокая вычислительная эффективность СНС и эффективность по занимаемой памяти (малый объем весовых коэффициентов модели СНС);
3. Конкурентноспособность по сравнению с другими моделями СНС в части точности мультиклассификации объектов на изображениях.
В наибольшей степени предъявляемым требованиям соответствуют модели семейства (класса) YOLO [5]. В моделях этого класса мультиклассификация объектов рассматривается как задача регрессии прямоугольных рамок и классов объектов. Модели СНС класса YOLO обрабатывают изображение за один проход. На сегодняшний день существует большое разнообразие моделей YOLO с разным количеством параметров, отличающихся друг от друга по точности и скорости обнаружения объектов [6]. Исследование соответствующих моделей СНС из этого класса, отвечающих вышеуказанным требованиям, с целью использования их в тех или иных мобильных системах компьютерного зрения (СКЗ) является актуальной и весьма сложной задачей.
Данная работа посвящена программной реализации и исследованию четырех компактных моделей СНС класса (семейства) YOLO для применения наиболее эффективных из них в мобильных СКЗ, детектирующих летающие объекты на изображениях в реальном времени.
В разделе 1 рассмотрены современные классы моделей СНС для детектирования летающих объектов на изображениях с целью использования их в мобильных СКЗ. В разделе 2 показаны требования к моделям СНС для детектирования летающих объектов и сформулированы цель и задачи исследования. Раздел 3 посвящен выбору компактных моделей СНС семейства YOLO для дальнейших исследований. В разделе 4 описаны особенности созданного датасета. В разделе 5 освещена программная реализация компактных моделей СНС и особенности их обучения. В разделе 6 приведены результаты обучения и исследования компактных моделей СНС. В разделе 7 изложены вопросы, связанные с финансовым менеджментом, ресурсоэффективностью и ресурсосбережением разработки. Раздел 8 содержит вопросы социальной ответственности: правовые и организационные вопросы, техники безопасности работников и экологической безопасности.
Результаты работы докладывались на трех международных научно-практических конференциях студентов, аспирантов и молодых учёных, получен диплом за лучший доклад. Основные результаты работы опубликованы в виде трех статей в сборниках этих конференций.
Большая часть современных моделей СНС для решения задач мультиклассификации объектов на изображениях сосредоточена на повышении точности детектирования объектов, не уделяя должного внимания вычислительной эффективности алгоритмов детектирования объектов. Такой подход приводит к моделям СНС с высокой вычислительной сложностью и низкой ресурсоэффективностью, которые поэтому сложно применять в случае развертывания таких моделей СНС на мобильных устройствах, например, на беспилотных летательных аппаратах (БПЛА) [3]. Таким образом, к моделям СНС, предназначенным для развертывания на мобильных устройствах предъявляются требования [4]:
1. Проведение мультиклассификации объектов на изображениях в режиме реального времени;
2. Высокая вычислительная эффективность СНС и эффективность по занимаемой памяти (малый объем весовых коэффициентов модели СНС);
3. Конкурентноспособность по сравнению с другими моделями СНС в части точности мультиклассификации объектов на изображениях.
В наибольшей степени предъявляемым требованиям соответствуют модели семейства (класса) YOLO [5]. В моделях этого класса мультиклассификация объектов рассматривается как задача регрессии прямоугольных рамок и классов объектов. Модели СНС класса YOLO обрабатывают изображение за один проход. На сегодняшний день существует большое разнообразие моделей YOLO с разным количеством параметров, отличающихся друг от друга по точности и скорости обнаружения объектов [6]. Исследование соответствующих моделей СНС из этого класса, отвечающих вышеуказанным требованиям, с целью использования их в тех или иных мобильных системах компьютерного зрения (СКЗ) является актуальной и весьма сложной задачей.
Данная работа посвящена программной реализации и исследованию четырех компактных моделей СНС класса (семейства) YOLO для применения наиболее эффективных из них в мобильных СКЗ, детектирующих летающие объекты на изображениях в реальном времени.
В разделе 1 рассмотрены современные классы моделей СНС для детектирования летающих объектов на изображениях с целью использования их в мобильных СКЗ. В разделе 2 показаны требования к моделям СНС для детектирования летающих объектов и сформулированы цель и задачи исследования. Раздел 3 посвящен выбору компактных моделей СНС семейства YOLO для дальнейших исследований. В разделе 4 описаны особенности созданного датасета. В разделе 5 освещена программная реализация компактных моделей СНС и особенности их обучения. В разделе 6 приведены результаты обучения и исследования компактных моделей СНС. В разделе 7 изложены вопросы, связанные с финансовым менеджментом, ресурсоэффективностью и ресурсосбережением разработки. Раздел 8 содержит вопросы социальной ответственности: правовые и организационные вопросы, техники безопасности работников и экологической безопасности.
Результаты работы докладывались на трех международных научно-практических конференциях студентов, аспирантов и молодых учёных, получен диплом за лучший доклад. Основные результаты работы опубликованы в виде трех статей в сборниках этих конференций.
При выполнении ВКР получены следующие наиболее важные результаты и сделаны выводы.
1. Проанализированы модели СНС для детектирования летающих объектов на изображениях с целью создания мобильных СКЗ. Выявлено, что наиболее перспективными для реализации этой цели являются модели СНС класса YOLO. Для последующего исследования выбраны четыре компактные модели из этого класса СНС как наиболее отвечающие сформированным требованиям.
2. Разработаны программы для подготовки датасета. Программно реализована модель СНС YOLO Nano.
3. Сформирован набор оптических изображений с летающими объектами трех классов: «Птица», «БПЛА вертолетного типа» и «БПЛА самолетного типа». На изображениях находятся один или более объектов разных размеров и разных классов . На основе этого набора создан датасет в виде размеченных изображений . В него включено 3400 изображений и файлов аннотаций.
4. Проведен детальный анализ архитектуры компактных СНС YOLOv4 - Tiny, YOLOv5n, YOLOv7-Tiny и YOLO Nano, позволивший задать оптимальные значения параметров этих моделей при обучении.
5. Каждая из четырех компактных моделей СНС настроена, обучена и валидирована с использованием обучающей и валидационной выборок датасета.
6. Проведены исследования эффективности каждой из четырех моделей СНС с использованием тестовой выборки датасета. Показано, что точность детектирования летающих объектов на изображениях по метрикам AP0,5 и mAPo,5 наибольшая при использовании модели СНС YOLOv7-tiny. При этом требование по точности детектирования объектов на изображениях удовлетворяется только для этой модели. Выявлено, что для всех моделей СНС скорость детектирования объектов значительно превышает пороговое значение FPS, равное 25, а алгоритмическая эффективность этих моделей позволяет им выполняться на вычислительных устройствах мобильных СКЗ даже с весьма скромными ресурсами.
7. По результатам всех исследований модель СНС YOLOv7-tiny рекомендована к использованию в мобильных СКЗ реального времени.
8. Результаты работы докладывались на трех международных научно-практических конференциях студентов, аспирантов и молодых учёных, получен диплом за лучший доклад. Основные результаты работы опубликованы в виде трех статей в сборниках этих конференций.
1. Проанализированы модели СНС для детектирования летающих объектов на изображениях с целью создания мобильных СКЗ. Выявлено, что наиболее перспективными для реализации этой цели являются модели СНС класса YOLO. Для последующего исследования выбраны четыре компактные модели из этого класса СНС как наиболее отвечающие сформированным требованиям.
2. Разработаны программы для подготовки датасета. Программно реализована модель СНС YOLO Nano.
3. Сформирован набор оптических изображений с летающими объектами трех классов: «Птица», «БПЛА вертолетного типа» и «БПЛА самолетного типа». На изображениях находятся один или более объектов разных размеров и разных классов . На основе этого набора создан датасет в виде размеченных изображений . В него включено 3400 изображений и файлов аннотаций.
4. Проведен детальный анализ архитектуры компактных СНС YOLOv4 - Tiny, YOLOv5n, YOLOv7-Tiny и YOLO Nano, позволивший задать оптимальные значения параметров этих моделей при обучении.
5. Каждая из четырех компактных моделей СНС настроена, обучена и валидирована с использованием обучающей и валидационной выборок датасета.
6. Проведены исследования эффективности каждой из четырех моделей СНС с использованием тестовой выборки датасета. Показано, что точность детектирования летающих объектов на изображениях по метрикам AP0,5 и mAPo,5 наибольшая при использовании модели СНС YOLOv7-tiny. При этом требование по точности детектирования объектов на изображениях удовлетворяется только для этой модели. Выявлено, что для всех моделей СНС скорость детектирования объектов значительно превышает пороговое значение FPS, равное 25, а алгоритмическая эффективность этих моделей позволяет им выполняться на вычислительных устройствах мобильных СКЗ даже с весьма скромными ресурсами.
7. По результатам всех исследований модель СНС YOLOv7-tiny рекомендована к использованию в мобильных СКЗ реального времени.
8. Результаты работы докладывались на трех международных научно-практических конференциях студентов, аспирантов и молодых учёных, получен диплом за лучший доклад. Основные результаты работы опубликованы в виде трех статей в сборниках этих конференций.