Реферат 4
Перечень сокращений
Введение 7
1 Обзор предметной области 9
1.1 Анализ темы 9
1.2 Анализ решений 12
1.3 Анализ существующих наборов данных 17
1.4 Постановка задачи 19
2 Выбор технологий разработки 21
2.1 Выбор программной библиотеки 21
2.1.1 TensorFlow 21
2.1.2 Keras 21
2.1.3 PyTorch 21
2.2 Выбор IDE 22
2.2.1 Visual Studio Code 22
2.2.2 Jupyter Notebook 22
2.2.3 PyCharm 22
2.3 Выбор инструмента аннотирования данных 23
2.3.1 LabelStudio 23
2.3.2 CVAT 23
2.4 Выбор инструмента версионирования данных 24
2.4.1 Amazon S3 24
2.4.2 Pachyderm 25
2.4.3 Delta Lake 25
2.4.4 LakeFS 25
2.5 Выбор инструмента версионирования моделей 26
2.5.1 Weights &Biases 26
2.5.2 Git 27
2.5.3 Git LFS 28
2.5.4 DVC 28
2.5.5 MLflow 28
2.6 Выбор инструмента управления виртуальным окружением 29
2.6.1 Venv 29
2.6.2 Pipenv 30
2.6.3 Conda 30
3 Набор данных 31
3.1 Предварительная обработка данных 32
3.2 Описание набора данных 40
4 Программная реализация 42
4.1 Описание архитектуры YOLOv8 42
4.2 Описание функций YOLOv8 44
4.2.1 Predict 44
4.2.2 Val 45
4.2.3 Train 45
4.3 Проектирование ПО 46
4.4 Архитектура разрабатываемой системы 47
5 Эксперименты 49
5.1 Настройка виртуального окружения 49
5.2 Метрики 49
5.3 Сравнение моделей семейства архитектур YOLOv8 52
5.4 Оборудование 52
5.5 Выбор оптимизатора 53
5.6 Аугментация входных данных 55
5.7 Результаты на конечном устройстве 56
6 Безопасность жизнедеятельности 58
6.1 Вред здоровью при работе с компьютером 58
6.2 Снижение вредного воздействия на здоровье при работе с ПК 58
6.3 Техника безопасности при работе с компьютером 59
Заключение 60
Список использованных источников 61
Приложение А - UML-диаграммы 67
Приложение Б - Листинг программы 72
Приложение В - Презентация 77
Обнаружение объектов играет ключевую роль в задачах компьютерного зрения и обработки изображений, целью которых является обнаружение и определение местоположения интересующих объектов на изображении или видео. Задача включает определение положения и границ объектов на изображении, а также классификацию объектов по разным категориям. Нейронные сети, предназначенные для обнаружения объектов на изображениях, далее детекторы, уже сейчас активно применяются во многих сферах деятельности. Одним из наиболее популярных направлений применения детекторов стали БПЛА.
В настоящее время БПЛА становятся все более распространенным и востребованным средством для визуального наблюдения, а также контроля и мониторинга различных территорий. Точность обнаружения становится особенно важной при использовании БПЛА в военных или поисково-спасательных операциях. Однако, их использование в упомянутых задачах, связано с рядом проблем:
- малый размер обнаруживаемых объектов: искомые объекты могут занимать на изображении лишь несколько пикселей, что делает их почти не находимыми при использовании традиционных методов обработки изображений;
- сложный фон: изображения, снятые с БПЛА, как правило, содержат большое количество различных фоновых объектов, таких как деревья, дорожные знаки, здания и пр., что создаёт помехи при обнаружении целевых объектов;
- изменчивость условий съемки: погодные условия, угол съемки, освещенность, высота полета и другие факторы могут сильно повлиять на качество съемки и усложнить задачу поиска объекта.
Искусственные нейронные сети благодаря своей архитектуре являются перспективным подходом для решения задачи обнаружения небольших объектов на изображениях, снятых с дрона. Благодаря своей способности извлекать признаки и эффективно обрабатывать большие объемы данных они способны эффективно решить все вышеупомянутые проблемы поставленной задачи.
В рамках данной работы рассматривается применение искусственных нейронных сетей для обнаружения небольших объектов на изображения, полученных с БПЛА. Будут исследованы различные архитектуры нейронных сетей, а также методы предобработки данных. Будут проведена серия экспериментов с моделью наилучшей архитектуры, которая будет выбрана после сравнительного анализа всех подходящих решений, с целью добиться наилучших показателей в поставленной задаче.
В ходе выполнения данной ВКР были рассмотрены различные архитектуры искусственных нейронных сетей для обнаружения объектов на изображениях, полученных с БПЛА. В ходе их анализа была выбрана наиболее подходящая из них для решения поставленной задачи. В ходе дальнейшего исследования на основе заявленных требований к модели было принято решение о необходимости проведения экспериментов с моделью выбранной архитектуры YOLOv8n. В ходе экспериментов были исследованы наиболее известные алгоритмы оптимизации — Adam и SGD, влияние адаптивного планировщика на их эффективность, а также влияние различных методов аугментации изображений на итоговый результат модели с применением этих оптимизаторов.
В процессе исследования было установлено, что при обучении моделей YOLOv8n для достижения наилучших результатов при решении поставленной задачи следует использовать алгоритм оптимизации SGD, а также следующие методы аугментации изображений: изменение цветовой палитры на изображении, изменение насыщенности цветовой палитры, изменение яркости изображения, незначительные перемещения изображения в случайную сторону, изменение масштаба изображения, переворот изображения, объединение нескольких изображений в одно и удаление случайной части изображения. Несмотря на то, что при использовании адаптивного планировщика метрики модели показывали более плохие значения, чем при обучении без него, на большом количестве эпох адаптивный планировщик будет предпочтительнее.
Для запуска модели, полученной в ходе исследования, на конечном устройстве использовался Python-фреймворк SAHI, который, в случае превышения входными данными допустимого размера сторон изображения, разделял изображения на несколько фрагментов заданного размера, благодаря чему точность модели значительно возрастала. Использование дополнительного этапа предварительной обработки данных привело к снижению количества обрабатываемых кадров в секунду на конечном устройстве с 53 до 27.
