ОБНАРУЖЕНИЕ ОБЪЕКТОВ ВИДЕОРЯДА НА ОСНОВЕ ТЕХНОЛОГИИ МАШИННОГО ОБУЧЕНИЯ (НА ПРИМЕРЕ ЛЕСНЫХ ПОЖАРОВ)

ВВЕДЕНИЕ 4
ГЛАВА 1 АНАЛИЗ АЛГОРИТМОВ И МЕТОДОВ ОБНАРУЖЕНИЯ
ОБЪЕКТОВ 11
1.1. Актуальность исследования, обзор состояния проблемы 11
1.2. Обнаружение пожара в лесу с помощью цветовой обработки 15
1.3. Обнаружение пожара в лесу с помощью цветовой обработки и
выделения динамических признаков 17
1.3.1 Временная разница 18
1.3.2 Вычитание фона 18
1.3.3 Оптический поток 19
1.4. Классификация объектов 20
1.4.1 Классификация на основе обучения 21
1.4.2 Статистическая классификация 21
1.5. Обнаружение пожара в лесу с использованием методов глубокого
обучения 22
1.6. Опорные области для обнаружения объектов 33
1.7. Локализация ограничивающей рамки, объединение предсказаний .... 36
1.8. Рекуррентные нейронные сети 39
1.9. Используемые метрики оценки качества детектирования объектов ... 41
1.10. Выводы по первой главе 44
ГЛАВА 2 ТЕХНОЛОГИЯ ОБНАРУЖЕНИЯ ОБЪЕКТОВ ВИДЕОРЯДА НА ОСНОВЕ ТЕХНОЛОГИИ МАШИННОГО ОБУЧЕНИЯ (НА ПРИМЕРЕ ЛЕСНЫХ ПОЖАРОВ) 46
2.1. Разработка алгоритма обнаружения дымового облака 46
2.2. Разработка алгоритма выделения динамических признаков объекта . 49
2.3. Разработка алгоритма локализации объектов на изображении 53
2.3.1 Трекинг объектов детектором EfficientDet 53
2.3.2 Алгоритм кластеризации прогнозов 58
2.4. Разработка алгоритма фильтрации обнаруженных объектов 64
2.5. Состав комплекса программных средств 72
2.6. Выводы по второй главе 75
ГЛАВА 3 ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАЗРАБОТАННЫХ
АЛГОРИТМОВ 77
3.1. Подготовка эксперимента 77
3.2. Тестирование программной реализации алгоритмов 79
3.3. Выбор модели НС 87
3.4. Результаты тестирования алгоритмов объединения предсказаний 91
3.5. Результаты тестирования классификатора 96
3.6. Результаты тестирования технологии раннего обнаружения
пожароопасных объектов в лесном массиве 104
3.7. Оценка работоспособности предложенных алгоритмов при решении
различных задач 107
3.7.1 Выделение динамических признаков для отслеживания
перемещений дистального конца катетера 107
3.7.2 Обнаружение объектов в решение задачи навигации роботов .. 111
3.7.3 Фильтрация обнаруженных объектов с помощью гибридной
архитектуры НС в задаче оценки парковочного пространства 113
3.8. Выводы по третьей главе 119
ЗАКЛЮЧЕНИЕ 120
СПИСОК СОКРАЩЕНИЙ И ОПРЕДЕЛЕНИЙ 122
СПИСОК ЛИТЕРАТУРЫ 124
ПРИЛОЖЕНИЕ А 137
ПРИЛОЖЕНИЕ Б 141
ПРИЛОЖЕНИЕ Г
Купить

Актуальность темы исследования. Обнаружение объектов в видеоряде является одной из ключевых проблем исследований в области искусственного интеллекта, которые включены в направление Н1 Стратегии научно-технического развития Российской Федерации. При разработке эффективных методов и алгоритмов обнаружения объектов на основе таких признаков как форма, цвет и текстура требуется учитывать ряд мешающих факторов: размытие объектов при движении, вариативность признаков, изменение условий освещения, перекрытие объектов в процессе перемещения и другие. Игнорирование этих факторов может привести к снижению точности обнаружения и увеличению вероятности ложного срабатывания систем распознавания.
Перспективными инструментами для решения задач анализа статических и динамических признаков на кадрах видеозаписей являются технологии машинного обучения, в частности нейронные сети (НС). Для их применения необходимо осуществлять сбор, разметку и предварительную подготовку исходных данных; выбор модели и подбор параметров архитектуры НС; тонкую настройку гиперпараметров НС, т.е., скорости обучения и объема данных (размера батча) с целью снижения времени сходимости в процессе обучения; интерпретацию результатов анализа данных НС, в том числе анализ хронологии изменения объекта в видеоряде.
Задачи автоматического обнаружения динамических объектов в видеопотоке являются наиболее актуальными в таких приложениях, как автоматическое распознавание лиц [1], медицинская диагностика [2], робототехника [3], транспортные системы [4] и др.
Одним из приложений, имеющих социально важное значение, является разработка систем раннего обнаружения лесных пожаров [5]. Ежегодно в Российской федерации фиксируется от 10000 до 35000 лесных пожаров, а их общая площадь превышает 1 млн га. Согласно заявлению Федерального агентства лесного хозяйства в 2022 году общая площадь лесных пожаров в России составила 8,96 млн га, а за последние 3 года в среднем выгорело около 17,8 млн га леса. При этом экономический ущерб составил в среднем 9,7 млрд рублей.
На точность обнаружения пожаров влияет множество факторов, включая освещенность, погодные условия, прозрачность окружающей среды, схожесть характерных признаков с облачностью и туманностью. Дополнительные сложности при обнаружении пожаров создает непостоянство таких признаков, как форма, цвет и текстура. При этом пожар является одним из наиболее сложных объектов обнаружения. Поэтому существует необходимость разработки специальных методов и алгоритмов, учитывающих мешающие факторы, которые влияют на точность и надежность обнаружения объектов в видеоряде.
Целью диссертационной работы является разработка технологии и алгоритмов обнаружения объектов, обладающих динамическими признаками на изображениях видеоряда, обеспечивающих высокое качество распознавания.
В связи с поставленной целью должны быть решены следующие задачи:
- провести анализ существующих методов и алгоритмов обнаружения объектов видеоряда с динамическими признаками;
- разработать технологию автоматического обнаружения объектов с динамическими признаками, состоящими из предложенных и реализованных алгоритмов;
- разработать программное обеспечение и провести вычислительный эксперимент с целью оценки качества результатов обнаружения объектов, полученных на основе предлагаемых алгоритмов.
Методы исследования. Использованы методы цифровой обработки изображений, технология компьютерного зрения, методы преобразования и анализа изображений, машинного обучения и прикладного программирования. Экспериментальные численные исследования проводились с использованием методов математического анализа, моделирования и математической статистики.
Научная новизна
- Предложена технология анализа изображений в видеопоследовательности, позволяющая достичь высокой точности обнаружения объектов за счет локализации и классификации каждого объекта с учетом как статических, так и динамических признаков.
- Предложен и обоснован алгоритм объединения предсказаний нейросети, позволяющий объединять плотные группы объектов, выделенных на основе статических признаков в один объект на основе оценки отношения площадей пересечения соседних объектов, используемые для формирования кластеров, локализующих распознаваемые объекты.
- Разработан алгоритм классификации обнаруженных объектов на основе, состоящей из сверточной и рекуррентной нейросетей гибридной архитектуры, обеспечивающей неявное представление хронологии изменения объектов при повышении точности классификации изображений в видеопотоке.
Достоверность полученных результатов диссертационной работы подтверждается результатами тестирования, апробации и внедрения разработанных алгоритмов и технологии на собственных и общедоступных базах изображений.
Практическая ценность работы. Разработанные в диссертационной работе алгоритмические и программные средства могут быть использованы для решения задач обнаружения объектов видеоряда в различных прикладных областях: медицинская диагностика, контроль перемещений роботов, мониторинг местности и т.п.
Положения, выносимые на защиту:
1. Технология анализа изображений в видеопоследовательности на основе предложенных алгоритмов локализации и классификации с учетом статических и динамических данных позволяет достичь высокой точности классификации объектов по метрике F-score не менее 95 %.
2. Алгоритм объединения предсказаний нейросети, позволяющий объединять плотные группы объектов, выделенные на основе статических признаков в один объект c целью повышения точности локализации распознаваемых объектов. Реализация предложенного алгоритма позволяет повысить точность локализации на 6 %.
3. Алгоритм классификации обнаруженных объектов на основе предложенной гибридной архитектуры нейросети позволяет увеличить качество классификации по метрике F-score на 9 %.
Реализация и внедрение результатов работы. Результаты
диссертационного исследования использованы при выполнении следующих научно-исследовательских проектов: государственное задание "Наука" №FFSWW- 2020-0014 "Разработка научных основ технологии роботизированной мультипараметрической томографии на основе методов обработки больших данных и машинного обучения для исследования перспективных композиционных материалов", 2020-2022 гг.; грант РФФИ № 20-37-90055 "Методы и интеллектуальные технологии планирования движения беспилотных транспортных средств", 2020-2022 гг.; грант УМНИК №16068ГУ/2020 "Система детектирования и локализации очага возгорания в видеоряде на основе средств компьютерного зрения", 2020-2023 гг.
Результаты работы также используются: в ООО "НТП КИБЕРЦЕНТР" (г. Томск) - в программном обеспечении информационно-телекоммуникационной системы интеллектуального видеонаблюдения и аналитики лесопожарной обстановки (ИТС «ИВА»), в ООО "Спотпаркинг" (г. Томск) - в составе системы для обнаружения автомобилей на парковочном пространстве и в учебном процессе в отделении информационных технологий Инженерной школы информационных технологий и робототехники ТПУ. Акты о внедрении приложены к диссертационной работе.
Апробация. Основные результаты данной работы освещались на следующих конференциях и симпозиумах: Международная научно-практическая конференция
студентов, аспирантов и молодых ученых, г. Томск, 2019 г.; 14-й Международный форум по стратегическим технологиям "IFOST 2019", г. Томск, 2019 г.; XXXIV Международная научная конференция "Математические методы в технике и технологиях", г. Санкт-Петербург, 2021 г.; 4-й Международный семинар по
фотограмметрии и методам компьютерного зрения для видеонаблюдения, биометрии и биомедицины, г. Москва, 2021 г; 31-я Международная конференция по компьютерной графике и зрению "ГрафиКон 2021", г. Нижний Новгород, 2021 г.; International Symposium on Electrical, Electronics and Information Engineering, Online, 2021 г.; 6-я Международная конференция по тестированию программного обеспечения, машинному обучению и комплексному анализу процессов, TMPA 2021, г. Томск, 2021 г.; SIBCON-2022 международная IEEE-сибирская конференция по управлению и связи, г. Томск, 2022 г.
Личный вклад соискателя. Основные научные результаты, выносимые на защиту, получены автором лично. Данная работа выполнена в сотрудничестве с учёными и исследователями, оказавшими содействие при проведении настоящего исследования, а именно: постановка задач исследования по теме диссертации выполнена совместно с научным руководителем Гергет О.М. (Томский политехнический университет); обзор существующих алгоритмов анализа, обработки и визуализации данных выполнен совместно с Даниловым В.В. (Томский политехнический университет) и научным руководителем Гергет О.М. (Томский политехнический университет); сбор, разметка и валидация данных пожаров выполнены совместно с сотрудниками компании «ИНКОМ»; разработка алгоритмов выполнена совместно с Лаптевым В.В. («Спутник») и Колпащиковым Д.Ю. (НОЛ ОАБД ИШИТР, Томский политехнический университет).
Публикации. Основные результаты диссертационного исследования отражены в 13 работах: 5 публикаций в рецензируемых журналах,
рекомендованных ВАК РФ, из них - 2 публикации проиндексированы в базах научного цитирования Scopus и Web of Science; 1 патент на изобретение, 3 свидетельства о государственной регистрации программ для ЭВМ; 4 статьи в сборниках трудов международных и российских конференций.
Структура и объем диссертации. Диссертационная работа состоит из введения, трех глав, заключения, списка литературы из 133 наименований. Работа содержит 163 страниц основного текста, включая 54 рисунков и 10 таблиц.
Во введении обоснована актуальность темы исследования, сформулированы цель и задачи работы, определена научная новизна, а также отражены практическая значимость и положения, выносимые на защиту.
В первой главе введены необходимые термины и обозначения; проведен обзор методов обнаружения объектов на кадрах видеоряда, описаны известные современные нейросетевые методы обнаружения объектов. Подробно рассмотрены модели рекуррентных нейронных сетей, позволяющих решить задачу выделения временной составляющей движения дымового облака. Проведен анализ алгоритмов объединения прогнозов нейросетевого анализа данных, назначение которых выделить исследуемый объект с нескольких кадров. Обоснована необходимость разработки комплексной технологии раннего обнаружения пожаров.
Во второй главе представлены: технология анализа изображений в видеопоследовательности, на основе предложенных алгоритмов локализации и классификации с учетом статических и динамических данных; алгоритм, позволяющий объединять разрозненные предсказания нейросети в итоговое решение; новая гибридная архитектура нейронной сети, основанная на интеграции данных сверточной нейронной сети в рекуррентную нейронную сеть, отличающаяся от существующих неявным представлением временной составляющей, агрегированной аугментацией данных и динамическим подбором размера батча в зависимости от скорости сходимости модели на прошлых итерациях, что позволяет осуществлять классификацию изображений в видеопотоке с высокой точностью.
В третьей главе представлены вычислительные эксперименты с целью оценки результатов обнаружения объектов, полученных на основе предлагаемых алгоритмов. Сравнение полученных результатов с аналогичными системами обнаружения, чьи характеристики представлены в открытом доступе, показало, что предложенная технология выделения объектов с динамическими признаками демонстрирует более высокую точность обнаружения и меньшее количество ложных срабатываний для задачи обнаружения лесных пожаров. Приведены примеры применения предложенных алгоритмов в других областях деятельности, что дает возможность говорить о свободной встраиваемости алгоритмов в системы в разных областях деятельности и их универсальности.

Купить