Сегментация областей интереса на спутниковых изображениях и их локализация для ГИС
|
Введение 4
Постановка задачи 8
Глава 1. Обзор литературы 9
1.1. Поиск областей с объектом 9
1.2. Виды дескрипторов и их получение 10
1.3. Классификация 11
1.4. Итоги обзора 11
Глава 2. Современные программные комплексы и методы для поиска объектов на изображении 13
2.1. DIGITS и сеть DetectNet 13
2.1.1. Сеть DetectNet: формат данных 14
2.1.2. Сеть DetectNet: архитектура 16
2.1.3. Сеть DetectNet: выходные данные 20
2.1.3 Эффективность обучения 21
2.2. Сеть YOLO 21
2.2.1. Особенности и архитектура 21
2.2.2. Применение сети YOLO для поиска автомобилей на спутниковых снимках 22
Глава 3. Метод Виолы-Джонса 25
3.1. Основные принципы 25
3.2. Интегральное представление изображение 25
3.3. Признаки Хаара 27
3.4. Алгоритм AdaBoost 28
3.5. Каскад классификаторов 31
Глава 4. Построение каскадного классификатора для локализации автомобилей и его тестирование 34
4.1. Подготовка обучающей выборки 34
4.2. Структура каскадного классификатора 35
4.3. Обучение и тестирование классификаторов и выбор параметров 38
4.4. Вывод 43
Выводы 44
Заключение 45
Список литературы 46
Постановка задачи 8
Глава 1. Обзор литературы 9
1.1. Поиск областей с объектом 9
1.2. Виды дескрипторов и их получение 10
1.3. Классификация 11
1.4. Итоги обзора 11
Глава 2. Современные программные комплексы и методы для поиска объектов на изображении 13
2.1. DIGITS и сеть DetectNet 13
2.1.1. Сеть DetectNet: формат данных 14
2.1.2. Сеть DetectNet: архитектура 16
2.1.3. Сеть DetectNet: выходные данные 20
2.1.3 Эффективность обучения 21
2.2. Сеть YOLO 21
2.2.1. Особенности и архитектура 21
2.2.2. Применение сети YOLO для поиска автомобилей на спутниковых снимках 22
Глава 3. Метод Виолы-Джонса 25
3.1. Основные принципы 25
3.2. Интегральное представление изображение 25
3.3. Признаки Хаара 27
3.4. Алгоритм AdaBoost 28
3.5. Каскад классификаторов 31
Глава 4. Построение каскадного классификатора для локализации автомобилей и его тестирование 34
4.1. Подготовка обучающей выборки 34
4.2. Структура каскадного классификатора 35
4.3. Обучение и тестирование классификаторов и выбор параметров 38
4.4. Вывод 43
Выводы 44
Заключение 45
Список литературы 46
В течении последних нескольких десятилетий развился и продолжает очень активно формироваться особый класс автоматизированных комплексов, а именно компьютерные геоинформационные системы (сокращенно ГИС). Эти системы накапливают, обрабатывают, анализируют, обновляют и непосредственно предоставляют пользователям пространственно-координированную информацию об интересующих их объектах, которые расположены на Земле.
Главной формой представления сведений в ГИС являются цифровые карты. Они основаны на различных информационных источников (классические картографические материалы, геодезических измерений и т.д.) Самым важным источником данных для геоинформационных систем являются цифровые изображения, которые получаются в результате космических съемок и аэрофотосъемок земной поверхности. Обработку этих снимков в ГИС можно сформулировать в виде задачи компрессии данных, т.е. преобразование большого массива данных в его некоторое кодированное представление, например, векторной цифровой карты, которая уже имеет намного меньший объем и в свою очередь сохраняет все сведения о зондировании земной поверхности, необходимые для последующего использования в различных прикладных задачах.
Условно процесс обработки аэрокосмических изображений для геоинформационных систем можно разделить на следующие четыре этапа [1]:
• бортовая обработка;
• наземная предварительная обработка;
• тематическая обработка;
• векторизация.
Рассмотрим подробнее третий этап - тематическая обработка. На этой стадии происходит решение задач обработки и анализа изображения, которые решаются в интересах отдельных групп потребителей информации, например, специалистов в области градостроительства, природопользования, геологии и т.д. Основная цель тематической обработки - формирование слоев картографической информации, которые интересуют определенную группу пользователей в базе данных ГИС.
Одной из практических задач обработки спутниковых снимков и аэрофотоснимков является поиск объектов неприродного происхождения (здания, дороги, автомобили, самолеты, корабли и т.д.). Цель этой задачи - формирование слоев ГИС, которые характеризуют транспортные коммуникации и застройку, при стратегическом планировании городов, а также оценке антропогенных рисков территорий [2]. Обычно для решения задачи поиска неприродных объектов используются аэрофотоснимки среднего и высокого разрешения. Например, для распознавания зданий необходимо разрешение до 6 см, а для поиска дорог можно обойтись снимками с разрешением 20 см [3]. Для обнаружения зданий используются методы, которые сочетают выделение объектов с их двухмерной или трехмерной реконструкцией на основе некоторых моделей [4][5][6][7]. Так как космические средства дистанционного зондирования земной поверхности активно развиваются, то для этих целей стало привлекательным использование спутниковых изображений. Главными преимуществами таких изображений являются большое покрытие и отсутствие проблем с геопривязкой.
В дальнейшем в качестве объекта неприродного происхождения будем рассматривать автотранспортные средства. Проблема локализации автомобилей на спутниковых изображениях очень актуальна на сегодняшний день и привлекло значительное внимание во всем мире в последние годы [8][9][10][11][12].
Обнаружение транспортных средств играет важную роль в широком спектре приложений и имеет множество вариантов использования в коммерческой безопасности, национальной безопасности, а также и в гуманитарных сферах.
В коммерческой безопасности, например, некоторые компании попытались сделать выводы по объему розничного трафика [13] в зависимости от плотности автомобилей на парковке, а отслеживание грузового автотранспорта в режиме реального времени является одной из долгоиграющих целей аналитики спутниковых изображений. Так как спутниковые данные дешевы и достаточно многочисленны, то они могут быть более экономически выгодными, чем встраивание датчиков в дорогу.
В военной области очень ценной была бы программа, которая могла бы обнаруживать наращивание военной техники в нестабильных регионах (обнаружение конвоев транспортных средств, которые хотят пересечь границу).
В гуманитарной сфере было бы полезно, например, определять оптимальные маршруты для оказания медицинской помощи или ликвидации последствий во время стихийных бедствий в малоизвестных регионах на основе наблюдений за движением местных транспортных средств.
Автоматическое обнаружение автотранспортных средств на спутниковых изображениях все еще имеет много проблем из-за их относительно небольшого размера и переменной ориентации объекта (рис.1).
Рис.1. Небольшой размер автотранспортных средств
Кроме того, обнаружение в реальном времени автомобилей на крупномасштабных аэрофотоснимках с такими сложными объектами фона (рис.2) также увеличивает трудность данной проблемы.
Рис.2. Сложные объекты фона
В данной магистерской диссертации будут подробно рассмотрены некоторые современные методы компьютерного зрения, которые активно используются для решения данной задачи. Также, будут построены каскадные классификаторы при различных параметрах на основе принципов метода Виолы-Джонса, который хорошо работает для детектирования лиц людей в реальном времени, но уже в рамках задачи поиска автомобилей на спутниковых изображениях и аэрофотоснимков. Затем будет проведено исследование по ним и выбор лучшего.
Главной формой представления сведений в ГИС являются цифровые карты. Они основаны на различных информационных источников (классические картографические материалы, геодезических измерений и т.д.) Самым важным источником данных для геоинформационных систем являются цифровые изображения, которые получаются в результате космических съемок и аэрофотосъемок земной поверхности. Обработку этих снимков в ГИС можно сформулировать в виде задачи компрессии данных, т.е. преобразование большого массива данных в его некоторое кодированное представление, например, векторной цифровой карты, которая уже имеет намного меньший объем и в свою очередь сохраняет все сведения о зондировании земной поверхности, необходимые для последующего использования в различных прикладных задачах.
Условно процесс обработки аэрокосмических изображений для геоинформационных систем можно разделить на следующие четыре этапа [1]:
• бортовая обработка;
• наземная предварительная обработка;
• тематическая обработка;
• векторизация.
Рассмотрим подробнее третий этап - тематическая обработка. На этой стадии происходит решение задач обработки и анализа изображения, которые решаются в интересах отдельных групп потребителей информации, например, специалистов в области градостроительства, природопользования, геологии и т.д. Основная цель тематической обработки - формирование слоев картографической информации, которые интересуют определенную группу пользователей в базе данных ГИС.
Одной из практических задач обработки спутниковых снимков и аэрофотоснимков является поиск объектов неприродного происхождения (здания, дороги, автомобили, самолеты, корабли и т.д.). Цель этой задачи - формирование слоев ГИС, которые характеризуют транспортные коммуникации и застройку, при стратегическом планировании городов, а также оценке антропогенных рисков территорий [2]. Обычно для решения задачи поиска неприродных объектов используются аэрофотоснимки среднего и высокого разрешения. Например, для распознавания зданий необходимо разрешение до 6 см, а для поиска дорог можно обойтись снимками с разрешением 20 см [3]. Для обнаружения зданий используются методы, которые сочетают выделение объектов с их двухмерной или трехмерной реконструкцией на основе некоторых моделей [4][5][6][7]. Так как космические средства дистанционного зондирования земной поверхности активно развиваются, то для этих целей стало привлекательным использование спутниковых изображений. Главными преимуществами таких изображений являются большое покрытие и отсутствие проблем с геопривязкой.
В дальнейшем в качестве объекта неприродного происхождения будем рассматривать автотранспортные средства. Проблема локализации автомобилей на спутниковых изображениях очень актуальна на сегодняшний день и привлекло значительное внимание во всем мире в последние годы [8][9][10][11][12].
Обнаружение транспортных средств играет важную роль в широком спектре приложений и имеет множество вариантов использования в коммерческой безопасности, национальной безопасности, а также и в гуманитарных сферах.
В коммерческой безопасности, например, некоторые компании попытались сделать выводы по объему розничного трафика [13] в зависимости от плотности автомобилей на парковке, а отслеживание грузового автотранспорта в режиме реального времени является одной из долгоиграющих целей аналитики спутниковых изображений. Так как спутниковые данные дешевы и достаточно многочисленны, то они могут быть более экономически выгодными, чем встраивание датчиков в дорогу.
В военной области очень ценной была бы программа, которая могла бы обнаруживать наращивание военной техники в нестабильных регионах (обнаружение конвоев транспортных средств, которые хотят пересечь границу).
В гуманитарной сфере было бы полезно, например, определять оптимальные маршруты для оказания медицинской помощи или ликвидации последствий во время стихийных бедствий в малоизвестных регионах на основе наблюдений за движением местных транспортных средств.
Автоматическое обнаружение автотранспортных средств на спутниковых изображениях все еще имеет много проблем из-за их относительно небольшого размера и переменной ориентации объекта (рис.1).
Рис.1. Небольшой размер автотранспортных средств
Кроме того, обнаружение в реальном времени автомобилей на крупномасштабных аэрофотоснимках с такими сложными объектами фона (рис.2) также увеличивает трудность данной проблемы.
Рис.2. Сложные объекты фона
В данной магистерской диссертации будут подробно рассмотрены некоторые современные методы компьютерного зрения, которые активно используются для решения данной задачи. Также, будут построены каскадные классификаторы при различных параметрах на основе принципов метода Виолы-Джонса, который хорошо работает для детектирования лиц людей в реальном времени, но уже в рамках задачи поиска автомобилей на спутниковых изображениях и аэрофотоснимков. Затем будет проведено исследование по ним и выбор лучшего.
В рамках проведенной работы были выполнены все поставленные задачи:
• рассмотрены современные алгоритмы компьютерного зрения, а также их применение в рамках поставленной проблемы;
• построен каскадный классификатор на основе принципов метода Виолы-Джонса,
• была произведена модификация данного подхода: в качестве признаков использовались ЛБШ, вместо DAB использовался GAB, определение рамок размера объекта при детектировании;
• показатель полноты классификации превышает 80% и равен 95%;
• показатель точности классификации превышает 80% и равен 94%;
• исследован данный подход при различных параметрах обучения классификатора.
• рассмотрены современные алгоритмы компьютерного зрения, а также их применение в рамках поставленной проблемы;
• построен каскадный классификатор на основе принципов метода Виолы-Джонса,
• была произведена модификация данного подхода: в качестве признаков использовались ЛБШ, вместо DAB использовался GAB, определение рамок размера объекта при детектировании;
• показатель полноты классификации превышает 80% и равен 95%;
• показатель точности классификации превышает 80% и равен 94%;
• исследован данный подход при различных параметрах обучения классификатора.





