Введение 4
Постановка задачи 8
Глава 1. Обзор литературы 9
1.1. Поиск областей с объектом 9
1.2. Виды дескрипторов и их получение 10
1.3. Классификация 11
1.4. Итоги обзора 11
Глава 2. Современные программные комплексы и методы для поиска объектов на изображении 13
2.1. DIGITS и сеть DetectNet 13
2.1.1. Сеть DetectNet: формат данных 14
2.1.2. Сеть DetectNet: архитектура 16
2.1.3. Сеть DetectNet: выходные данные 20
2.1.3 Эффективность обучения 21
2.2. Сеть YOLO 21
2.2.1. Особенности и архитектура 21
2.2.2. Применение сети YOLO для поиска автомобилей на спутниковых снимках 22
Глава 3. Метод Виолы-Джонса 25
3.1. Основные принципы 25
3.2. Интегральное представление изображение 25
3.3. Признаки Хаара 27
3.4. Алгоритм AdaBoost 28
3.5. Каскад классификаторов 31
Глава 4. Построение каскадного классификатора для локализации автомобилей и его тестирование 34
4.1. Подготовка обучающей выборки 34
4.2. Структура каскадного классификатора 35
4.3. Обучение и тестирование классификаторов и выбор параметров 38
4.4. Вывод 43
Выводы 44
Заключение 45
Список литературы 46
В течении последних нескольких десятилетий развился и продолжает очень активно формироваться особый класс автоматизированных комплексов, а именно компьютерные геоинформационные системы (сокращенно ГИС). Эти системы накапливают, обрабатывают, анализируют, обновляют и непосредственно предоставляют пользователям пространственно-координированную информацию об интересующих их объектах, которые расположены на Земле.
Главной формой представления сведений в ГИС являются цифровые карты. Они основаны на различных информационных источников (классические картографические материалы, геодезических измерений и т.д.) Самым важным источником данных для геоинформационных систем являются цифровые изображения, которые получаются в результате космических съемок и аэрофотосъемок земной поверхности. Обработку этих снимков в ГИС можно сформулировать в виде задачи компрессии данных, т.е. преобразование большого массива данных в его некоторое кодированное представление, например, векторной цифровой карты, которая уже имеет намного меньший объем и в свою очередь сохраняет все сведения о зондировании земной поверхности, необходимые для последующего использования в различных прикладных задачах.
Условно процесс обработки аэрокосмических изображений для геоинформационных систем можно разделить на следующие четыре этапа [1]:
• бортовая обработка;
• наземная предварительная обработка;
• тематическая обработка;
• векторизация.
Рассмотрим подробнее третий этап - тематическая обработка. На этой стадии происходит решение задач обработки и анализа изображения, которые решаются в интересах отдельных групп потребителей информации, например, специалистов в области градостроительства, природопользования, геологии и т.д. Основная цель тематической обработки - формирование слоев картографической информации, которые интересуют определенную группу пользователей в базе данных ГИС.
Одной из практических задач обработки спутниковых снимков и аэрофотоснимков является поиск объектов неприродного происхождения (здания, дороги, автомобили, самолеты, корабли и т.д.). Цель этой задачи - формирование слоев ГИС, которые характеризуют транспортные коммуникации и застройку, при стратегическом планировании городов, а также оценке антропогенных рисков территорий [2]. Обычно для решения задачи поиска неприродных объектов используются аэрофотоснимки среднего и высокого разрешения. Например, для распознавания зданий необходимо разрешение до 6 см, а для поиска дорог можно обойтись снимками с разрешением 20 см [3]. Для обнаружения зданий используются методы, которые сочетают выделение объектов с их двухмерной или трехмерной реконструкцией на основе некоторых моделей [4][5][6][7]. Так как космические средства дистанционного зондирования земной поверхности активно развиваются, то для этих целей стало привлекательным использование спутниковых изображений. Главными преимуществами таких изображений являются большое покрытие и отсутствие проблем с геопривязкой.
В дальнейшем в качестве объекта неприродного происхождения будем рассматривать автотранспортные средства. Проблема локализации автомобилей на спутниковых изображениях очень актуальна на сегодняшний день и привлекло значительное внимание во всем мире в последние годы [8][9][10][11][12].
Обнаружение транспортных средств играет важную роль в широком спектре приложений и имеет множество вариантов использования в коммерческой безопасности, национальной безопасности, а также и в гуманитарных сферах.
В коммерческой безопасности, например, некоторые компании попытались сделать выводы по объему розничного трафика [13] в зависимости от плотности автомобилей на парковке, а отслеживание грузового автотранспорта в режиме реального времени является одной из долгоиграющих целей аналитики спутниковых изображений. Так как спутниковые данные дешевы и достаточно многочисленны, то они могут быть более экономически выгодными, чем встраивание датчиков в дорогу.
В военной области очень ценной была бы программа, которая могла бы обнаруживать наращивание военной техники в нестабильных регионах (обнаружение конвоев транспортных средств, которые хотят пересечь границу).
В гуманитарной сфере было бы полезно, например, определять оптимальные маршруты для оказания медицинской помощи или ликвидации последствий во время стихийных бедствий в малоизвестных регионах на основе наблюдений за движением местных транспортных средств.
Автоматическое обнаружение автотранспортных средств на спутниковых изображениях все еще имеет много проблем из-за их относительно небольшого размера и переменной ориентации объекта (рис.1).
Рис.1. Небольшой размер автотранспортных средств
Кроме того, обнаружение в реальном времени автомобилей на крупномасштабных аэрофотоснимках с такими сложными объектами фона (рис.2) также увеличивает трудность данной проблемы.
Рис.2. Сложные объекты фона
В данной магистерской диссертации будут подробно рассмотрены некоторые современные методы компьютерного зрения, которые активно используются для решения данной задачи. Также, будут построены каскадные классификаторы при различных параметрах на основе принципов метода Виолы-Джонса, который хорошо работает для детектирования лиц людей в реальном времени, но уже в рамках задачи поиска автомобилей на спутниковых изображениях и аэрофотоснимков. Затем будет проведено исследование по ним и выбор лучшего.
В рамках проведенной работы были выполнены все поставленные задачи:
• рассмотрены современные алгоритмы компьютерного зрения, а также их применение в рамках поставленной проблемы;
• построен каскадный классификатор на основе принципов метода Виолы-Джонса,
• была произведена модификация данного подхода: в качестве признаков использовались ЛБШ, вместо DAB использовался GAB, определение рамок размера объекта при детектировании;
• показатель полноты классификации превышает 80% и равен 95%;
• показатель точности классификации превышает 80% и равен 94%;
• исследован данный подход при различных параметрах обучения классификатора.
[1] Гашников М.В., Глумов Н.И., Мясников В.В., Мясников Е.В., Сергеев В.В., Чернов А.В. Компьютерная обработка картографических и спутниковых изображений, 2010.
[2] Шокин Ю.И., Москвичев В.В., Ничепорчук В.В. Методика оценки антропогенных рисков территорий и построения картограмм рисков с использованием геоинформационных систем // Вычисл. технологии. 2010. Т.15. №1. С. 120-131.
[3] Mayer H. Automatic object extraction from aerial imagery - a survey focusing on buildings // Computer Vision and Image Understanding. 1999. 74(2): рр. 138- 149.
[4] Hu J., You S., and Neumann U. Integrating lidar, aerial image and ground images for complete urban building modeling // in Third International Symposium on 3D Data Processing, Visualization, and Transmission, pp. 184-191, June 2006.
[5] Elaksher A. and Bethel J. Automatic generation of high quality 3D urban buildings from aerial images // Journal of Urban and Regional Information Systems Association. 2008. 20(2): рр 5-14.
[6] Lin C. and Nevatia R. Building detection and description from a single intensity image // Computer Vision and Image Understanding. 1998. Vol. 72, No. 2, pp. 101-121(21).
[7] Ding M. Automated, 3D, Airborne Modeling of Large Scale Urban Environments. Master’s Thesis, Department of Electrical Engineering and Computer Sciences, University of California at Berkeley, Dec. 2007.
[8] Leitloff J., Rosenbaum D., Kurz F., Meynberg O., Reinartz P. An Operational System for Estimating Road Traffic Information from Aerial Images. Remote Sens. 2014;6:11315-11341.
[9] Liu K., Mattyus G. Fast Multiclass Vehicle Detection on Aerial Images // IEEE Geosci. Remote Sens. Lett. 2015;12:1-5.
[10] Moranduzzo T., Melgani F. Automatic Car Counting Method for Unmanned Aerial Vehicle Images // IEEE Trans. Geosci. Remote Sens. 2014; 52:1635-1647.
[11] Moranduzzo T., Melgani F. Detecting Cars in UAV Images With a Catalog-Based Approach // IEEE Trans. Geosci. Remote Sens. 2014; 52: 6356-6367.
[12] Chen Z., Wang C., Luo H., Wang H. Vehicle Detection in High- Resolution Aerial Images Based on Fast Sparse Representation Classification and Multiorder Feature // IEEE Trans. Intell. Transp. Syst. 2016; 17: 2296-2309.
[13] Crawford, J. Beyond supply and demand: Making the invisible hand visible // Re-Work Deep Learning Summit, San Francisco. 2016.
[14] Shao W., Yang W., Liu G., Liu J. Car detection from high-resolution aerial imagery using multiple features // IEEE Int. Geosci. Remote Sens. Symp. 2012; 53: 4379-4382.
[15] Kluckner S., Pacher G., Grabner H., Bischof H. A 3D Teacher for Car Detection in Aerial Images // Proceedings of the IEEE 11th International Conference on Computer Vision; Rio de Janeiro. 2007; pp. 1-8.
...