Введение 3
1 R-CNN и основанные на нем методы 5
1.1 R-CNN 6
1.2 Fast R-CNN 7
1.2.1 Сверточная нейронная сеть VGG-16 8
1.2.2 Инициализация из предтренированной нейронной сети 9
1.2.3 RoI Pooling слой 9
1.2.4 Обучение 10
1.3 Faster R-CNN 11
1.3.1 Region Proposal Network 13
1.3.2 Обучение RPN 14
1.3.3 Обучение общих слоев для Fast R-CNN и RPN .... 15
1.3.4 Способы улучшения 16
1.4 Другие методы обнаружения объектов 17
1.4.1 YOLO 17
1.4.2 SSD 17
1.5 Ансамбль детекторов 17
2 Co-traning 18
2.1 Задача co-traning 18
2.2 Следующий шаг в развитии ансамбля 20
2.3 Аннотирование данных с помощью ансамбля 20
3 Аннотирование данных 22
3.1 MS COCO 22
3.2 Доработанный алгоритм аннотирования данных
4 Предобработка полученных аннотаций 23
5 т - нотация 24
6 Совместное обучение 25
6.1 Модификация целевой функции 26
6.2 Random Crop 30
Заключение 33
Список литературы
Приложение
Обнаружение объектов - важная с точки зрения прикладной науки задача, которая до сих пор не имеет эффективных методов решения. Задача обнаружения объекта сводится к его локализации и классификации.
Последнее десятилетие использовались в основном методы неглубокого машинного обучения. Однако, в последствии сыскали популярность сверточные нейронные сети. Они широко использовались в девяностых годах двадцатого века, но после уступили свою лидирующую позицию SVM (метод опорных векторов). После появление больших вычислительных мощностей, больших объемов данных для составления больших обучающих выборок, развития алгоритмов машинного обучения появилась возможность обучения глубоких сверточных нейронных сетей, которые значительно превосходили существующие методы в точности. Это было продемонстрировано в 2012 году Крижевским на соревновании ImageNet Large Scale Visual Recognition Challenge, где его метод, основанный на сверточных нейронных сетях, показал наилучшие результаты.
С тех пор методы с использованием сверточных нейронных сетей получили новое развитие. До последнего времени все они использовали методы перебора регионов изображения с помощью скользящего окна для классификации изображений, что значительно сказывалось на производительности системы. В попытке найти решение данной проблемы исследователи стали использовать методы основанные на выделении регионов интереса. С помощью этих методов мы значительно сокращаем количество входных данных для обработки одного изображения, а следовательно возрастает производительность.
Для повышения точности методов обнаружения объектов было предложено составить ансамбль современных детекторов, использующих сверточные нейронные сети.
Задача обнаружения объектов. В отличие от задачи классификации задача обнаружения объектов на изображении включает в себя не только классификацию, но и локализацию объекта на изображении. Задача локализация часто ставится как задача регрессии.
Мы также обучаем нашу модель не только для успешной классификации, но и для улучшения локализации объектов. Таким образом обучающая выборка для задачи обнаружения объектов состоит не только из метки класса, но также добавляется ограничивающий прямоугольник, определяющий положение каждого объекта на изображении.
Задача автоматического аннотирования данных. Одной из основных проблем в обучении нейронных сетей является недостаточный объем набора данных. Глубокие нейронные сети требуют очень большого набора размеченных данных для лучшего обучения. Но так как данные размечаются вручную, аннотирование данных является очень дорогой задачей.
Решением этой проблемы является автоматическое аннотирование данных при помощи уже обученного метода обнаружения объектов. Однако разметка данных с помощью одного метода, для его последующего дообучения, является неэффективным подходом, так как ошибка будет постоянно расти. Один из вариантов решения этой проблемы - совместное обучение.
Был разработан программный комплекс для аннотирования дополнительных неразмеченных данных для детектора Faster R-CNN, на которых в дальнейшем происходит его дообучение. Аннотирование происходило с помощью результатов работы детектора SSD.
Был произведен анализ получившихся аннотаций, в результате которого стало известно, что множество аннотаций являются неточными. Были произведены различные модификации детектора для обработки аннотаций и исключения влияния неточных аннотаций, направленные на улучшение точности при совместном обучении.
Результаты совместного обучения метода Faster R-CNN оказались ниже исходных. Однако были получены некоторые улучшения точности, при модификациях, по сравнению с дообучением с исходной целевой функцией и данными. Следовательно, мы можем сделать вывод о том, что обучение сильно зависит от полноты аннотаций, то есть изображение должно иметь максимально большое количество размеченных объектов.
