Модификация метода Виолы-Джонса путём фильтрации входного потока с помощью оператора Лапласа
|
Введение 3
1 Степень разработанности темы исследования 7
1.1 Существующие исследования по теме 8
1.2 Выводы: по существующим исследованиям 10
2 Современные подходы к решению задачи 11
2.1 Deformable Part Models 13
2.2 Scale-Invariant Feature Transform (SIFT) 16
2.3 Speeded Up Robust Features 19
2.4 Gradient Location Orientation Histogram (GLOH) 21
2.5 Histogram of Oriented Gradients (HOG) 22
2.6 Метод Виолы-Джонса 29
2.7 Выбор подхода 35
3 Варианты улучшения алгоритма. 37
3.1 Сглаживающий фильтр Гаусса 37
3.2 Выделение границ 42
3.3 Оператор Превитта. 47
3.4 Оператор Собеля 51
3.5 Оператор Лапласа 54
3.6 Детектор границ Канни 57
3.7 RASW - Runtime Adapting Sliding Window 60
3.8 Выбор способа улучшения метода Виолы-Джонса. 62
Глава 4 Описание выбранного решения 64
4.1 Реализация 65
4.2 Результаты работы реализации 70
Заключение 82
Список используемой литературы 83
1 Степень разработанности темы исследования 7
1.1 Существующие исследования по теме 8
1.2 Выводы: по существующим исследованиям 10
2 Современные подходы к решению задачи 11
2.1 Deformable Part Models 13
2.2 Scale-Invariant Feature Transform (SIFT) 16
2.3 Speeded Up Robust Features 19
2.4 Gradient Location Orientation Histogram (GLOH) 21
2.5 Histogram of Oriented Gradients (HOG) 22
2.6 Метод Виолы-Джонса 29
2.7 Выбор подхода 35
3 Варианты улучшения алгоритма. 37
3.1 Сглаживающий фильтр Гаусса 37
3.2 Выделение границ 42
3.3 Оператор Превитта. 47
3.4 Оператор Собеля 51
3.5 Оператор Лапласа 54
3.6 Детектор границ Канни 57
3.7 RASW - Runtime Adapting Sliding Window 60
3.8 Выбор способа улучшения метода Виолы-Джонса. 62
Глава 4 Описание выбранного решения 64
4.1 Реализация 65
4.2 Результаты работы реализации 70
Заключение 82
Список используемой литературы 83
Способность видеть и различать объекты - нечто естественное и привычное для большинства людей. Однако, даже для сложных компьютерных систем на данный момент - это является чрезвычайно сложной задачей. Сейчас весьма большое количество исследовательских команд и даже целые корпорации предпринимают попытки обучить компьютер по крайней мере отчасти тому, что человек делает ежедневно, даже того не замечая.
Актуальность темы исследования:
Исследования, посвященные улучшению работы методов компьютерного зрения, являются крайне актуальными по многим причинам. Существует множество задач, решение которых не представляется возможным без использования методов компьютерного зрения, или же существенно упрощается с их помощью. Область применения машинного зрения весьма широка: от считывателей штрих-кодов и QR-кодов в супермаркетах до приложений дополненной реальности (Augmented Reality).
В данной работе речь пойдёт об улучшении методов компьютерного зрения для решения одной из таких задач, выполняемых методами компьютерного зрения, а именно - о задаче поиска пешеходов на изображении . При реализации интеллектуальных систем от разработчика часто требуется анализировать изображения с целью поиска на них определённых объектов, например автомобилей, людей, знаков дорожного движения и т.п. Существует множество стандартных алгоритмов для решения задач локализации объектов, например HOG-SVM, метод Виолы-Джонса, Deformable Part Models и т.д., однако, проблемой некоторых существующих алгоритмов в определённых задачах, например, метода Виолы-Джонса является их относительно-низкая точность работы, поэтому исследования, направленные на повышение точности работы алгоритма являются актуальными.
Научная проблема исследования:
При решении вышеописанных задач возникает множество проблем, связанных с действиями в экстренных ситуациях, таких как пешеход на проезжей части. Для решения подобных проблем используются методы компьютерного зрения, а именно - обнаружения объектов, в данном случае пешеходов, на изображении.
Абсолютное большинство методов компьютерного зрения разрабатываются и настраиваются на конкретную задачу с помощью методов машинного обучения, которые позволяют определить значимые признаки и их значения, соответствующие искомым объектам.
Следует отметить, что не существует идеальных методов компьютерного зрения, и даже если сконцентрироваться на какой-либо конкретной задаче, как, например, задача поиска пешеходов на изображении, не существует метода, который не имел бы каких-либо недостатков. Например, одним из распространённых недостатков большинства методов компьютерного зрения является то, что они имеют трудоёмкость, которая зависит квадратично или даже кубично от объёма входных данных, вследствие чего их работа при решении различных серьёзных задач может быть слишком медлительной. Методы, которые не создают большую вычислительную нагрузку в свою очередь имеют сравнительно низкую эффективность обнаружения, что создаёт проблему недостатка пригодных альтернатив методам с высокой вычислительной нагрузкой.
Таким образом, научная проблема и актуальность исследования обусловлены несовершенством современных методов поиска пешеходов на изображении и нехваткой пригодных для подобной задачи альтернативных методов.
Объект исследования - компьютерное зрение в задаче поиска пешеходов на изображении.
Предмет исследования - использование метода Виолы-Джонса в задаче поиска пешеходов на изображении и модификации, способствующие улучшению его работы.
Цель исследования - модификация метода Виолы-Джонса с целью улучшения результатов его работы при приложении к задаче локализации людей на изображении.
Задачами работы являются:
1) Изучить особенности работы алгоритма Виолы-Джонса;
2) Разработка математической алгоритмической модели улучшения метода Виолы-Джонса за счёт предобработки входного изображения;
3) Разработать программное обеспечение, демонстрирующее работу данного подхода;
4) Протестировать модифицированный метод на основе тестовой выборки;
Гипотеза - результаты эксперимента по модификации метода Виолы - Джонса покажут уменьшение количества ошибок первого и второго рода при его работе в задаче поиска пешеходов на изображении.
Методологическая основа данной работы - сравнение, измерение и эксперимент.
В данной работе используется подход к решению описанной проблемы, опирающийся на проведение абстрактного (оторванного от реальной ситуации на дороге) испытания метода Виолы-Джонса с использованием предложенных модификаций и без них на наборе тестовых изображений. Полученные результаты работы, дающие представление о эффективности методов, позволят определить насколько предложенная модификация окажется полезной на практике, чем определяется практическая значимость исследования. Результаты испытания представлены с помощью графика кривых ROC, который позволяет наглядно представить и оценить количество объектов, верно - классифицированных в процессе работы методов.
Новизна исследования: установлено, что использование оператора Лапласа вместе со сглаживающим фильтром Гаусса для предобработки изображения позволяет повысить точность работы метода Виолы-Джонса в задачах локализации человека на 15-20%.
В ходе исследования установлено, что применение оператора Лапласа в сочетании с размытием по Гауссу ко входному потоку метода Виолы-Джонса приводит к уменьшению количества ошибок второго рода на 15-20%. При этом использование данной модификации приводит к увеличению количества ошибок первого рода, которое, впрочем, может быть нивелировано путём увеличения обучающей выборки.
Объем и структура диссертации: диссертационное исследование состоит из введения, 4 глав, заключения, библиографии (64 наименования). Работа изложена на 92 страницах, содержит 54 рисунка.
Актуальность темы исследования:
Исследования, посвященные улучшению работы методов компьютерного зрения, являются крайне актуальными по многим причинам. Существует множество задач, решение которых не представляется возможным без использования методов компьютерного зрения, или же существенно упрощается с их помощью. Область применения машинного зрения весьма широка: от считывателей штрих-кодов и QR-кодов в супермаркетах до приложений дополненной реальности (Augmented Reality).
В данной работе речь пойдёт об улучшении методов компьютерного зрения для решения одной из таких задач, выполняемых методами компьютерного зрения, а именно - о задаче поиска пешеходов на изображении . При реализации интеллектуальных систем от разработчика часто требуется анализировать изображения с целью поиска на них определённых объектов, например автомобилей, людей, знаков дорожного движения и т.п. Существует множество стандартных алгоритмов для решения задач локализации объектов, например HOG-SVM, метод Виолы-Джонса, Deformable Part Models и т.д., однако, проблемой некоторых существующих алгоритмов в определённых задачах, например, метода Виолы-Джонса является их относительно-низкая точность работы, поэтому исследования, направленные на повышение точности работы алгоритма являются актуальными.
Научная проблема исследования:
При решении вышеописанных задач возникает множество проблем, связанных с действиями в экстренных ситуациях, таких как пешеход на проезжей части. Для решения подобных проблем используются методы компьютерного зрения, а именно - обнаружения объектов, в данном случае пешеходов, на изображении.
Абсолютное большинство методов компьютерного зрения разрабатываются и настраиваются на конкретную задачу с помощью методов машинного обучения, которые позволяют определить значимые признаки и их значения, соответствующие искомым объектам.
Следует отметить, что не существует идеальных методов компьютерного зрения, и даже если сконцентрироваться на какой-либо конкретной задаче, как, например, задача поиска пешеходов на изображении, не существует метода, который не имел бы каких-либо недостатков. Например, одним из распространённых недостатков большинства методов компьютерного зрения является то, что они имеют трудоёмкость, которая зависит квадратично или даже кубично от объёма входных данных, вследствие чего их работа при решении различных серьёзных задач может быть слишком медлительной. Методы, которые не создают большую вычислительную нагрузку в свою очередь имеют сравнительно низкую эффективность обнаружения, что создаёт проблему недостатка пригодных альтернатив методам с высокой вычислительной нагрузкой.
Таким образом, научная проблема и актуальность исследования обусловлены несовершенством современных методов поиска пешеходов на изображении и нехваткой пригодных для подобной задачи альтернативных методов.
Объект исследования - компьютерное зрение в задаче поиска пешеходов на изображении.
Предмет исследования - использование метода Виолы-Джонса в задаче поиска пешеходов на изображении и модификации, способствующие улучшению его работы.
Цель исследования - модификация метода Виолы-Джонса с целью улучшения результатов его работы при приложении к задаче локализации людей на изображении.
Задачами работы являются:
1) Изучить особенности работы алгоритма Виолы-Джонса;
2) Разработка математической алгоритмической модели улучшения метода Виолы-Джонса за счёт предобработки входного изображения;
3) Разработать программное обеспечение, демонстрирующее работу данного подхода;
4) Протестировать модифицированный метод на основе тестовой выборки;
Гипотеза - результаты эксперимента по модификации метода Виолы - Джонса покажут уменьшение количества ошибок первого и второго рода при его работе в задаче поиска пешеходов на изображении.
Методологическая основа данной работы - сравнение, измерение и эксперимент.
В данной работе используется подход к решению описанной проблемы, опирающийся на проведение абстрактного (оторванного от реальной ситуации на дороге) испытания метода Виолы-Джонса с использованием предложенных модификаций и без них на наборе тестовых изображений. Полученные результаты работы, дающие представление о эффективности методов, позволят определить насколько предложенная модификация окажется полезной на практике, чем определяется практическая значимость исследования. Результаты испытания представлены с помощью графика кривых ROC, который позволяет наглядно представить и оценить количество объектов, верно - классифицированных в процессе работы методов.
Новизна исследования: установлено, что использование оператора Лапласа вместе со сглаживающим фильтром Гаусса для предобработки изображения позволяет повысить точность работы метода Виолы-Джонса в задачах локализации человека на 15-20%.
В ходе исследования установлено, что применение оператора Лапласа в сочетании с размытием по Гауссу ко входному потоку метода Виолы-Джонса приводит к уменьшению количества ошибок второго рода на 15-20%. При этом использование данной модификации приводит к увеличению количества ошибок первого рода, которое, впрочем, может быть нивелировано путём увеличения обучающей выборки.
Объем и структура диссертации: диссертационное исследование состоит из введения, 4 глав, заключения, библиографии (64 наименования). Работа изложена на 92 страницах, содержит 54 рисунка.
На основании приведённых примеров установлено, что применение предложенного автором метода приведёт к увеличению TPR (True Positive Response, или верный позитивный ответ) выводов о наличии человека на изображении, однако при этом увеличивается FPR (False Positive Response, или ложный положительный ответ), что недопустимо в задаче поиска человека на изображении.
Однако, проблема высокого FPR, при использовании методов машинного обучения решаема с помощью увеличения обучающей выборки. Подобные результаты эксперимента позволяют сделать вывод о том, что выбранная модификация метода Виолы-Джонса требует большой обучающей выборки, чтобы избежать проблемы высокого FPR, однако даже в таком виде, она показывает результаты работы, превосходящие результаты работы классического метода, что позволяет говорить о возможности применения данного метода в различных прикладных задачах.
Однако, проблема высокого FPR, при использовании методов машинного обучения решаема с помощью увеличения обучающей выборки. Подобные результаты эксперимента позволяют сделать вывод о том, что выбранная модификация метода Виолы-Джонса требует большой обучающей выборки, чтобы избежать проблемы высокого FPR, однако даже в таком виде, она показывает результаты работы, превосходящие результаты работы классического метода, что позволяет говорить о возможности применения данного метода в различных прикладных задачах.