Развитие метода полуглобального стереосопоставления и его применение к реконструкции поверхностей лиц
|
Введение 4
1. Постановка задачи 9
2. Известные результаты 10
3. Предлагаемые алгоритмы 15
3.1. Функции стоимости 15
3.1.1. Функция стоимости Mutual Information and Census (MIC) 15
3.1.2. Функция стоимости на основе сиамской сверточной нейронной сети (CNN) 18
3.2. Экстраполяция перекрытых регионов 21
3.2.1. Линейная экстраполяции перекрытых регионов 21
3.2.2. Экстраполяции перекрытых регионов путем голосования 24
3.3. Адаптивные веса на основе градиента изображения 26
4. Результаты экспериментов 28
5. Применение стереометода на изображениях лиц людей 37
5.1. Применение стереометода на изображениях лиц людей с известной 3D моделью 42
Заключение 45
Список литературы 47
1. Постановка задачи 9
2. Известные результаты 10
3. Предлагаемые алгоритмы 15
3.1. Функции стоимости 15
3.1.1. Функция стоимости Mutual Information and Census (MIC) 15
3.1.2. Функция стоимости на основе сиамской сверточной нейронной сети (CNN) 18
3.2. Экстраполяция перекрытых регионов 21
3.2.1. Линейная экстраполяции перекрытых регионов 21
3.2.2. Экстраполяции перекрытых регионов путем голосования 24
3.3. Адаптивные веса на основе градиента изображения 26
4. Результаты экспериментов 28
5. Применение стереометода на изображениях лиц людей 37
5.1. Применение стереометода на изображениях лиц людей с известной 3D моделью 42
Заключение 45
Список литературы 47
Нахождение расстояния до различных точек сцены относительно положения камеры - одна из важнейших задач компьютерного зрения. Самый распространенный метод для нахождения глубин точек - использовать две камеры, находящиеся друг от друга на известном расстоянии, и с помощью них получить пару изображений, левое из которых обычно называют источником, а правое - целью (типичная стереосистема приведена на рисунке 1). Описанная проблема важна во многих областях: например, автономное вождение, робототехника, спорт (генерирование промежуточных углов зрения с помощью 2 камер, см. [7]), а также реконструкция сцен и даже лиц людей, например, в целях безопасности, как в [1]. Первым этапом воссоздания полной 3D модели с помощью данного подхода является решение задачи соответствия.
Рис. 1: Схема типичной стереоустановки
Для того, чтобы воспользоваться дополнительной информацией, которая имеется в виду наличия второй камеры, необходимо знать все соответствия между точками источника и цели. Следует также учитывать две основные проблемы, которые встают на этом пути - это перекрытия и перепады глубин на краях объектов. Объект, видимый с одной камеры, может быть недосягаем для другой в виду перекрытий.
Оказывается, при известных параметрах камер (обычно сами камеры идентичны) и расстоянии между ними задачу можно свести из 2D х 2D к 1D х 1D. Рисунок 1 показывает, как одной точке проекции на источник могут соответствовать две точки цели (на самом деле ей может соответствовать целая линия цели, называемая эпиполярной, е2 на рис. 2). Если же теперь спроецировать е2 обратно на плоскость источника - получим другую эпиполярную линию - е1. Две эти линии получены от пересечения двух проективных плоскостей камер и так называемой эпиполярной плоскости OrPOr.
Рис. 2: Эпиполярное ограничение
Более эффективным является решение сначала ’’выпрямить” системы координат, так, чтобы эпиполярные линии были горизонтальны и соответствующие линии находились на одинаковой высоте (рис. 2). Для этого сначала необходимо ”виртуально” повернуть камеры, чтобы они смотрели перпендикуляро линии, соединяющей их оптические центры - OrOr . Далее регулируется кручение вокруг оптических осей камер, чтобы соответствующие эпиполярные линии были горизонтальны и смещение для точек в бесконечности было нулевым. Последнее - перемасштабировать изображения, чтобы учесть, возможно, разные фокусы камер.
Смещение между расположениями двух соответственных точек на ”выпрямленной” (также эту форму называют стандартной) паре изображений называют смещением (d = Xr — X? на рис. 3). Если рассмотреть подобные треугольники POrОт и Ррр то окажется, что смещение непосредственно связано с глубиной следующим образом:
d = B*f / Z (1)
Рис. 3: Связь смещения и глубины
И далее, имея смещение, можно получить исходные в 3D координаты (опять же, имея внутренние и внешние параметры камер), таким образом произведя второй этап - реконструкцию (на самом деле, в общем случае формулы более сложны и принимают матричную форму):
Z = B*f / d
X = Z*xR / f
Y = Z*yR / f (2)
Главной частью стереоалгоритма является поиск соответствий. Этот процесс можно разделить на следующие этапы, согласно [16]: вычисление стоимостей для каждого пикселя, вычисление их взвешенной суммы, минимизация общей стоимости для всего изображения, уточнение полученного решения (схема приведена на рис. 4). Эффективность каждой из предложенных частей непосредственно влияет на все последующие. В последнее время популярность получили так называемые глобальные алгоритмы, которые ищут гладкое решение (в том смысле, что ’’штрафуется” наличие ’’скачков” в глубинах). Однако, глобальные алгоритмы довольно медленны, поэтому ищутся всевозможные приближения к глобальному решению - это так называемые полуглобальные алгоритмы. Учитывая, что для многих аглоритмов соотношение скоро- сти/точности для различных датасетов очень сильно варьируется, проблема поиска наилучшего алгоритма для данного набора изображений все еще пользуется интересом.
Рис. 4: Схема, демонстрирующая область изучения в данной работе, и место алгоритма More global Matching (MGM)
Алгоритм Semi-global matching (SGM, алгоритм полуглобального сопоставления) - один из ведущих стереоалгоритмов, реализующий этап минимизации. Этот алгоритм использует эффективную стратегию для приблизительной минимизации энергии, которая состоит из попиксель- ной стоимости и попарной (между соседними пикселями) гладкости. На основе предложенной интерпретации SGM как алгоритма распространения доверия, совсем недавно был преложен новый алгоритм - Significantly More Global Matching (MGM, значительно более глобальный поиск соответствий [4]) - который позволяет в пять раз минимизировать зазор энергии невязки решения по сравнению с SGM, при этом почти не имеет накладных расходов. Однако сам алгоритм реализует этап минимизации, и авторы алгоритма оставили за пределами своего исследования использование вместе с их алгоритмом многих других популярных решений, лежащих на других этапах, например, использование более точной функции стоимости или борьбу с перекрытиями.
Эта работа посвящена дальнейшему развитию алгоритма MGM - применение вместе с ним алгоритмов, часть из которых модифицирована нами, но ранее применялась с SGM, а часть - впервые предложена нами, с целью выяснения, какие из них в паре с минимизационным алгоритмом MGM демонстрируют наилучший результат. В связи с тем, что MGM был разработан совсем недавно, дальнейшего развития на момент написания работы не получил.
Рис. 1: Схема типичной стереоустановки
Для того, чтобы воспользоваться дополнительной информацией, которая имеется в виду наличия второй камеры, необходимо знать все соответствия между точками источника и цели. Следует также учитывать две основные проблемы, которые встают на этом пути - это перекрытия и перепады глубин на краях объектов. Объект, видимый с одной камеры, может быть недосягаем для другой в виду перекрытий.
Оказывается, при известных параметрах камер (обычно сами камеры идентичны) и расстоянии между ними задачу можно свести из 2D х 2D к 1D х 1D. Рисунок 1 показывает, как одной точке проекции на источник могут соответствовать две точки цели (на самом деле ей может соответствовать целая линия цели, называемая эпиполярной, е2 на рис. 2). Если же теперь спроецировать е2 обратно на плоскость источника - получим другую эпиполярную линию - е1. Две эти линии получены от пересечения двух проективных плоскостей камер и так называемой эпиполярной плоскости OrPOr.
Рис. 2: Эпиполярное ограничение
Более эффективным является решение сначала ’’выпрямить” системы координат, так, чтобы эпиполярные линии были горизонтальны и соответствующие линии находились на одинаковой высоте (рис. 2). Для этого сначала необходимо ”виртуально” повернуть камеры, чтобы они смотрели перпендикуляро линии, соединяющей их оптические центры - OrOr . Далее регулируется кручение вокруг оптических осей камер, чтобы соответствующие эпиполярные линии были горизонтальны и смещение для точек в бесконечности было нулевым. Последнее - перемасштабировать изображения, чтобы учесть, возможно, разные фокусы камер.
Смещение между расположениями двух соответственных точек на ”выпрямленной” (также эту форму называют стандартной) паре изображений называют смещением (d = Xr — X? на рис. 3). Если рассмотреть подобные треугольники POrОт и Ррр то окажется, что смещение непосредственно связано с глубиной следующим образом:
d = B*f / Z (1)
Рис. 3: Связь смещения и глубины
И далее, имея смещение, можно получить исходные в 3D координаты (опять же, имея внутренние и внешние параметры камер), таким образом произведя второй этап - реконструкцию (на самом деле, в общем случае формулы более сложны и принимают матричную форму):
Z = B*f / d
X = Z*xR / f
Y = Z*yR / f (2)
Главной частью стереоалгоритма является поиск соответствий. Этот процесс можно разделить на следующие этапы, согласно [16]: вычисление стоимостей для каждого пикселя, вычисление их взвешенной суммы, минимизация общей стоимости для всего изображения, уточнение полученного решения (схема приведена на рис. 4). Эффективность каждой из предложенных частей непосредственно влияет на все последующие. В последнее время популярность получили так называемые глобальные алгоритмы, которые ищут гладкое решение (в том смысле, что ’’штрафуется” наличие ’’скачков” в глубинах). Однако, глобальные алгоритмы довольно медленны, поэтому ищутся всевозможные приближения к глобальному решению - это так называемые полуглобальные алгоритмы. Учитывая, что для многих аглоритмов соотношение скоро- сти/точности для различных датасетов очень сильно варьируется, проблема поиска наилучшего алгоритма для данного набора изображений все еще пользуется интересом.
Рис. 4: Схема, демонстрирующая область изучения в данной работе, и место алгоритма More global Matching (MGM)
Алгоритм Semi-global matching (SGM, алгоритм полуглобального сопоставления) - один из ведущих стереоалгоритмов, реализующий этап минимизации. Этот алгоритм использует эффективную стратегию для приблизительной минимизации энергии, которая состоит из попиксель- ной стоимости и попарной (между соседними пикселями) гладкости. На основе предложенной интерпретации SGM как алгоритма распространения доверия, совсем недавно был преложен новый алгоритм - Significantly More Global Matching (MGM, значительно более глобальный поиск соответствий [4]) - который позволяет в пять раз минимизировать зазор энергии невязки решения по сравнению с SGM, при этом почти не имеет накладных расходов. Однако сам алгоритм реализует этап минимизации, и авторы алгоритма оставили за пределами своего исследования использование вместе с их алгоритмом многих других популярных решений, лежащих на других этапах, например, использование более точной функции стоимости или борьбу с перекрытиями.
Эта работа посвящена дальнейшему развитию алгоритма MGM - применение вместе с ним алгоритмов, часть из которых модифицирована нами, но ранее применялась с SGM, а часть - впервые предложена нами, с целью выяснения, какие из них в паре с минимизационным алгоритмом MGM демонстрируют наилучший результат. В связи с тем, что MGM был разработан совсем недавно, дальнейшего развития на момент написания работы не получил.
В ходе работы были выполнены следующие задачи:
1. Адаптация MGM [4] под библиотеку OpenCV
2. Разработка и реализация алгоритма оценки стоимостей на основе синтеза алгоритмов Census и Mutual Information [6], дабы добиться устойчивости к сложным радиометрическим изменениям на изображениях
3. Разработка и реализация функции стоимостей на основе сиамких сверточных нейронных сетей
4. Разработка и реализация алгоритма поиска перекрытий и устранение их проявлений (а вместе с тем и повышения точности самого алгоритма)
5. Использование адаптивных весов на основе градиента
6. Проверка полученного алгоритма на наборах изображений Middlebury, а также на наборах изображений лиц людей и анализ полученных результатов
В результате нашей работы было показано, что предложенные функции стоимости в сочетании с MGM устойчиво работают на датасете Middlebury (в метриках bad 1.0 и avgerr), представляющем трудности для всех стерео-алгоритмов, по точности превосходя стандартную для MGM функцию стоимости census. Функция стоимости на основе ССНС демонстрирует наилучшую точность, однако в следствие большого объема вычислений и отсутствия реализации на GPU, подходит лишь для датасетов, требующих высокой точности, но не требующих большой скорости вычислений. Линейная экстраполяция перекрытий продемонстрировала многократный прирост точности в перекрытых регионах, что в сочетании со сложностью ее применения O(W * Н) делает ее использование рекомендуемым.
Применение предложенных алгоритмом на изображениях лиц людей показало, что результаты, полученные при использовании различных функций стоимости на данном наборе изображений, различны для метрик avgerr и bad 1.0. Выбор той или иной функции стоимости в данном случае должен зависеть от метрики, в которой необходимо получить наилучший результат. Использование экстраполяции на данном датасете не оправдало себя. В качестве дальнейшей работы оставлено обучение и применение новой функции стоимости CNN на наборах изображений, содержащих лица людей.
1. Адаптация MGM [4] под библиотеку OpenCV
2. Разработка и реализация алгоритма оценки стоимостей на основе синтеза алгоритмов Census и Mutual Information [6], дабы добиться устойчивости к сложным радиометрическим изменениям на изображениях
3. Разработка и реализация функции стоимостей на основе сиамких сверточных нейронных сетей
4. Разработка и реализация алгоритма поиска перекрытий и устранение их проявлений (а вместе с тем и повышения точности самого алгоритма)
5. Использование адаптивных весов на основе градиента
6. Проверка полученного алгоритма на наборах изображений Middlebury, а также на наборах изображений лиц людей и анализ полученных результатов
В результате нашей работы было показано, что предложенные функции стоимости в сочетании с MGM устойчиво работают на датасете Middlebury (в метриках bad 1.0 и avgerr), представляющем трудности для всех стерео-алгоритмов, по точности превосходя стандартную для MGM функцию стоимости census. Функция стоимости на основе ССНС демонстрирует наилучшую точность, однако в следствие большого объема вычислений и отсутствия реализации на GPU, подходит лишь для датасетов, требующих высокой точности, но не требующих большой скорости вычислений. Линейная экстраполяция перекрытий продемонстрировала многократный прирост точности в перекрытых регионах, что в сочетании со сложностью ее применения O(W * Н) делает ее использование рекомендуемым.
Применение предложенных алгоритмом на изображениях лиц людей показало, что результаты, полученные при использовании различных функций стоимости на данном наборе изображений, различны для метрик avgerr и bad 1.0. Выбор той или иной функции стоимости в данном случае должен зависеть от метрики, в которой необходимо получить наилучший результат. Использование экстраполяции на данном датасете не оправдало себя. В качестве дальнейшей работы оставлено обучение и применение новой функции стоимости CNN на наборах изображений, содержащих лица людей.
Подобные работы
- Развитие метода полуглобального стереосопоставления и его применение к реконструкции поверхностей лиц
Бакалаврская работа, информационные системы. Язык работы: Русский. Цена: 4260 р. Год сдачи: 2016