Целью работы является создание системы определения расстояния до объекта с помощью компьютерного стереозрения и реализации данного алгоритма на ПЛИС.
Компьютерное стереовидение - это широкая тема исследований в области компьютерного зрения. Это извлечение 3-х мерной информации из цифровых изображений. Здесь речь идет о глубине изображения или глубине отдельных объектов на нем. Сравнивая информацию о сцене с двух точек обзора, можно извлечь информацию об этой глубине, изучив относительное положение объектов на двух картинах. В рамках данной работы глубиной объекта будет называться расстояние от устройства стереовидения до интересующего объекта.
Стереокамера - это тип камеры с двумя или более датчиками изображения. Датчики позволяют камере имитировать человеческое бинокулярное зрение или фасеточное зрение насекомых и, следовательно, дают ей возможность воспринимать глубину. Данная система в наше время может использоваться в системах безопасности и контроля производства, системах продвинутого круиз- контроля в автомобилях, поэтому проекты такого плана довольно востребованы.
Стоит также отметить, что определять глубину объектов можно не только с помощью стереокамеры. Так, например, существуют системы с одним датчиком изображения, определяющие расстояние до объекта, исходя из его видимого размера в данный момент времени. Данные системы могут использовать технологии машинного обучения, в частности нейросети, благодаря чему у системы появляется возможность обучаться по какому-либо примеру. В качестве возможного примера использования такой системы может выступать система помощи диспетчера при посадке самолета. В данной работе будет произведено сравнение данных подходов к измерению расстояния до объекта и сделаны выводы о достоинствах и недостатках каждой из систем.
Человеческое бинокулярное зрение воспринимает глубину с помощью так называемого несоответствия или смещения - разницы в расположении изображения объекта, видимого левым и правым глазами, в результате
горизонтального разделения глаз. Мозг использует это смещение для извлечения информации о глубине из двумерных изображений сетчатки. В свою очередь фасеточные глаза насекомых состоят из омматидиев. Омматидии имеют вид узких, сильно вытянутых конусов, вершины которых сходятся в глубине глаза, а основания образуют его поверхность. Свет, попадающий в них, распознается глазом, и тем самым формируется изображение. В данной работе при разработке алгоритма будут использоваться принципы обеих разновидностей зрительных систем.
С помощью стереокамеры восприятие глубины компьютером может осуществляться двумя способами: пассивным и активным.
Пассивная стереокамера зависит от доступного освещения в окружающей среде и не использует никакого внешнего освещения. Она подходит для хорошо освещенных и детализированных сцен и хорошо работает при солнечном свете. В данной работе изделие представляет собой как раз пассивную стереосистему. Её преимуществом является невысокая стоимость. К недостаткам относятся посредственная работа на плохо освещенных или плохо детализированных сценах.
Активная стереокамера использует свет от специального источника – лазера или инфракрасного проектора для упрощения задачи сопоставления объектов.
...
В данной выпускной квалификационной работе были разработаны алгоритмы обработки информации для системы машинного стереозрения на ПЛИС. Алгоритмы включают в себя систему вычисления яркости омматидиев, систему определения расстояния и азимута до объекта, систему вывода информации на дисплей. Система определения расстояния и азимута реализована только на компьютере и находится в разработке на ПЛИС.
Так же были проведены сравнительные тесты систем определения расстояния при помощи триангуляции и при помощи нейросети. По результатам тестирования был сделан вывод о том, что алгоритм триангуляции не всегда точен и во многих случаях измерения по нему уступают по точности измерениям, сделанных с помощью нейросети. Однако, нейросеть может выдавать ошибочный результат, из-за недостаточного обучения. В этом случае данные системы могут дополнять друг друга, например, нейросеть может использовать данные, полученные с помощью триангуляции как «подсказку» для своих вычислений. К тому же, достоинством системы вычисления на ПЛИС является меньшее потребление вычислительных ресурсов по сравнению с алгоритмами обучения нейросети.
