Разработка универсальной стереоскопической системы машинного зрения
|
ВВЕДЕНИЕ 6
1. КОНСТРУКТОРСКАЯ ЧАСТЬ 8
1.1 .Стереоскопическое зрение и параллакс 8
1.1.1. Стереоскопическое зрение у человека 8
1.1.2. Параллакс 8
1.1.3. Определение дальности объекта 9
1.1.4. Определение координат объекта 9
1.2. Машинное стереоскопическое зрение 11
1.2.1. Проективная геометрия 11
1.2.2. Ректификация стереопары 12
1.2.3. Калибровка камер 12
1.2.4. Карта смещений 13
1.2.5. Заслонённые области 13
1.3. Проблема соответствия 14
1.3.1. Сдвиг и отклик 14
1.3.2. Реальные изображения 15
1.3.3. Функция отклика 17
1.4. Выводы по конструкторской части 18
2. ИССЛЕДОВАТЕЛЬСКАЯ ЧАСТЬ 19
2.1 .Классификация методов 19
2.2. Локальные методы 19
2.2.1. Коррелирующие области 20
2.2.2. Сетка сегментов 23
2.2.1. Размер сегмента и его отклик 23
2.2.2. Выбор размера сегмента 25
2.2.3. Отклик сегмента 25
2.3. Глобальные методы 26
2.3.1. Особенности глобального подхода 26
2.3.2. Использование сети точек 27
2.3.1. Использование ключевых точек 27
2.4. Полуглобальные методы 28
2.4.1. Использование карты соответствия 29
2.5. Выводы по исследовательской части 31
3. ТЕХНОЛОГИЧЕСКАЯ ЧАСТЬ 33
3.1 .Назначение разработанной системы 33
3.2. Структура системы 33
3.3. Я-модуль: ректификация стереопары 35
3.4.2-модуль: изменение разрешения изображений 35
3.5. P-модуль: получение откликов изображений 35
3.6. У-модуль: корректировка смещений 36
3.7.S-модуль: сужение зоны поиска для сегментов 36
3.7.1. Отклики сегментов 37
3.7.2. Индексация сегментов 38
3.7.3. Визуализация результатов работы модуля 38
3.8. М-модуль: смещения сегментов 39
3.8.1. Индексация сегментов 40
3.8.2. Структура М-модуля 40
3.8.3. Построение маски поиска 40
3.8.4. Разрешение конфликтов между масками сдвига 43
3.8.5. Условия завершения основного цикла 48
3.9. Н-модуль: анализ цветовых гистограмм 48
3.9.1. Гистограмма распределения цветов 48
3.9.2. Сжатая гистограмма яркости 48
3.9.3. Сжатая RGB-гистограмма 49
3.9.4. Редкие и частые цвета 50
3.9.5. Фильтрация маски пикселов редкого цвета 52
З.Ю.и-модуль: смещения бестекстурных областей
3.10.1. Структура U-модуля 53
3.10.2. Условия завершения основного цикла 54
3.1 l.E-модуль: смещения областей уникального цвета 54
3.11.1. Структура E-модуля 54
3.11.2. Использование карт соответствия 55
3.12. C-модуль: вспомогательная цветовая информация 57
3.12.1. Пестрота участка изображения 57
3.12.2. Маска цветовых градиентов 59
3.13. X-модуль: объединение карт смещений 60
3.13.1. Согласование карт смещений 60
3.13.2. Использование карт достоверностей 61
3.13.3. Основной цикл X-модуля 61
3.13.4. Вычисление весов записей 63
3.13.5. Сортировка записей по значению веса 65
3.13.6. Обмен записей с соседними узлами 65
3.13.7. Окончание основного цикла 66
3.13.8. Модификация X-модуля 66
3.14. D-модуль 67
3.15. Т-модуль 67
3.16. Параллельные вычисления в системе 68
3.17. Результаты работы системы 69
3.18. Выводы по технологической части 70
4. Промышленная экология и безопасность 71
4.1 .Анализ основных факторов воздействия среды на оператора ПК 71
4.1.1. Общие положения 73
4.1.2. Обеспечение параметров микроклимата 73
4.1.3. Обеспечение освещения рабочего места 75
4.1.4. Оптимальное размещение оборудования 75
4.1.5. Проектирование основных элементов рабочего места 76
4.1.6. Обеспечение электробезопасности 77
4.1.7. Обеспечение допустимого уровня шума 78
4.1.8. Обеспечение пожаробезопасности 79
4.2. Расчет системы освещения 80
4.2.1. Выбор источников света и системы освещения 81
4.2.2. Выбор осветительных приборов 81
4.2.3. Размещение осветительных приборов 81
4.2.4. Выбор освещенности и коэффициента запаса 83
4.2.5. Расчет системы освещения офисного помещения 83
4.3. Утилизация картриджей печатающих устройств 85
4.4. Выводы по экологической части 87
5. ТЕХНИКО-ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ 89
5.1. Введение 89
5.2. Определение этапов выполнения НИОКР 89
5.3. Календарный график выполнения НИОКР 93
5.4. Расчет стоимости выполнения НИОКР 94
5.5. Расчёт материальных затрат 95
5.6. Расчет основной заработной платы 95
5.7. Расчёт отчислений на социальные нужды 96
5.8. Расчет амортизационных отчислений 96
5.9. Расчёт прочих затрат 97
5.10. Результаты расчётов затрат 98
5.5. Выводы по экономической части 99
ЗАКЛЮЧЕНИЕ 100
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 101
1. КОНСТРУКТОРСКАЯ ЧАСТЬ 8
1.1 .Стереоскопическое зрение и параллакс 8
1.1.1. Стереоскопическое зрение у человека 8
1.1.2. Параллакс 8
1.1.3. Определение дальности объекта 9
1.1.4. Определение координат объекта 9
1.2. Машинное стереоскопическое зрение 11
1.2.1. Проективная геометрия 11
1.2.2. Ректификация стереопары 12
1.2.3. Калибровка камер 12
1.2.4. Карта смещений 13
1.2.5. Заслонённые области 13
1.3. Проблема соответствия 14
1.3.1. Сдвиг и отклик 14
1.3.2. Реальные изображения 15
1.3.3. Функция отклика 17
1.4. Выводы по конструкторской части 18
2. ИССЛЕДОВАТЕЛЬСКАЯ ЧАСТЬ 19
2.1 .Классификация методов 19
2.2. Локальные методы 19
2.2.1. Коррелирующие области 20
2.2.2. Сетка сегментов 23
2.2.1. Размер сегмента и его отклик 23
2.2.2. Выбор размера сегмента 25
2.2.3. Отклик сегмента 25
2.3. Глобальные методы 26
2.3.1. Особенности глобального подхода 26
2.3.2. Использование сети точек 27
2.3.1. Использование ключевых точек 27
2.4. Полуглобальные методы 28
2.4.1. Использование карты соответствия 29
2.5. Выводы по исследовательской части 31
3. ТЕХНОЛОГИЧЕСКАЯ ЧАСТЬ 33
3.1 .Назначение разработанной системы 33
3.2. Структура системы 33
3.3. Я-модуль: ректификация стереопары 35
3.4.2-модуль: изменение разрешения изображений 35
3.5. P-модуль: получение откликов изображений 35
3.6. У-модуль: корректировка смещений 36
3.7.S-модуль: сужение зоны поиска для сегментов 36
3.7.1. Отклики сегментов 37
3.7.2. Индексация сегментов 38
3.7.3. Визуализация результатов работы модуля 38
3.8. М-модуль: смещения сегментов 39
3.8.1. Индексация сегментов 40
3.8.2. Структура М-модуля 40
3.8.3. Построение маски поиска 40
3.8.4. Разрешение конфликтов между масками сдвига 43
3.8.5. Условия завершения основного цикла 48
3.9. Н-модуль: анализ цветовых гистограмм 48
3.9.1. Гистограмма распределения цветов 48
3.9.2. Сжатая гистограмма яркости 48
3.9.3. Сжатая RGB-гистограмма 49
3.9.4. Редкие и частые цвета 50
3.9.5. Фильтрация маски пикселов редкого цвета 52
З.Ю.и-модуль: смещения бестекстурных областей
3.10.1. Структура U-модуля 53
3.10.2. Условия завершения основного цикла 54
3.1 l.E-модуль: смещения областей уникального цвета 54
3.11.1. Структура E-модуля 54
3.11.2. Использование карт соответствия 55
3.12. C-модуль: вспомогательная цветовая информация 57
3.12.1. Пестрота участка изображения 57
3.12.2. Маска цветовых градиентов 59
3.13. X-модуль: объединение карт смещений 60
3.13.1. Согласование карт смещений 60
3.13.2. Использование карт достоверностей 61
3.13.3. Основной цикл X-модуля 61
3.13.4. Вычисление весов записей 63
3.13.5. Сортировка записей по значению веса 65
3.13.6. Обмен записей с соседними узлами 65
3.13.7. Окончание основного цикла 66
3.13.8. Модификация X-модуля 66
3.14. D-модуль 67
3.15. Т-модуль 67
3.16. Параллельные вычисления в системе 68
3.17. Результаты работы системы 69
3.18. Выводы по технологической части 70
4. Промышленная экология и безопасность 71
4.1 .Анализ основных факторов воздействия среды на оператора ПК 71
4.1.1. Общие положения 73
4.1.2. Обеспечение параметров микроклимата 73
4.1.3. Обеспечение освещения рабочего места 75
4.1.4. Оптимальное размещение оборудования 75
4.1.5. Проектирование основных элементов рабочего места 76
4.1.6. Обеспечение электробезопасности 77
4.1.7. Обеспечение допустимого уровня шума 78
4.1.8. Обеспечение пожаробезопасности 79
4.2. Расчет системы освещения 80
4.2.1. Выбор источников света и системы освещения 81
4.2.2. Выбор осветительных приборов 81
4.2.3. Размещение осветительных приборов 81
4.2.4. Выбор освещенности и коэффициента запаса 83
4.2.5. Расчет системы освещения офисного помещения 83
4.3. Утилизация картриджей печатающих устройств 85
4.4. Выводы по экологической части 87
5. ТЕХНИКО-ЭКОНОМИЧЕСКОЕ ОБОСНОВАНИЕ 89
5.1. Введение 89
5.2. Определение этапов выполнения НИОКР 89
5.3. Календарный график выполнения НИОКР 93
5.4. Расчет стоимости выполнения НИОКР 94
5.5. Расчёт материальных затрат 95
5.6. Расчет основной заработной платы 95
5.7. Расчёт отчислений на социальные нужды 96
5.8. Расчет амортизационных отчислений 96
5.9. Расчёт прочих затрат 97
5.10. Результаты расчётов затрат 98
5.5. Выводы по экономической части 99
ЗАКЛЮЧЕНИЕ 100
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 101
Трёхмерное машинное зрение востребовано во многих технических областях, таких как контроль производства, робототехника, топография и военная разведка, моделирование, системы активной безопасности в автомобилестроении, медицина и другие. Потребность в трёхмерном зрении остро стоит в интеллектуальных робототехнических комплексах - для распознавания объектов и ориентации в пространстве роботу необходимо быстро и безошибочно строить объёмные модели окружающего пространства. В то время, как, например, производственная система машинного зрения призвана решать достаточно узкий круг задач и работать в заранее известных условиях, робототехническая зрительная система должна создаваться с учётом принципиальной неизвестности количества, вида и размера объектов, находящихся в поле зрения робота в очередной момент времени. Другими словами, машинное зрение в робототехнике должно работать так, как работает зрительная система человека, - обеспечивать использующее её устройство трёхмерной моделью видимого пространства вне зависимости от содержания этого пространства.
Для построения модели пространства используется карта глубины - изображение, каждый пиксел которого несёт информацию об удалённости соответствующего ему участка пространства. Карта глубины может быть получена с помощью специальной камеры глубины (использующей подсветку для сканирования пространства), либо с помощью пары обычных изображений - стереопары. Системы, использующие подсветку, называют активными, а использующие стереопару - пассивными, или стереоскопическими. Так, зрительная система человека является стереоскопической.
Использование подсветки позволяет добиться высокой точности построения карты глубины при малых вычислительных затратах. Например, по скорости скольжения лазерного луча по поверхности можно судить о её удалённости, а использование структурированной подсветки в виде сетки или уникального узора позволяет быстро и достаточно легко восстанавливать рельеф видимой поверхности. Тем не менее, подсветки по ряду причин бывает недостаточно - в первую очередь из-за малой предельной дальности - в случае подсветки (несколько метров) - или малого участка поверхности, обрабатываемого в единицу времени - в случае лазерного луча. Кроме того, например, в военном применении роботов подсветка может демаскировать устройство и, стало быть, в ряде случаев недопустима. Ограничение максимальной дальности или сектора обзора затрудняет применение активных систем в оперативной воздушной разведке, а в случае использования нескольких роботов в ограниченном пространстве их подсветки могут конфликтовать, что будет являться источником дополнительных проблем.
В современной экстремальной робототехнике активная и пассивная системы зрения обычно работают в паре: на дальних расстояниях работает стереоскопическая система, а на близких используется ИК-подсветка и камеры глубины [1].
Разработка универсальной стереоскопической системы машинного зрения является одной из наиболее сложных и интересных задач в области обработки изображений.
Для построения модели пространства используется карта глубины - изображение, каждый пиксел которого несёт информацию об удалённости соответствующего ему участка пространства. Карта глубины может быть получена с помощью специальной камеры глубины (использующей подсветку для сканирования пространства), либо с помощью пары обычных изображений - стереопары. Системы, использующие подсветку, называют активными, а использующие стереопару - пассивными, или стереоскопическими. Так, зрительная система человека является стереоскопической.
Использование подсветки позволяет добиться высокой точности построения карты глубины при малых вычислительных затратах. Например, по скорости скольжения лазерного луча по поверхности можно судить о её удалённости, а использование структурированной подсветки в виде сетки или уникального узора позволяет быстро и достаточно легко восстанавливать рельеф видимой поверхности. Тем не менее, подсветки по ряду причин бывает недостаточно - в первую очередь из-за малой предельной дальности - в случае подсветки (несколько метров) - или малого участка поверхности, обрабатываемого в единицу времени - в случае лазерного луча. Кроме того, например, в военном применении роботов подсветка может демаскировать устройство и, стало быть, в ряде случаев недопустима. Ограничение максимальной дальности или сектора обзора затрудняет применение активных систем в оперативной воздушной разведке, а в случае использования нескольких роботов в ограниченном пространстве их подсветки могут конфликтовать, что будет являться источником дополнительных проблем.
В современной экстремальной робототехнике активная и пассивная системы зрения обычно работают в паре: на дальних расстояниях работает стереоскопическая система, а на близких используется ИК-подсветка и камеры глубины [1].
Разработка универсальной стереоскопической системы машинного зрения является одной из наиболее сложных и интересных задач в области обработки изображений.
В дипломном проекте была реализована система методов, позволяющих строить объёмную картинку по двум обычным изображениям. Изменяя параметры, можно адаптировать эту систему как для беспилотного аппарата, так и для робота, действующего в замкнутом пространстве: система работает с объектами любого размера и формы, расположенными на любом расстоянии от камер.
Существует два направления развития данной системы: повышение адекватности результатов её работы - то есть модификация и метаоптимизация методов - и повышение её быстродействия за счёт максимального распараллеливания вычислений. Созданная система открывает простор для творчества в обоих направлениях.
Благодаря параллелизму в методах данная система может использоваться в режиме реального времени при использовании специальных процессоров, ориентированных на обработку изображений в системах машинного зрения. Такие процессоры уже производятся за рубежом.
Кроме того, возможно включение созданной системы в систему искусственного интеллекта автономного устройства, введение развитых связей между этими системами и их качественное улучшение.
Сегодня развитие робототехники требует не столько технологических, сколько информационных новшеств - таких, например, как созданная система.
Существует два направления развития данной системы: повышение адекватности результатов её работы - то есть модификация и метаоптимизация методов - и повышение её быстродействия за счёт максимального распараллеливания вычислений. Созданная система открывает простор для творчества в обоих направлениях.
Благодаря параллелизму в методах данная система может использоваться в режиме реального времени при использовании специальных процессоров, ориентированных на обработку изображений в системах машинного зрения. Такие процессоры уже производятся за рубежом.
Кроме того, возможно включение созданной системы в систему искусственного интеллекта автономного устройства, введение развитых связей между этими системами и их качественное улучшение.
Сегодня развитие робототехники требует не столько технологических, сколько информационных новшеств - таких, например, как созданная система.
Подобные работы
- СРАВНИТЕЛЬНЫЙ АНАЛИЗ ВОЗМОЖНОСТЕЙ ПРОГРАММ РАБОТЫ С ТРЁХМЕРНОЙ ГРАФИКОЙ ДЛЯ СОЗДАНИЯ МАКЕТОВ ГОРОДОВ
Дипломные работы, ВКР, информатика. Язык работы: Русский. Цена: 6500 р. Год сдачи: 2019 - СРАВНИТЕЛЬНЫЙ АНАЛИЗ ВОЗМОЖНОСТЕЙ ПРОГРАММ
РАБОТЫ С ТРЁХМЕРНОЙ ГРАФИКОЙ ДЛЯ СОЗДАНИЯ МАКЕТОВ
ГОРОДОВ
Дипломные работы, ВКР, информатика. Язык работы: Русский. Цена: 3900 р. Год сдачи: 2019