Помощь студентам в учебе
РАЗРАБОТКА МЕТОДА ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ОБЪЕКТА ПО ФОТОГРАФИЯМ, СДЕЛАННЫМ С РАЗНОГО РАССТОЯНИЯ
|
ВВЕДЕНИЕ 5
1. Определение параметров камеры и размеров объекта/расстояния до
объекта 9
1.1, Аппаратная часть эксперимента 9
1.2, Математическая модель эксперимента 11
1.3, Определение размера объекта (удалённого приближенного) на фотоматрице 19
1.4, Определение параметров камеры (фокусное расстояние, физическое
r.epi пкалыюе горизонтальное расстояние между пикселями на матрице, угловое разрешение) и расстояния до объекта 22
2. Исследование точности результатов экспериментов в идеальных условиях 28
2.1, Погрешность измерения величин (теория) 29
2.2, Исследование точности результатов экспериментов при использовании предложенного способа оценки расстояния до объектов неизвестного размера в идеальных условиях 30
3. Автоматическое определение угла наклона камеры по фотографиям , 32
3.1, Геометрическая модель эксперимента 32
3.2, Поиск объекта на фотографии по цвету 34
3.3, Поиск всех контуров 38
3.4, Вычисление 0 - угла поворота главной оси, Ai и А2 - длин полуосей , 41
3.5, Детектирование эллиптических объектов на фотографии 45
3.6, Эксперимент 50
4. Исследование точности результатов экспериментов в том случае, когда
камера находится под углом, который известен 53
4.1, Постановка задачи 54
4.2, Исследование точности результатов экспериментов в том случае, когда
камера находится под углом, который известен 58
5. Описание выбора реальной камеры и реальной сцены, построение искусственной сцены в Autodesk 3ds Мах с камерой, эквивалентной реальной камере, и определение положений камеры, изменяющихся
во времени 59
5.1, Описание выбора реальной камеры и реальной сцены 59
5.2, Построение искусственной сцены в Autodesk 3ds Мах с камерой, эквивалентной реальной камере, и определение положений камеры, изменяющихся во времени 61
6. Сжатое описание объектов искусственной сцены 66
6.1, Выбор типа разделения изображения на несколько логических сегментов 66
6.2, Разбиение объектов с перекрытием 69
6.3, Процедура разбиентия объектов с перекрытиями 72
6.4, Определение свойств особенностей для сжатого описания сегментов , 73
7. Интерактивное выделение объекта для формирования обучающей выборки 76
7.1, Интерактивное выделение объекта для формирования обучающей выборки 76
8. Обнаружение объектов, которое устойчиво относительно масштаба и
поворота объектов 77
8.1, Обнаружение объектов, которое устойчиво относительно масштаба и поворота 77
9. Отождествление объектов, представленных на изображениях искусственной сцены, которые сделаны камерой, аналогичной видеорегистратору Mio MiVue 765, посредством нейронной сети 84
9.1, Отождествление объектов, представленных на изображениях искусственной сцены, которые сделаны камерой, аналогичной видеорегистратору Mio MiVue 765, посредством нейронной сети 84
10. Определение расстояния до объектов с помощью предложенной методики по снимкам искусственных сцен 92
10.1, Определение расстояния до объектов с помощью предложенной методики по снимкам искусственных сцен 92
11. Сжатое описание объектов реальной сцены 93
11.1, Конфигурация VGG 97
11.2, Fully Convolutional Networks для семантической сегментации , , , 97
12. Отождествление объектов, представленных на изображениях, которые сделаны видеорегистратором Mio MiVue 765, посредством нейронной сети 104
12.1, Отождествление объектов, представленных на реальных изображениях, посредством нейронной сети 104
13. Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен 108
13.1, Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен (автоматическое выделение объекта интереса) 108
13.2, Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен (интерактивное выделение объекта интереса на Снимке №1 и автоматическое выделение того же объекта
на остальных снимках видеопотока) 116
14. Исследование точности результатов экспериментов 119
14.1, Исследование точности результатов экспериментов (автоматическое
выявление объекта интереса) 119
14.2, Исследование точности результатов экспериментов (интерактивное
выделение объекта интереса на Снимке №1 и автоматическое выделение того же объекта на остальных снимках видеопотока) 120
ЗАКЛЮЧЕНИЕ 122
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 123
ПРИЛОЖЕНИЕ 130
2.3, Листинг программы (определение параметров камеры и расстояния до
объекта) 130
3.3, Листинг программы (поиск объекта на фотографии по цвету) 139
3,5, Листинг программы (поиск всех контуров) 143
3,7, Листинг программы (вычисление 0 - угла поворота главной оси, Ai и
А2 - длин полуосей) 145
3,9, Листинг программы (детектирование эллиптических объектов на фотографии) 149
4.3, Листинг программы (исследование точности результатов экспериментов в том случае, когда камера находится под углом, который известен) 153
6.1, Листинг программы (сжатое описание сегментов искусственной сцены
(бинаризация)) 154
6.2, Листинг программы (разбиение объектов с перекрытием) 155
7,1, Листинг программы (интерактивное выделение объекта для формирования обучающей выборки)) 174
8.1, Листинг программы (обранужение объектов, которое устойчиво относительно масштаба и поворота объекта) 177
9.1, Листинг программы (отождествление объектов) 184
12.1, Листинг программы (отождествление объектов, представленных в
реальных сценах) 196
13.1, Листинг программы (определение расстояния до объектов с помощью
предложенной методики по снимкам реальных сцен) 226
1. Определение параметров камеры и размеров объекта/расстояния до
объекта 9
1.1, Аппаратная часть эксперимента 9
1.2, Математическая модель эксперимента 11
1.3, Определение размера объекта (удалённого приближенного) на фотоматрице 19
1.4, Определение параметров камеры (фокусное расстояние, физическое
r.epi пкалыюе горизонтальное расстояние между пикселями на матрице, угловое разрешение) и расстояния до объекта 22
2. Исследование точности результатов экспериментов в идеальных условиях 28
2.1, Погрешность измерения величин (теория) 29
2.2, Исследование точности результатов экспериментов при использовании предложенного способа оценки расстояния до объектов неизвестного размера в идеальных условиях 30
3. Автоматическое определение угла наклона камеры по фотографиям , 32
3.1, Геометрическая модель эксперимента 32
3.2, Поиск объекта на фотографии по цвету 34
3.3, Поиск всех контуров 38
3.4, Вычисление 0 - угла поворота главной оси, Ai и А2 - длин полуосей , 41
3.5, Детектирование эллиптических объектов на фотографии 45
3.6, Эксперимент 50
4. Исследование точности результатов экспериментов в том случае, когда
камера находится под углом, который известен 53
4.1, Постановка задачи 54
4.2, Исследование точности результатов экспериментов в том случае, когда
камера находится под углом, который известен 58
5. Описание выбора реальной камеры и реальной сцены, построение искусственной сцены в Autodesk 3ds Мах с камерой, эквивалентной реальной камере, и определение положений камеры, изменяющихся
во времени 59
5.1, Описание выбора реальной камеры и реальной сцены 59
5.2, Построение искусственной сцены в Autodesk 3ds Мах с камерой, эквивалентной реальной камере, и определение положений камеры, изменяющихся во времени 61
6. Сжатое описание объектов искусственной сцены 66
6.1, Выбор типа разделения изображения на несколько логических сегментов 66
6.2, Разбиение объектов с перекрытием 69
6.3, Процедура разбиентия объектов с перекрытиями 72
6.4, Определение свойств особенностей для сжатого описания сегментов , 73
7. Интерактивное выделение объекта для формирования обучающей выборки 76
7.1, Интерактивное выделение объекта для формирования обучающей выборки 76
8. Обнаружение объектов, которое устойчиво относительно масштаба и
поворота объектов 77
8.1, Обнаружение объектов, которое устойчиво относительно масштаба и поворота 77
9. Отождествление объектов, представленных на изображениях искусственной сцены, которые сделаны камерой, аналогичной видеорегистратору Mio MiVue 765, посредством нейронной сети 84
9.1, Отождествление объектов, представленных на изображениях искусственной сцены, которые сделаны камерой, аналогичной видеорегистратору Mio MiVue 765, посредством нейронной сети 84
10. Определение расстояния до объектов с помощью предложенной методики по снимкам искусственных сцен 92
10.1, Определение расстояния до объектов с помощью предложенной методики по снимкам искусственных сцен 92
11. Сжатое описание объектов реальной сцены 93
11.1, Конфигурация VGG 97
11.2, Fully Convolutional Networks для семантической сегментации , , , 97
12. Отождествление объектов, представленных на изображениях, которые сделаны видеорегистратором Mio MiVue 765, посредством нейронной сети 104
12.1, Отождествление объектов, представленных на реальных изображениях, посредством нейронной сети 104
13. Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен 108
13.1, Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен (автоматическое выделение объекта интереса) 108
13.2, Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен (интерактивное выделение объекта интереса на Снимке №1 и автоматическое выделение того же объекта
на остальных снимках видеопотока) 116
14. Исследование точности результатов экспериментов 119
14.1, Исследование точности результатов экспериментов (автоматическое
выявление объекта интереса) 119
14.2, Исследование точности результатов экспериментов (интерактивное
выделение объекта интереса на Снимке №1 и автоматическое выделение того же объекта на остальных снимках видеопотока) 120
ЗАКЛЮЧЕНИЕ 122
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 123
ПРИЛОЖЕНИЕ 130
2.3, Листинг программы (определение параметров камеры и расстояния до
объекта) 130
3.3, Листинг программы (поиск объекта на фотографии по цвету) 139
3,5, Листинг программы (поиск всех контуров) 143
3,7, Листинг программы (вычисление 0 - угла поворота главной оси, Ai и
А2 - длин полуосей) 145
3,9, Листинг программы (детектирование эллиптических объектов на фотографии) 149
4.3, Листинг программы (исследование точности результатов экспериментов в том случае, когда камера находится под углом, который известен) 153
6.1, Листинг программы (сжатое описание сегментов искусственной сцены
(бинаризация)) 154
6.2, Листинг программы (разбиение объектов с перекрытием) 155
7,1, Листинг программы (интерактивное выделение объекта для формирования обучающей выборки)) 174
8.1, Листинг программы (обранужение объектов, которое устойчиво относительно масштаба и поворота объекта) 177
9.1, Листинг программы (отождествление объектов) 184
12.1, Листинг программы (отождествление объектов, представленных в
реальных сценах) 196
13.1, Листинг программы (определение расстояния до объектов с помощью
предложенной методики по снимкам реальных сцен) 226
Актуальность исследования:
Совмещение изображений, которые регистрируют человеческие глаза, и использование их отличий (расхождений картинок, зафиксированных человеческими глазами) позволяет получить представление о глубине объекта (о расстоянии до объекта). Обычно расстояние до объекта определяется е помощью двух изображений. При этом в классической теории рассматривается тот случай, когда снимки сделаны двумя камерами таким образом, что линия, проходящая через две точки (места положений камер, которые изменяются во времени) находятся поперёк линии наблюдения (перпендикулярно направлению на объект), Т.е. если говорить иначе, то чаще всего рассматриваются идеи и реализации алгоритмов, имитирующие епоеобноеть человека (известную как етереозрение - бинокулярное зрение) выполнять названную задачу, когда для измерения расстояния до удалённых объектов используется явление параллакса,
В данной работе рассматривается ситуация, когда осуществляется съёмка группы объектов, находящихся бесконечно далеко, произвольно расположенных друг относительно друга и меняющих взаимное расположение. При этом известно, что фотографии сделаны с разного расстояния вдоль линии, направленной на объекты (на одной оптической оси). Примером может служить ситуация, когда фотографии делаются из движущегося автомобиля в направлении движения (направление на объект меняется несильно), когда объекты сцены находятся далеко. Удалённость объектов позволяет не учитывать эффекты (оптические иллюзии
- зрительные иллюзии), которые возникают из-за разного положения солнца или другого источника освещения,
Т.о., если резюмировать отличие от задач стереографического зрения, то получается следующее:
- все фотографии выполнены на линии, направленной на объект интереса;
- на разных фотографиях объекты имеют разные размеры;
- идентификация объектов на разных фотографиях осуществляется с помощью нейронной сети.
Требования к выделяемым объектам, с помощью которых будут проводиться вычисления:
- имеют вертикальную/горизонтальную протяжённость;
- целиком помещаются в кадре;
- расположены на некотором фоне (контрастное выделение граней объектов).
Общая постановка задачи:
Определение параметров объектов на основе нескольких фотографий при помощи короткофокусной камеры, параметры которой известны (вычислены) заранее.
Объект исследования (разрабатываемый метод):
В работе предлагается способ оценки размеров объектов и расстояний до объектов неизвестного размера с помощью нескольких фотографий, сделанных одной короткофокусной камерой - камерой, владельцем которой может быть любой пользователь смартфона. Фотографии сделаны с разного расстояния на линии, направленной на объект. При этом учитывается, что фокусное расстояние, разрешение матрицы и дистанция между точками, где осуществляется съёмка объекта (т.е, расстояние между положениями камеры, изменяющимися во времени), известна.
Предмет исследования:
Точность определения:
• размеров объекта;
• расстояний до объекта неизвестного размера.
Цель работы:
Целью работы является определение возможности отыскания размеров объекта на фотоматрице по двум фотографиям, сделанным с разных точек, направленных на объект. Примером является движение в автомобиле, когда требуется определить расстояние до какого-то объекта.
Для этого необходимо:
- определить параметры короткофокусной (монофокальной) камеры;
- разработать модель/алгоритм для определения:
• размеров объекта;
• расстояний до объекта неизвестного размера.
Основной результат:
Определение расстояния/размеров объекта.
Гипотеза:
И0 ПО нескольким фотографиям в направлении движеения можно добиться дополнительной точности;
и Hi (альтернатива): По нескольким фотографиям в направлении движения невозможно добиться дополнительной точности.
Новизна:
В данной работе рассматривается ситуация, когда осуществляется съёмка группы объектов, находящихся бесконечно далеко (Рис. Ь, Рис. с) и произвольно расположенных друг относительно друга. При этом известно, что фотографии сделаны с разного расстояния вдоль линии, направленной на объекты.
В рамках рассматриваемой задачи решается оригинальная задача идентификации объектов одного сегментированного изображения на другом сегментированном изображении в динамике - задача сопоставления в движении (т.е. при проективных преобразованиях, когда объекты сцены, зафиксированные в последовательном потоке снимков, появляются на фотографиях в случайном порядке).
Подзадачи:
1. Определение параметров камеры (фокусное расстояние, физическое вертикальное/горизонтальное расстояние между пикселями на матрице, угловое разрешение), размеров объекта и расстояний до объекта;
2. Исследование точности результатов экспериментов при использовании этого подхода в идеальных условиях (тот случай, когда светочувствительный элемент камеры и сам объект ортогональны плоскости, на которой проводится эксперимент);
3. Автоматизация нахождения угла наклона камеры (закрепленной, например, на ветровом стекле автомобиля) между плоскостью дороги и светочувствительной плоскостью матрицы по фотографии;
4. Исследование точности результатов экспериментов по фотографиям некоторого объекта, сделанным камерой, находящейся под некоторым углом, который известен;
5. Описание выбора реальной камеры и реальной сцены, построение искусственной сцены в Autodesk 3ds Max с камерой, эквивалентной реальной камере, и определение положений камеры, изменяющихся во времени;
6. Сжатое описание объектов искусственной сцены;
7. Интерактивное выделение объекта для формирования обучающей выборки;
8. Обнаружение объектов, которое устойчиво относительно масштаба и поворота;
9. Отождествление объектов, представленных на изображениях искусственной сцены, которые сделаны камерой, аналогичной видеорегистратору Mio MiVue 765, посредством нейронной сети;
10. Определение расстояния до объектов с помощью предложенной методики по снимкам искусственных сцен;
11. Сжатое описание объектов реальной сцены;
12. Отождествление объектов, представленных на изображениях, которые сделаны видеорегистратором Mio MiVue 765, посредством нейронной сети;
13.Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен;
14. Исследование точности результатов экспериментов.
Инструментарий:
Код программ написан языке C + + , Python [1, 2], [15, 14] с использованием библиотеки OpenCV1 [3,4], [20, 11], Tensor Flow , scikit — learn , Pandas .
Совмещение изображений, которые регистрируют человеческие глаза, и использование их отличий (расхождений картинок, зафиксированных человеческими глазами) позволяет получить представление о глубине объекта (о расстоянии до объекта). Обычно расстояние до объекта определяется е помощью двух изображений. При этом в классической теории рассматривается тот случай, когда снимки сделаны двумя камерами таким образом, что линия, проходящая через две точки (места положений камер, которые изменяются во времени) находятся поперёк линии наблюдения (перпендикулярно направлению на объект), Т.е. если говорить иначе, то чаще всего рассматриваются идеи и реализации алгоритмов, имитирующие епоеобноеть человека (известную как етереозрение - бинокулярное зрение) выполнять названную задачу, когда для измерения расстояния до удалённых объектов используется явление параллакса,
В данной работе рассматривается ситуация, когда осуществляется съёмка группы объектов, находящихся бесконечно далеко, произвольно расположенных друг относительно друга и меняющих взаимное расположение. При этом известно, что фотографии сделаны с разного расстояния вдоль линии, направленной на объекты (на одной оптической оси). Примером может служить ситуация, когда фотографии делаются из движущегося автомобиля в направлении движения (направление на объект меняется несильно), когда объекты сцены находятся далеко. Удалённость объектов позволяет не учитывать эффекты (оптические иллюзии
- зрительные иллюзии), которые возникают из-за разного положения солнца или другого источника освещения,
Т.о., если резюмировать отличие от задач стереографического зрения, то получается следующее:
- все фотографии выполнены на линии, направленной на объект интереса;
- на разных фотографиях объекты имеют разные размеры;
- идентификация объектов на разных фотографиях осуществляется с помощью нейронной сети.
Требования к выделяемым объектам, с помощью которых будут проводиться вычисления:
- имеют вертикальную/горизонтальную протяжённость;
- целиком помещаются в кадре;
- расположены на некотором фоне (контрастное выделение граней объектов).
Общая постановка задачи:
Определение параметров объектов на основе нескольких фотографий при помощи короткофокусной камеры, параметры которой известны (вычислены) заранее.
Объект исследования (разрабатываемый метод):
В работе предлагается способ оценки размеров объектов и расстояний до объектов неизвестного размера с помощью нескольких фотографий, сделанных одной короткофокусной камерой - камерой, владельцем которой может быть любой пользователь смартфона. Фотографии сделаны с разного расстояния на линии, направленной на объект. При этом учитывается, что фокусное расстояние, разрешение матрицы и дистанция между точками, где осуществляется съёмка объекта (т.е, расстояние между положениями камеры, изменяющимися во времени), известна.
Предмет исследования:
Точность определения:
• размеров объекта;
• расстояний до объекта неизвестного размера.
Цель работы:
Целью работы является определение возможности отыскания размеров объекта на фотоматрице по двум фотографиям, сделанным с разных точек, направленных на объект. Примером является движение в автомобиле, когда требуется определить расстояние до какого-то объекта.
Для этого необходимо:
- определить параметры короткофокусной (монофокальной) камеры;
- разработать модель/алгоритм для определения:
• размеров объекта;
• расстояний до объекта неизвестного размера.
Основной результат:
Определение расстояния/размеров объекта.
Гипотеза:
И0 ПО нескольким фотографиям в направлении движеения можно добиться дополнительной точности;
и Hi (альтернатива): По нескольким фотографиям в направлении движения невозможно добиться дополнительной точности.
Новизна:
В данной работе рассматривается ситуация, когда осуществляется съёмка группы объектов, находящихся бесконечно далеко (Рис. Ь, Рис. с) и произвольно расположенных друг относительно друга. При этом известно, что фотографии сделаны с разного расстояния вдоль линии, направленной на объекты.
В рамках рассматриваемой задачи решается оригинальная задача идентификации объектов одного сегментированного изображения на другом сегментированном изображении в динамике - задача сопоставления в движении (т.е. при проективных преобразованиях, когда объекты сцены, зафиксированные в последовательном потоке снимков, появляются на фотографиях в случайном порядке).
Подзадачи:
1. Определение параметров камеры (фокусное расстояние, физическое вертикальное/горизонтальное расстояние между пикселями на матрице, угловое разрешение), размеров объекта и расстояний до объекта;
2. Исследование точности результатов экспериментов при использовании этого подхода в идеальных условиях (тот случай, когда светочувствительный элемент камеры и сам объект ортогональны плоскости, на которой проводится эксперимент);
3. Автоматизация нахождения угла наклона камеры (закрепленной, например, на ветровом стекле автомобиля) между плоскостью дороги и светочувствительной плоскостью матрицы по фотографии;
4. Исследование точности результатов экспериментов по фотографиям некоторого объекта, сделанным камерой, находящейся под некоторым углом, который известен;
5. Описание выбора реальной камеры и реальной сцены, построение искусственной сцены в Autodesk 3ds Max с камерой, эквивалентной реальной камере, и определение положений камеры, изменяющихся во времени;
6. Сжатое описание объектов искусственной сцены;
7. Интерактивное выделение объекта для формирования обучающей выборки;
8. Обнаружение объектов, которое устойчиво относительно масштаба и поворота;
9. Отождествление объектов, представленных на изображениях искусственной сцены, которые сделаны камерой, аналогичной видеорегистратору Mio MiVue 765, посредством нейронной сети;
10. Определение расстояния до объектов с помощью предложенной методики по снимкам искусственных сцен;
11. Сжатое описание объектов реальной сцены;
12. Отождествление объектов, представленных на изображениях, которые сделаны видеорегистратором Mio MiVue 765, посредством нейронной сети;
13.Определение расстояния до объектов с помощью предложенной методики по снимкам реальных сцен;
14. Исследование точности результатов экспериментов.
Инструментарий:
Код программ написан языке C + + , Python [1, 2], [15, 14] с использованием библиотеки OpenCV1 [3,4], [20, 11], Tensor Flow , scikit — learn , Pandas .
Была рассмотрена ситуация, когда фотографии сделаны с разного расстояния на линии, направленной на объект (на одной оптической оси). Предлагаемый способ оценки расстояния до объектов неизвестного размера с помощью нескольких (двух) фотографий, сделанных одной короткофокусной камерой, позволил извлечь дополнительные данные об объектах, которые не содержатся непосредственно в двумерном изображении. При этом была достигнута приемлемая точность определения расстояния до объектов неизвестного размера. Фотографии были сделаны с разного расстояния на линии, направленной на объект. Учитывалось, что фокусное расстояние, угловое разрешение матрицы и дистанция между точками, где осуществляется съёмка объекта, известна,
Т.о., в работе определена возможность отыскания расстояния до объекта по двум фотографиям, сделанным с разных точек камерой, направленной на объект (с двух фотографий на одной оптической оси). Для этого были определены параметры камеры с монофокальным объективом, разработана модель/алгоритм для определения расстояния до объектов неизвестного размера.
Т.о., в работе определена возможность отыскания расстояния до объекта по двум фотографиям, сделанным с разных точек камерой, направленной на объект (с двух фотографий на одной оптической оси). Для этого были определены параметры камеры с монофокальным объективом, разработана модель/алгоритм для определения расстояния до объектов неизвестного размера.