РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ НАВИГАЦИИ И ЛОКАЛИЗАЦИИ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА
|
Реферат 1
Содержание 3
Введение 5
Глава 1. Составление требований 6
Глава 2. Обзор существующих решений 7
Глава 3. Теоретические основы 10
3.1. Калибровка камеры 10
3.2. Особые точки, их дескрипторы и алгоритмы для извлечения 11
3.3. Визуальная одометрия. 13
3.4. Триангуляция, алгоритм PnP. 14
3.5. Поиск замыканий цикла, bundle adjustment, locality-sensitive hashing 16
3.6. Simultaneous localization and mapping (SLAM) 20
3.7. Разработанный алгоритм. 21
Глава 4. Проектирование приложения 23
4.1. Выбор архитектуры 23
4.2. Разбиение на потоки 27
4.3. Поток работы с камерой 27
4.4. Поток отслеживания текущего положения 28
4.5. Поток локальной карты 28
4.6. Поток поиска замыканий цикла 29
4.7. Поток переключения карт 29
4.8. Поток визуализации 29
4.9. Поток работы с сетью 30
5.1. Выбор технологий
31
5.2. Разработка приложения
31
5.3. Развертывание приложения
32
Глава 6. Результаты
34
Литература
38
31
Глава 5. Реализация приложения
Содержание 3
Введение 5
Глава 1. Составление требований 6
Глава 2. Обзор существующих решений 7
Глава 3. Теоретические основы 10
3.1. Калибровка камеры 10
3.2. Особые точки, их дескрипторы и алгоритмы для извлечения 11
3.3. Визуальная одометрия. 13
3.4. Триангуляция, алгоритм PnP. 14
3.5. Поиск замыканий цикла, bundle adjustment, locality-sensitive hashing 16
3.6. Simultaneous localization and mapping (SLAM) 20
3.7. Разработанный алгоритм. 21
Глава 4. Проектирование приложения 23
4.1. Выбор архитектуры 23
4.2. Разбиение на потоки 27
4.3. Поток работы с камерой 27
4.4. Поток отслеживания текущего положения 28
4.5. Поток локальной карты 28
4.6. Поток поиска замыканий цикла 29
4.7. Поток переключения карт 29
4.8. Поток визуализации 29
4.9. Поток работы с сетью 30
5.1. Выбор технологий
31
5.2. Разработка приложения
31
5.3. Развертывание приложения
32
Глава 6. Результаты
34
Литература
38
31
Глава 5. Реализация приложения
За последнее время автономная робототехника привлекла к себе большое внимание: беспилотные автомобили, самолёты и другие роботы перестали быть чем-то необычным. Одной из важнейших составляющих работы подобных моделей является система навигации и локализации в пространстве, позволяющая роботу понять, где он находится в данный момент, и составить представление об окружающей среде, для прокладки маршрутов через неё.
Целью данной работы является разработка приложения для навигации и локализации беспилотного летательного аппарата (далее БПЛА). Для того, чтобы он мог успешно выполнять эти задачи, приложение должно уметь:
строить карту произвольной местности;
визуализировать карту для проверки;
производить навигацию и локализацию по карте;
достраивать карту.
Для того чтобы БПЛА мог выполнять задачи по нахождению и захвату целей максимально эффективно, требуется высокая точность определения положения, поэтому в качестве сенсора для навигации была выбрана видеокамера, направленная на землю.
Целью данной работы является разработка приложения для навигации и локализации беспилотного летательного аппарата (далее БПЛА). Для того, чтобы он мог успешно выполнять эти задачи, приложение должно уметь:
строить карту произвольной местности;
визуализировать карту для проверки;
производить навигацию и локализацию по карте;
достраивать карту.
Для того чтобы БПЛА мог выполнять задачи по нахождению и захвату целей максимально эффективно, требуется высокая точность определения положения, поэтому в качестве сенсора для навигации была выбрана видеокамера, направленная на землю.
Приложение было успешно разработано и протестировано на рабочем БПЛА. Оно отвечает всем функциональным требованиям. Работа в ночных и заснеженных условиях проверена не была. Алгоритм для навигации и локализации, разработанный в ходе работы над приложением, является новым оригинальным подходом к решению задачи SLAM.
Стоит заметить, что при данном тестовом полёте стало заметно слабое место приложения - поиск замыканий цикла с помощью нейронной сети. Так как при полёте над лесом пейзаж является практически однородным (Рис. 33), то вектора, получающиеся прогоне кадра через нейросеть, получаются очень похожими друг на друга, что даёт большое количество ложно-положительных срабатываний. Эту проблему можно решить с помощью использования алгоритма Bag-Of-Words для преобразования кадра в вектор на основе особых точек, найденных на нём. Для проверки гипотезы был произведён дополнительный эксперимент.
Рис. 33. Пример кадра с БПЛА.
Рис. 34. Пример карты в просмоторщике.
Рис. 35. Пример карты в просмоторщике.
Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:
Так как ORB SLAM не предназначен для работы на разных высотах, результаты приводятся для каждых 10 метров:
Высота ORB SLAM Разработанный алгоритм
10м 1.7 1.3
20м 2.1 2.5
30м 3.2 3.7
Таблица 1. Результат сравнения ORB SLAM и разработанного алгоритма на основе ошибки RMSE.
Для проверки гипотезы об использовании Bag-Of-Words вместо нейросети в условиях, когда местность не является сильно различимой, был произведён дополнительный эксперимент, показывающий количество ложноположительных срабатываний:
Высота Bag-Of-Words Нейросеть
10м 10 31
20м 13 27
30м 11 24
Таблица 2. Результат сравнения количества ложноположительных срабатываний Bag-Of-Words и нейросети.
Как видно из таблицы 2, использование Bag-Of-Words лучше для работы в условиях, когда местность не является сильно различимой.
Рис. 36. Сравнение упрощённых траекторий(2О вид, без ключевых кадров и точек карты): красным - правильная траектория, синим - разработаный
алгоритм, зелёным - ORB SLAM.
Приложение было успешно разработано и протестировано на рабочем БПЛА. Оно отвечает всем функциональным требованиям. Работа в ночных и заснеженных условиях проверена не была. Алгоритм для навигации и локализации, разработанный в ходе работы над приложением, является новым оригинальным подходом к решению задачи SLAM.
Стоит заметить, что при данном тестовом полёте стало заметно слабое место приложения - поиск замыканий цикла с помощью нейронной сети. Так как при полёте над лесом пейзаж является практически однородным (Рис. 33), то вектора, получающиеся прогоне кадра через нейросеть, получаются очень похожими друг на друга, что даёт большое количество ложно-положительных срабатываний. Эту проблему можно решить с помощью использования алгоритма Bag-Of-Words для преобразования кадра в вектор на основе особых точек, найденных на нём. Для проверки гипотезы был произведён дополнительный эксперимент.
Рис. 33. Пример кадра с БПЛА.
Рис. 34. Пример карты в просмоторщике.
Рис. 35. Пример карты в просмоторщике.
Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:
Так как ORB SLAM не предназначен для работы на разных высотах, результаты приводятся для каждых 10 метров:
Высота ORB SLAM Разработанный алгоритм
10м 1.7 1.3
20м 2.1 2.5
30м 3.2 3.7
Таблица 1. Результат сравнения ORB SLAM и разработанного алгоритма на основе ошибки RMSE.
Для проверки гипотезы об использовании Bag-Of-Words вместо нейросети в условиях, когда местность не является сильно различимой, был произведён дополнительный эксперимент, показывающий количество ложноположительных срабатываний:
Высота Bag-Of-Words Нейросеть
10м 10 31
20м 13 27
30м 11 24
Таблица 2. Результат сравнения количества ложноположительных срабатываний Bag-Of-Words и нейросети.
Как видно из таблицы 2, использование Bag-Of-Words лучше для работы в условиях, когда местность не является сильно различимой.
Рис. 36. Сравнение упрощённых траекторий(2О вид, без ключевых кадров и точек карты): красным - правильная траектория, синим - разработаный
алгоритм, зелёным - ORB SLAM.
Приложение было успешно разработано и протестировано на рабочем БПЛА. Оно отвечает всем функциональным требованиям. Работа в ночных и заснеженных условиях проверена не была. Алгоритм для навигации и локализации, разработанный в ходе работы над приложением, является новым оригинальным подходом к решению задачи SLAM.
Стоит заметить, что при данном тестовом полёте стало заметно слабое место приложения - поиск замыканий цикла с помощью нейронной сети. Так как при полёте над лесом пейзаж является практически однородным (Рис. 33), то вектора, получающиеся прогоне кадра через нейросеть, получаются очень похожими друг на друга, что даёт большое количество ложно-положительных срабатываний. Эту проблему можно решить с помощью использования алгоритма Bag-Of-Words для преобразования кадра в вектор на основе особых точек, найденных на нём. Для проверки гипотезы был произведён дополнительный эксперимент.Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:
Так как ORB SLAM не предназначен для работы на разных высотах, результаты приводятся для каждых 10 метров:
Высота ORB SLAM Разработанный алгоритм
10м 1.7 1.3
20м 2.1 2.5
30м 3.2 3.7
Таблица 1. Результат сравнения ORB SLAM и разработанного алгоритма на основе ошибки RMSE.
Для проверки гипотезы об использовании Bag-Of-Words вместо нейросети в условиях, когда местность не является сильно различимой, был произведён дополнительный эксперимент, показывающий количество ложноположительных срабатываний:
Высота Bag-Of-Words Нейросеть
10м 10 31
20м 13 27
30м 11 24
Таблица 2. Результат сравнения количества ложноположительных срабатываний Bag-Of-Words и нейросети.
Как видно из таблицы 2, использование Bag-Of-Words лучше для работы в условиях, когда местность не является сильно различимой.
Стоит заметить, что при данном тестовом полёте стало заметно слабое место приложения - поиск замыканий цикла с помощью нейронной сети. Так как при полёте над лесом пейзаж является практически однородным (Рис. 33), то вектора, получающиеся прогоне кадра через нейросеть, получаются очень похожими друг на друга, что даёт большое количество ложно-положительных срабатываний. Эту проблему можно решить с помощью использования алгоритма Bag-Of-Words для преобразования кадра в вектор на основе особых точек, найденных на нём. Для проверки гипотезы был произведён дополнительный эксперимент.
Рис. 33. Пример кадра с БПЛА.
Рис. 34. Пример карты в просмоторщике.
Рис. 35. Пример карты в просмоторщике.
Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:
Так как ORB SLAM не предназначен для работы на разных высотах, результаты приводятся для каждых 10 метров:
Высота ORB SLAM Разработанный алгоритм
10м 1.7 1.3
20м 2.1 2.5
30м 3.2 3.7
Таблица 1. Результат сравнения ORB SLAM и разработанного алгоритма на основе ошибки RMSE.
Для проверки гипотезы об использовании Bag-Of-Words вместо нейросети в условиях, когда местность не является сильно различимой, был произведён дополнительный эксперимент, показывающий количество ложноположительных срабатываний:
Высота Bag-Of-Words Нейросеть
10м 10 31
20м 13 27
30м 11 24
Таблица 2. Результат сравнения количества ложноположительных срабатываний Bag-Of-Words и нейросети.
Как видно из таблицы 2, использование Bag-Of-Words лучше для работы в условиях, когда местность не является сильно различимой.
Рис. 36. Сравнение упрощённых траекторий(2О вид, без ключевых кадров и точек карты): красным - правильная траектория, синим - разработаный
алгоритм, зелёным - ORB SLAM.
Приложение было успешно разработано и протестировано на рабочем БПЛА. Оно отвечает всем функциональным требованиям. Работа в ночных и заснеженных условиях проверена не была. Алгоритм для навигации и локализации, разработанный в ходе работы над приложением, является новым оригинальным подходом к решению задачи SLAM.
Стоит заметить, что при данном тестовом полёте стало заметно слабое место приложения - поиск замыканий цикла с помощью нейронной сети. Так как при полёте над лесом пейзаж является практически однородным (Рис. 33), то вектора, получающиеся прогоне кадра через нейросеть, получаются очень похожими друг на друга, что даёт большое количество ложно-положительных срабатываний. Эту проблему можно решить с помощью использования алгоритма Bag-Of-Words для преобразования кадра в вектор на основе особых точек, найденных на нём. Для проверки гипотезы был произведён дополнительный эксперимент.
Рис. 33. Пример кадра с БПЛА.
Рис. 34. Пример карты в просмоторщике.
Рис. 35. Пример карты в просмоторщике.
Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:
Так как ORB SLAM не предназначен для работы на разных высотах, результаты приводятся для каждых 10 метров:
Высота ORB SLAM Разработанный алгоритм
10м 1.7 1.3
20м 2.1 2.5
30м 3.2 3.7
Таблица 1. Результат сравнения ORB SLAM и разработанного алгоритма на основе ошибки RMSE.
Для проверки гипотезы об использовании Bag-Of-Words вместо нейросети в условиях, когда местность не является сильно различимой, был произведён дополнительный эксперимент, показывающий количество ложноположительных срабатываний:
Высота Bag-Of-Words Нейросеть
10м 10 31
20м 13 27
30м 11 24
Таблица 2. Результат сравнения количества ложноположительных срабатываний Bag-Of-Words и нейросети.
Как видно из таблицы 2, использование Bag-Of-Words лучше для работы в условиях, когда местность не является сильно различимой.
Рис. 36. Сравнение упрощённых траекторий(2О вид, без ключевых кадров и точек карты): красным - правильная траектория, синим - разработаный
алгоритм, зелёным - ORB SLAM.
Приложение было успешно разработано и протестировано на рабочем БПЛА. Оно отвечает всем функциональным требованиям. Работа в ночных и заснеженных условиях проверена не была. Алгоритм для навигации и локализации, разработанный в ходе работы над приложением, является новым оригинальным подходом к решению задачи SLAM.
Стоит заметить, что при данном тестовом полёте стало заметно слабое место приложения - поиск замыканий цикла с помощью нейронной сети. Так как при полёте над лесом пейзаж является практически однородным (Рис. 33), то вектора, получающиеся прогоне кадра через нейросеть, получаются очень похожими друг на друга, что даёт большое количество ложно-положительных срабатываний. Эту проблему можно решить с помощью использования алгоритма Bag-Of-Words для преобразования кадра в вектор на основе особых точек, найденных на нём. Для проверки гипотезы был произведён дополнительный эксперимент.Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:Для численного сравнения ошибки был выбран метод ORB SLAM, который являлся идейным вдохновителем разработанного алгоритма. Для сравнения
использовалась метрика RMSE - среднеквадратическая ошибка модели по координатам, вычисленным алгоритмом в сравнении с правильной траекторией:
Так как ORB SLAM не предназначен для работы на разных высотах, результаты приводятся для каждых 10 метров:
Высота ORB SLAM Разработанный алгоритм
10м 1.7 1.3
20м 2.1 2.5
30м 3.2 3.7
Таблица 1. Результат сравнения ORB SLAM и разработанного алгоритма на основе ошибки RMSE.
Для проверки гипотезы об использовании Bag-Of-Words вместо нейросети в условиях, когда местность не является сильно различимой, был произведён дополнительный эксперимент, показывающий количество ложноположительных срабатываний:
Высота Bag-Of-Words Нейросеть
10м 10 31
20м 13 27
30м 11 24
Таблица 2. Результат сравнения количества ложноположительных срабатываний Bag-Of-Words и нейросети.
Как видно из таблицы 2, использование Bag-Of-Words лучше для работы в условиях, когда местность не является сильно различимой.
Подобные работы
- Распознавание и селекция применительно
к системам технического зрения наземных многообъектных сцен
Дипломные работы, ВКР, автоматика и управление. Язык работы: Русский. Цена: 4285 р. Год сдачи: 2018