Введение 4
Постановка задачи 7
Обзор литературы 8
1. Математическая модель 11
1.1. Модель робота-манипулятора 11
1.2. Модель робота-манипулятора с СТЗ 12
1.3. Планирование траектории движения звеньев манипулятора 15
2. Алгоритм работы системы технического зрения 18
2.1. Поиск карты глубины на изображении 18
2.1.1. Сканирующий подход 19
2.1.2. Проецирующий подход 21
2.1.3. Построение частичной карты глубины 22
2.2. Поиск углов вращения искомого объекта 23
2.2.1. Поиск углов на СТЗ с использованием массива шаблонов 23
2.2.2. Детектирование границ 25
2.2.3. Детектирование углов 26
2.3. Алгоритм работы СТЗ 28
3. Практическая реализация 30
3.1. Описание архитектуры системы 30
3.2. Выбор оборудования для прототипа 33
3.3. Анализ работы созданного прототипа 36
3.3.1. Построение карты глубины изображения с использованием двух камер 36
3.3.2. Построение карты глубины изображения с использованием камеры и системы зеркал 38
3.3.3. Построение карты глубины изображения с использованием лазерного модуля с проекцией линии 40
3.3.4. Поиск угла поворота 41
Выводы 45
Заключение 47
Список литературы 48
Приложение А 51
В последние годы роботы стали больше влиять на нашу жизнь. Но роботы несовершенны - им нужны органы чувств, для восприятия информации об окружающей среде для взаимодействия с объектами, а также система управления, которая позволит получить наибольший КПД от выполнения роботом поставленных задач.
Задачи дистанционного управления роботами имеют ряд особенностей, такие как: задержка в передаче сигнала, разрывы канала связи, сложность в управлении, недостаток информации, получаемой по обратной связи об окружающей среде [1]. Данные особенности могут существенно усложнить работу человека-оператора, осуществляющего управление роботом.
В качестве одного класса из прикладных задач в сфере дистанционного управления роботами, можно выделить проведение монтажно-сборочных работ манипуляторами, расположенными на значительном удалении от оператора. Данный класс задач подразумевает организацию телеуправления роботом с использованием силомоментного очуствления робота и передачи сил и моментов по обратной связи оператору через устройство вывода в виде очувствленной рукоятки [2]. Для обеспечения оператора информацией во время проведения работ, с робота необходимо передавать информацию об окружающей среде по обратной связи [3]. Большое расстояния и сложная модель коммуникационной сети между оператором и роботом означают наличие задержки в передаче управляющего сигнала и обратной связи, а также ограничения на пропускную способность канала связи [4]. Таким образом, данный класс задач содержит следующие проблемы:
• Организация передачи необходимой информации для принятия решения оператором с системы технического зрения с множества камер в виде нескольких видеопотоков высокого качества представляется дорогостоящей для реализации задачей [5].
• Работа оператора в копирующем режиме с использованием очувствленой задающей рукоятки с большой задержкой представляется невозможной в динамической среде без проведения коррекции траектории на стороне робота [6].
Для решения данных проблем при управлении роботом-манипулятором необходимо создать мехатронную систему - программно-аппаратный комплекс по управлению роботами в условиях больших задержек в передаче управляющего сигнала [7]. Данный комплекс должен состоять из следующих модулей:
• робот - манипулятор,
• система технического зрения (СТЗ) [8],
• система копирующего управления инструментом робота [9],
• система определения сил и моментов, прилагаемых к рабочему инструменту манипулятора, основанная на запястном силомоментном датчике [10],
• компьютерная модель рабочей сцены робота с интерфейсом пользователя [11],
• ИИ для коррекции траектории движения и уменьшения ошибки в управлении до допустимого уровня.
В рамках данной работы, предлагается к рассмотрению разработка одного из модулей программно-аппаратного комплекса по управлению роботами манипуляторами - системы технического зрения, удовлетворяющей требованиям к отказоустойчивости системы, а также к ограничениям, налагаемым на вычислительные мощности устройства обработки информации.
Сначала дается постановка задачи, описывающей требования к создаваемой системе технического зрения. Далее предлагается математическая модель описывающая процесс нахождения траектории перемещения звеньев робота-манипулятора в пространстве для взаимодействия с искомым объектом на рабочей сцене, рассматриваются модели детектирования искомого объекта и его положения в пространстве, и описывается реализация СТЗ. Целью работы становится разработка прототипа СТЗ для внедрения в качестве модуля в разрабатываемый комплекс по управлению роботами - манипуляторами. В выводах представлены полученные результаты, описывающие эффективность работы системы.
В ходе данной работы:
• Построена математическая модель робота с СТЗ для нахождения позиций звеньев робота-манипулятора при взаимодействии с искомым объектом,
• Рассмотрены алгоритмы компьютерного зрения для детектирования объектов и их положения в пространстве ,
• Предложена модификация существующих алгоритмов при заданных ограничениях системы на вычислительные ресурсы,
• Разработана архитектура взаимодействия подсистем СТЗ,
• Разработан прототип встраиваемой СТЗ на основе предложенной архитектуры,
• Проведен анализ работы созданного прототипа на основе модификации предложенного алгоритма.
Дальнейшие направления развития работы:
• Реализовать алгоритм с использованием GPU Raspberry PI 3
• Реализовать СТЗ на основе платформы Nvidia Jetson TX2 с использованием откалиброванной стереокамеры ANTVR LucidCam,
• Автоматизировать процесс построения шаблонов на основе CAD модели объектов,
• Разработать систему слабого ИИ для коррекции траектории задаваемой оператором при перемещении звеньев манипулятора.
1. Кулаков Ф. М., Копирующее и супервизорное управление роботами при большом запаздывании сигналов управления и обратной связи. Часть I // Робототехника и техническая кибернетика. 2016. № 1 (10). C. 55-61.
2. Кулаков Ф. М., Алферов Г. В., Смирнов Е. Н., Управление роботами, очувствленными по усилиям // Проблемы механики и управления: Нелинейные динамические системы. 1996, №28. С. 6.
3. Rebecq H., Gallego G., Scaramuzza D. EMVS: Event-based Multi-View Stereo // British Machine Vision Conference (BMVC), York, 2016. P.18.
4. Artigas J., Ryu J., Preusche C., Hirzinger G. Network representation and passivity of delayed teleoperation systems // IEEE IROS, 2011. P. 177183.
5. Artigas J., Riecke C., Weber B., Stelzer M., Balachandran R., Schaetzle S., Bayer R., Steinmetz M., Voegl J., Brunner B., Albu-Schaeffer A., Guk M. ,Zaborovskyi V., Kondratiev A., Muliukha V., Silinenko A., Shmakov O. Force-feedback teleoperation of on-ground robots from the international space station in the frame of the «KONTUR-2» experiment // Extreme robotics. Proceedings of the International Scientific and Technological Conference. Saint-Petersburg: «AP4Print». 2016. P. 50-56.
6. Кулаков Ф.М., Копирующее и супервизорное управление роботами при большом запаздывании сигналов управления и обратной связи. Часть II // Робототехника и техническая кибернетика. 2016. № 2 (11). С. 29-38.
7. Кулаков Ф.М., Алферов Г.В., Нечаев А.И., Чернакова С.Э. Информационные системы виртуальной реальности в мехатронике и робототехнике. Изд-во Санкт-Петербургского университета, 2009. 168с.
8. Gorbunov V. I., Kulakov F. M. Project of vision system for remote controlled space robots // Extreme robotics. Proceedings of the International Scientific and Technological Conference. Saint-Petersburg: «AP4Print». 2016. P. 276-281.
9. Горбунов В. И., Моисеев О. С. Система копирующего управления роботом-манипулятором // Сборник трудов XLVIII Международной научной конференции аспирантов и студентов «Процессы управления и устойчивость» Control Processes and Stability (CPS'17) ISSN 2313- 7304, 2017. in print.
10. Кулаков Ф.М., Соловьев А.Е., Смирнов Е.Н., Беспальчиков Е.А., Наумов В.Б. Интегрированное программирование роботов на основе методов нечеткой логики с использованием "перчаточного" интерфейса. // Отчет о НИР № 98-01-01103 Российский фонд фундаментальных исследований.
11. Глазырин А.Г., Горбунов В.И., Гусев Д.А. Компьютерное моделирование окружающей среды в робототехнических комплексах// Сборник трудов XLVIII Международной научной конференции аспирантов и студентов «Процессы управления и устойчивость» Control Processes and Stability (CPS'17) ISSN 2313-7304, 2017. in print.
12. Фу К., Гонсалес Р., Ли К. Робототехника. М.: Мир, 1989. 624 с.
13. Leskov A.G., Moroshkin S.D. Computer vision system for objects pose estimation // Extreme robotics. Proceedings of the International Scientific and Technological Conference. Saint-Petersburg: «AP4Print». 2016. P. 287-290.
14. Gonzalez O., Shrikumar H., Stankovic J., Ramamritham K. Adaptive Fault Tolerance and Graceful Degradation // University of Massachusetts - Amherst 1997. P.33
15. Heath S. Embedded systems design. EDN series for design engineers (2 ed.). 2003 Newnes. P. 2.
...