Введение 5
1. Обзор основных методов определения пространственного положения и
ориентации тела 7
1.1 Системы трекинга в помещениях и открытых пространствах 9
1.2 Системы трекинга тела человека и регистрации мелкой моторики. 17
1.3 Анализ современных методов отслеживания положения и
ориентации и обоснование выбора 29
2. Методы определения ориентации MEMS-датчика 32
2.1 Матрица поворотов 32
2.2 Углы Эйлера 34
2.3 Кватернионы 37
3. Определение перемещения по акселерометру 42
3.1 Фильтр низких частот 43
3.2 Фильтр высоких частот 45
3.3 Расчет перемещения MEMS-датчика по показаниям акселерометра
4. Определение перемещения MEMS-датчика в магнитном поле 50
4.1. Определение координат по значению магнитной индукции 50
5. Определение перемещения с использованием фильтра Калмана 55
6. Метод FABRIK 62
6.1 Применение метода FABRIK к 3D - модели в среде UNITY 3D 64
Заключение 69
Список литературы 71
Приложения должны быть в работе, но в данный момент отсутствуют
Задачи по определению пространственного положения и ориентации тела в настоящее время только усиливают свою актуальность. Технологии, позволяющие с достаточно высокой точностью определить перемещение тела в пространстве, являются очень перспективными и в настоящее время очень бурно развиваются. Этому способствует высокий спрос на использование данной технологии в различных сферах жизнедеятельности.
Из общей массы можно выделить следующие сферы применения технологий определения пространственного положения:
1. Аэрокосмическая: создание манипуляторов, управляемых
удалённо для работы в открытом космосе или на изучаемых космических телах.
2. Телемедицина: создание манипуляторов, управляемых удалённо, имеющих высокую точность для проведения различного рода операций.
3. Создание прочих видов манипуляторов, которыми можно управлять удаленно: поисково-спасательные, строительные и прочие.
4. Создание устройств, применяемых в игровой индустрии (VR/AR).
Целью данной выпускной квалификационной работы является разработка алгоритмов и программного обеспечения для контроллеров систем виртуальной реальности отслеживающих движение кисти. Для достижения поставленной цели были выделены следующие задачи:
1. Изучить и проанализировать существующие методы трекинга.
2. Выбрать оптимальный метод для разрабатываемой системы трекинга рук.
3. Разработать алгоритм и провести расчеты координат и ориентации по выходным данным многоосевых сенсоров.
4. Построить виртуальную модель и апробировать разработанные алгоритмы и ПО.
ВКР состоит из шести глав, введения, заключения, списка используемой литературы и одного приложения. Результаты разработки и апробации алгоритмов трекинга были представлены на 2 международных конференциях, 1 студенческой. На разработанное программное обеспечение зарегистрировано свидетельство на программу для ЭВМ «Вычисление координат датчика в поле постоянного магнита по кинематическим и магнитным данным».
В ходе данной выпускной квалификационной работы производилась разработка программного обеспечения для контроллеров виртуальной реальности. Для достижения этой цели были выделены следующие задачи:
1. Изучение и анализ основных методов трекинга.
2. Выбор оптимального метода для разрабатываемой системы.
3. Расчет координат и ориентации по выходным данным.
4. Применение рассчитанных значений к виртуальному объекту.
По мере выполнения поставленных задач стало понятно, что при использовании MEMS-сенсоров в системах трекинга необходимо производить предварительную калибровку датчиков.
Кроме калибровки, данные акселерометра необходимо пропустить через полосовой фильтр для получения более близкого к истине результата.
Однако, применения всех описанных комбинаций фильтров не позволяет добиться желаемой точности определения координат по данным акселерометра, поэтому был предложен метод магнитного трекинга.
Для более точного приближения координат к истинным было предложено использование фильтра Калмана.
И, наконец, полученные значения ориентации из расчета кватерниона и координат, рассчитанных по комбинации инерциального и магнитного трекинга, применяются к виртуальной модели с использованием обратной кинематики по методу FABRIK.
Все разработанные и примененные в ходе данной работы алгоритмы и программное обеспечение были протестированы и продемонстрировали положительные результаты. Результаты разработки и апробации алгоритмов трекинга были представлены на 2 международных конференциях, 1 студенческой. На разработанное программное обеспечение зарегистрировано свидетельство на программу для ЭВМ «Вычисление координат датчика в поле постоянного магнита по кинематическим и магнитным данным».
Как видно, все поставленные задачи были решены, разработанные алгоритмы демонстрируют положительные результаты работы, из чего можно сделать вывод что цель данной ВКР достигнута.
1. Обзор методов и технологий отслеживания положения для виртуальной
реальности, [Электронный ресурс] // URL:
https://habr.com/ru/post/397757/(дата обращения: 05.05.2020г).
2. Radio Frequency Controlled Vehicle Tracking System, Koushik Guha, Akash Mukherjee, Sanjib Das, p 6. 2015.
3. Robotics Human Tracking System Through Wireless Pyroelectric Sensor System, Ren C. Luo, Yi-Huei Jhu, Ogst Chen, IEEE International Conference on Advanced Robotics and its Social Impacts, Taipei, Taiwan, Aug. 23-25, 2008.
4. A Survey on Detection, Tracking and Identification in Radio Frequency-Based Device-Free Localization, Stijn Denis, Rafael Berkvens, Maarten Weyn, MDPI:Sensors 2019, 19(23), 5329
5. Youssef, M.; Mah, M.; Agrawala, A. Challenges: Device-free passive localization for wireless environments. In Proceedings of the 13th Annual ACM International Conference on Mobile Computing and Networking, Montreal, QC, Canada, 14-19 March 2007; pp. 222-229.
6. Scholz, M.; Kohout, L.; Horne, M.; Budde, M.; Beigl, M.; Youssef, M.A. Device-free radio-based low overhead identification of subject classes. In Proceedings of the 2ndWorkshop onWorkshop on Physical Analytics, Florence, Italy, 22 May 2015; pp. 1-6.
7. Lv, J.; Yang, W.; Man, D.; Du, X.; Yu, M.; Guizani, M. Wii: Device-Free Passive Identity Identification via WiFi Signals. In Proceedings of the GLOBECOM 2017—2017 IEEE Global Communications Conference, Singapore, 4-8 December 2017; pp. 1-6.
8. Chen, Y.; Dong, W.; Gao, Y.; Liu, X.; Gu, T. Rapid: A multimodal and device-free approach using noise estimation for robust person identification. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 2017, 1, 41
9. Torres-Sospedra, J.; Moreira, A.; Knauth, S.; Berkvens, R.; Montoliu, R.; Belmonte, O.; Trilles, S.; Joao Nicolau, M.; Meneses, F.; Costa, A.; et al. A realistic evaluation of indoor positioning systems based onWi-Fi fingerprinting: The 2015 EvAAL-ETRI competition. J. Ambient Intell. Smart Environ. 2017, 9, 263-279.
10. Torres-Sospedra, J.; Jimenez, A.; Knauth, S.; Moreira, A.; Beer, Y.; Fetzer, T.; Ta, V.C.; Montoliu, R.; Seco, F.; Mendoza-Silva, G.; et al. The smartphone-based offline indoor location competition at IPIN 2016: Analysis and future work. Sensors 2017, 17, 557.
11. Информация о продуктах TAU Tracker // URL:
https: //www.tautracker.com/devices ru(дата обращения: 05.06.2020г).
12. Magnetic Hand Tracking for Human-Computer Interface, Yinghong Ma, Zhi- Hong Mao, Wenyan Jia, Chengliu Li, Jiawei Yang, and Mingui Sun, IEEE TRANSACTIONS ON MAGNETICS, 5 May, 2011. 970-973pp.
13. Magnetic hand motion tracking system for human-machine interaction, Wenyan Jia, Jingan Yang, Zhi-Hong Mao, Maomin Sun, Electronics Letters May 2010.
14. R. S. Hartenberg and J. Denavit. Kinematic Synthesis of Linkages. New York: McGraw-Hill Book co., 1964.
15. Kinematic Model of the Hand using Computer Vision, Edgar Simo Serra, 2011.
16. Gesture Recognition with a Wii Controller, Thomas SchTomer, Benjamin Poppinga, Niels Henze, Susanne Boll, 2008.
17. Using inertial and magnetic sensors for hand tracking and rendering in wearable haptics Tommaso Lisini Baldi, Mostafa Mohammadi, Stefano Scheggi and Domenico Prattichizzo, 2015.
18. Wearable Haptic Systems for the Fingertip and the Hand: Taxonomy, Review, and Perspectives Claudio Pacchierotti, Member, Stephen Sinclair, Member, Massimiliano Solazzi, Antonio Frisoli, Vincent Hayward, Domenico Prattichizzo, IEEE Transactions on Haptics May 2017. 1 - 24 pp.
19. МЕМ8-акселерометры и гироскопы - разбираемся в спецификации, [Электронный ресурс] // URL:https://habr.com/ru/post/431566/(дата обращения: 05.05.2020г).
20.ICM-20948 World’s Lowest Power 9-axis MotionTracking Device, [Электронный ресурс] // URL:https://invensense.tdk.com/products/motion-tracking/9-axis/icm-20948/(дата обращения: 05.05.2020г).
21. Заметка о калибровке датчиков положения в домашних условиях, [Электронный ресурс] // URL:https://habr.com/ru/post/384075/(дата обращения: 07.05.2020г).
22. Калибровка магнитометра. Электронный компас, [Электронный ресурс] // URL:https://robotclass.ru/articles/magnetometer-and-compass/(дата обращения: 07.05.2020г).
23.Simple Manual Magnetometer Calibration, [Электронный ресурс] // URL: https://www.instructables.com/id/Simple-Manual-Magnetometer-Calibration/(дата обращения: 08.05.2020г).
24. How to Calibrate a Magnetometer? [Электронный ресурс] // URL:
https://appelsiini.net/2018/calibrate-magnetometer/(дата обращения:
08.05.2020г).
25. Automatic Magnetometer Calibration With Arduino, [Электронный ресурс] // URL:https://avilpage.com/2017/12/automatic-magnetometer-calibration-with-arduino.html(дата обращения: 08.05.2020г).
26. Christopher Konvalin, Compensating for Tilt, Hard-Iron, and Soft-Iron Effects, [Электронный ресурс] // FierceElectronics, Электронный журнал, URL:https://www.fierceelectronics.com/components/compensating-for-tilt-hard-iron-and-soft-iron-effects(дата обращения: 08.05.2020г).
27. Заметки о вращении вектора кватернионом, [Электронный ресурс] // URL:https://habr.com/ru/post/255005/(дата обращения: 10.05.2020г).
28.Частые вопросы по матрицам и кватернионам, [Электронный ресурс] // URL:https://www.gamedev.ru/code/articles/faq matrix quat?page=5(дата обращения: 10.05.2020г).
29. Каверзные кватернионы, [Электронный ресурс] // URL:
https://habr.com/ru/post/183908/(дата обращения: 10.05.2020г).
30. Кручу-верчу, запутать хочу: углы Эйлера и Gimbal lock, [Электронный ресурс] // URL:https://habr.com/ru/post/183116/(дата обращения: 10.05.2020г).
31. Accelerometerdata filtering, [Электронный ресурс] // URL:
https://www.unige.ch/cisa/wiki/lib/exe/fetch.php?media=psychophysiology:accelerometer data filtering.pdf(дата обращения: 15.05.2020г).
32. Motion Sensors Explainer: W3C Working Group Note / под ред. Kenneth Rohde Christiansen, Alexander Shalamov W3C, 2017. - 65 с.
33. Hui-Min Shen, ICIRA 2017: Intelligent Robotics and Applications, China, 2017. p. 428-437.
34. Magnetic Hand Tracking for Human-Computer Interface, IEEE Transactions on Magnetics, USA, 2011.
35. Using inertial and magnetic sensors for hand tracking and rendering in
wearable haptics, World Haptics Conference (WHC), 2015 IEEE, Tommaso Lisini Baldi1, Mostafa Mohammadi, Stefano Scheggi, Domenico Prattichizzo.
36. Kalman Filter in one dimension, [Электронный ресурс] // URL: https: //www.kalmanfilter.net/kalman 1 d.html (дата обращения:
20.05.2020г).
37.S.O.H. Madgwick, An efficient orientation filter for inertial and inertial/magnetic sensor arrays, 2010. p. 1-32.
38. Фильтр Калмана, , [Электронный ресурс] // URL: https://habr.com/ru/post/166693/(дата обращения: 21.05.2020г).
39. Andreas Aristidou, Joan Lasenby, Elsevier Inc 2011:FABRIK: A fast, iterative solver for the Inverse Kinematics problem.
40. Харитонов В.Н, Бризицкий Р.В., Построение математической модели движения датчика в магнитном поле [Электронный ресурс] // Материалы региональной научно-практической конференции студентов, аспирантов и молодых учёных по естественным наукам - 2019:https://www.dvfu.ru/schools/school of natural sciences/sciences/the-conference/new-page.php
41. Kharitonov V.N., Namsaraev J.J., Samardak A.S., Brizitsky R.V. and Ognev A.V. Development of the mathematical model of a sensor motion in a magnetic field// VII Euro-Asian Symposium «Trends in MAGnetism». Book of abstracts. Volume II - 2019.
42. Kharitonov V., Namsaraev J., Samardak A., Brizitsky R. and Ognev A. Development of a VR controller for tracking hands and a mathematical model of the movement of a Hall sensors in a magnetic field// Magnetic Frontiers 2019.