Оглавление 1
Введение 3
Постановка задачи 6
Актуальность 6
Цель дипломной работы 7
1. Дополненная реальность 9
1.1. Определение дополненной реальности 9
1.2. Классификация систем дополненной реальности 10
1.3. Устройства дополненной реальности 13
1.3.1. Дисплеи 13
1.3.2. Устройства ввода 14
1.3.4. Компьютер 15
1.4. Взаимодействие с пользователем в системах дополненной реальности.
Интерфейсы 16
1.4.1. Материальный интерфейс 16
1.4.2. Совместный интерфейс 17
1.4.3. Гибридный интерфейс 17
1.4.4. Мультимодальный интерфейс 18
1.5. Обзор существующих программных решений 19
1.5.1. Образовательные системы AR 19
1.5.2. Коммерческие системы AR 21
1.5.3. Специализированные системы AR 22
1.5.4. Использование AR для развлечения 23
1.6. Заключение 25
2. Взаимодействие с виртуальными объектами 27
2.1. Введение 27
2.2. Концепции взаимодействия 28
2.3. Заключение 30
3. Разработка прототипа 31
3.1. Выбор фреймворка для разработки прототипа 31
3.2. Проектирование архитектуры прототипа 33
3.3. Разработка системы дополненной реальности 36
3.4. Заключение 39
Список литературы 41
Исходный код
В XXI веке отрасль информационных технологий переживает настоящий бум своего развития. Ежегодно создаются новые языки программирования и различные технологические решения, описываются невероятные концепции и идеи, а также создаются новые устройства. Именно развитие рынка вычислительных устройств привело к появлению новых направлений в IT- отрасли: в настоящее время одной из наиболее значимых областей программирования является создание мобильных приложений.
Создаваемые приложения могут преследовать разные цели — удаленный доступ к различным сервисам, образование, обеспечение взаимодействия между пользователями (цифровые звонки, видеосвязь), развлечения. Почти все из перечисленных задач могут быть реализованы на базе приложений для мобильных платформ с использованием технологии дополненной реальности (augmented reality, сокращенно AR).
Дополненная реальность в контексте разработки мобильных приложений предполагает собой осуществление интерактивного взаимодействия пользователя и окружающего мира путем использования камеры цифрового устройства (смартфона, планшета). На нем пользователь видит сцены привычного ему мира, обогащенные виртуальными объектами, такими, например, как всплывающие текстовые сообщения, надписи или трехмерные модели объектов. Сцена на экране устройства, которую видит пользователь, называется дополненной.
Особый интерес вызывает применение технологий дополненной реальности в областях взаимодействия пользователей и обучения. И если в настоящее время в официальных магазинах приложений (Android Google Play, Apple AppStore, Microsoft Store) доступно немало мобильных игр с AR, то приложений, использующих данную технологию в образовательных целях, насчитываются единицы.
Основная трудность в создании мобильных AR-приложений для образования состоит в том, что идея дополненной реальности требует привлечения дополнительных ресурсов: создания и использования книг, дополняющих концепцию в реальности (так как принцип AR заключается во взаимодействии с объектами реального мира), дополнительных временных и ресурсных затрат для создания оригинального контента (например, моделирования и рендеринга SD-моделей для проекта).
Другая проблема в создании мобильных приложений — ресурсы, которыми располагают цифровые устройства. В процессе разработки необходимо обозначить такого рода границы, которые позволят осуществлять оптимальную подгрузку виртуальных объектов. При разработке это может быть весьма проблематично, так как круг смартфонов и планшетов весьма широк и все устройства обладают разными характеристиками — одни обладают хорошим разрешением экрана и высокой производительностью, а другие могут иметь низкое разрешение экрана или малое количество ресурсов для работы. Создавать красивое, но тяжеловесное приложение — значит потерять аудиторию более простых устройств; и наоборот — чрезмерное упрощение графики проекта отсечет аудиторию с более высокопроизводительной техникой, так как качество реализации идеи будет казаться им довольно низким. Проблема решается эвристическим способом: поиском золотой середины, при которой будут в достаточной и равной мере удовлетворены все группы предполагаемых пользователей.
Еще одной особенностью приложений AR-технологии является большой круг затрагиваемых вспомогательных задач. Так, дополненная область неразрывно связана с технологиями компьютерного зрения, обработки изображений и поиска на них необходимых объектов. Среди таких задач можно выделить: поиск и распознавание человеческого лица в целом и его мимики в частности (чаще всего используется в развлекательных приложениях для наложения анимационных эффектов), поиск маркеров, используемых для наложения виртуальных объектов (может быть применимо как в развлечениях, так и в образовании), определение на изображении текстовой информации для дальнейшей обработки (обнаружение текста на вывесках и их моментальный перевод), обнаружение на фото некоторых классов предметов (например, поиск человеческого силуэта для создания приложения “виртуальная гардеробная”). Список подобных задач может широко варьироваться в зависимости от целей создания продукта.
Технология дополненной реальности является новым феноменом в области разработки мобильных приложений и, следовательно, имеет множество нерешенных вопросов, проблем и задач. Однако это не отталкивает ни разработчиков, ни пользователей, и с каждым днем данная технология все больше проникает во все сферы нашей жизни — общение, образование, развлечения, реклама и т.д.
В ходе выполнения дипломной работы было проведено исследование в сфере дополненной реальности. Рассмотрена классификация AR-систем, способы взаимодействия с пользователем в подобных системах, а также произведен обзор существующих программных решений.
Отдельно выделено и рассмотрено взаимодействие с объектами дополненной реальности. Выявлены сложности, достоинства и недостатки каждого типа взаимодействия.
Исследование фреймворков для разработки дополненной реальности привело к наилучшему выбору библиотеки. Такое решение было принято на основе сравнения характеристик (бесплатная лицензия на использование, распознавание 2D и 3D, облачное хранилище и т.д.).
Создан прототип системы дополненной реальности, который поддерживает сенсорный тип взаимодействия и имеет информативный характер. В дальнейшем создаваемый проект планируется поддерживать и расширять ввиду актуальности разработки. Среди предполагаемых улучшений — добавление интерактивности системе (взаимодействие пользователя напрямую с объектами, а не целой сценой), добавление большего количества моделей и звукового сопровождения к ним. А также распространение разработки на другие мобильные платформы (iOS, Windows Phone).
1) M. B. Hirokazu Kato (Ed.). Marker Tracking and HMD Calibration for a VideoBased Augmented Reality Conferencing System. Computer Society Washington, 1999.
2) R. T. Azuma (Ed.). A Survey of Augmented Reality, Teleoperators and Virtual Enviroments, 1997.
3) M. Tikander (Ed.). Development and evaluation of augmented reality audio systems. Helsinki, 2009.
4) Hyundai Virtual Guide [Электронный ресурс]. - Режим доступа:
http: //www.hyundainews .com/us/en/media/pressreleases/44450/hyundai - virtual-guide-introduces-augmented-reality-to-the-owners-manual, свободный. - Загл. с экрана. (Дата обращения 12.05.2017).
5) PHANTOM Premium 1.0 [Электронный ресурс].- Режим доступа:
https://www.3dsystems.com/haptics-devices/3d-systems-phantom-premium, свободный. - Загл. с экрана. (Дата обращения 12.05.2017).
6) Global Positioning System [Электронный ресурс]. - Режим доступа: http://www.gps.gov/, свободный. - Загл. с экрана. (Дата обращения 11.05.2017).
7) Глобальная спутниковая навигационная система ГЛОНАСС.
Интерфейсный контрольный документ. - Редакция 5.1. - М.: КНИЦ МО России, 2008. - 74 с.
8) Oliver Bimber, Ramesh Raskar, Masahiko Inami (Eds.). Spatial Augmented Reality, SIGGRAPH 2007 Course 17 Notes, 2007.
9) Cicret [Электронный ресурс]. - Режим доступа:
https://cicret.com/wordpress/, свободный - Загл. с экрана. (Дата обращения 11.05.2017).
10) Tango [Электронный ресурс]. - Режим доступа:
https://get.google.com/tango/apps/, свободный. - Загл. с экрана. (Дата обращения 12.05.2017).
11) Greg Kipper, Joseph Rampolla (Eds.). Augmented Reality: An Emerging Technologies Guide to AR, Syngress/Elsevier, 2012. - 158 с.
12) Studierstube [Электронный ресурс]. - Режим доступа:
http://studierstube.icg.tugraz.at/main.php, свободный. - Загл. с экрана. (Дата обращения 02.04.2017).
13) ARTEFACT [Электронный ресурс]. - Режим доступа:
http://ar.culture.ru/, свободный. - Загл. с экрана. (Дата обращения 17.05.2017).
14) Lexicards [Электронный ресурс]. - Режим доступа:
http://www.windsor.ru/about/news/8096/, свободный. - Загл. с экрана. (Дата обращения 17.05.2017).
15) Азбука 2.0 [Электронный ресурс]. - Режим доступа:
https://devar.ru/azbuka/, свободный. - Загл. с экрана. (Дата обращения 17.05.2017).
16) Lacta [Электронный ресурс]. - Режим доступа:
http://lacta.ourwork.gr/mobile/v2/en/, свободный. - Загл. с экрана. (Дата обращения 18.05.2017).
17) Евразия Моторс [Электронный ресурс]. - Режим доступа:
http://kvarkstudio.ru/eurasia-motors-nissan/, свободный. - Загл. с экрана. (дата обращения 15.05.2017).
18) Ikea [Электронный ресурс]. - Режим доступа: http://www.ikea.com/, свободный. - Загл. с экрана. (Дата обращения 18.05.2017).
19) The Medical Imaging Interaction Toolkit (MITK) [Электронный ресурс]. - Режим доступа: http://mitk.org/wiki/MITK, свободный. - Загл. с экрана. (Дата обращения 20.05.2017).
20) Timothy R. Coles, Nigel W. John, Derek Gould, Darwin G. Caldwell (Eds.). Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation, IEEE Transactions on Haptics, 2011.
21) Yelp Monocle [Электронный ресурс]. - Режим доступа:
https://www.yelp.com/sf, свободный. - Загл. с экрана. (Дата обращения 20.05.2017).
22) Яковлев, Б.С. Классификация и перспективные направления
использования технологии дополненной реальности [Текст] / Б.С. Яковлев, С.И. Пустов // Известия ТулГу. Вып.3., Технические науки. - 2013. - С. 484-492.