Основные определения, обозначения и сокращения 5
Введение 7
Глава 1. Постановка задачи 14
1.1 Обзор аналогичных решений 15
1.2 Интерфейс взаимодействие пользователя и радиоуправляемого объекта
через дополненную реальность 21
Глава 2. Анализ выбора технологии и средств реализации 27
2.1 Unity 34
2.2 Vuforia 35
2.3 Arduino 38
2.3.1 Вычислительная платформа Arduino 38
2.3.2 Команды управления в среде разработки Arduino 39
Глава 3. Практическая часть 42
3.1. Разработка радиоуправляемой платформы 42
3.1.1. Составные компоненты 42
3. 2. Разработка приложения в Unity3D 44
3.2.1 Общая архитектура проекта 45
3.2.2. Архитектура приложения 46
3.2.3 Добавление маркера 47
3.2.4 Привязка 2D-объекта к маркеру 49
3.2.5 20-объект как манипулятор и назначение команд 50
3.2.6 Передача команд на радиоуправляемое устройство 51
3.2.7 Синхронизация движений 52
3.3 Реализация мобильного приложения под Android 52
3.3.1 Интерфейс и функционал программы 54
3.3.2 Работа с камерой 56
3.3.3 Распознавание маркера 56
3.3.4 Использование дополненной реальности 58
3.3.5 Проектирование в режиме реального времени 60
3.4. Тестирование приложения 61
3.4.1. Настройки развертывания под Android 62
3.4.2 Результат 64
3.5 Публикация в магазине Google Play 64
Заключение 67
Список использованных источников 71
Приложение к выпускной квалификационной работе 72
В современном мире сфере визуализации уделяется большое внимание, и ее развитие идет быстрыми темпами. В последнее несколько лет большой популярностью пользуются разработки проектов с использованием дополненной и виртуальной реальности. Не смотря на то, что появление данных технологий произошло достаточно давно, активное обсуждение перспективы и развития этих направлений началось только сейчас.
Технологии дополненной реальности и разработка программного обеспечения для нее стала одним из востребованных направлений на рынке. Дополненная реальность, в отличие от виртуальной, совмещает реальный мир и информационно- компьютерные технологии в том плане, что глядя на окружающий нас мир через камеру смартфона пользователь наблюдает как образовывается и добавляется в это пространство графический элемент, который является дополненной реальностью. [3] Мобильные устройства и персональные компьютеры с программами и системами, использующими дополненную реальность могут проектировать изображение в режиме реального времени, используя окружающее пространство , транслируемое мобильной камерой.
Использование дополненной реальности дает возможность манипулировать в пространстве физическими объектами. Это позволяет избавить пользователя от лишних физических нагрузок и упростить управление объектами.
При создании проекта с технологией дополненной реальности большое значение имеет выбор базы, на котором будет основана реализация программы. Для этого был выбран фреймворк.
Фреймворк представляет собой программную платформу, определяющую структуру или каркас разрабатываемой программной системы. Как программное обеспечение и готовая платформа для сборки проекта, он облегчает и ускоряет разработку и объединение разных компонентов и составных частей одного большого программного продукта.
Когда речь заходит о дополненной реальности и манипуляции с ее помощью объектами, большое значение имеет выбор удобного и функционального для пользователя устройства, под которое реализуется программное обеспечение. В таком случае, стоит обратить внимание на разработку программного обеспечения для мобильных устройств. Но здесь стоит учесть насколько данное устройство распространено среди пользователей. Для получения наиболее точных данных о распространении определенных моделей устройств и операционных систем следует воспользоваться информацией аналитических компаний.
Так, основываясь на данных аналитического агентства Strategy Analytics, можно понять, что смартфоны являются наиболее распространенным электронным устройством во всем мире.
По оценкам экспертов выявлено, что только за 2014 год количество пользователей смартфонов выросло - с 1,5 млрд в 2013 году до 2,1 млрд человек. Отсюда следует, что почти одна треть мирового населения на данный момент владеет мобильными устройствами. А в 2015 году количество владельцев смартфонов увеличилось еще на 22%. Из аналитических данных так же можно выявить, что к концу 2015- начала 2016 года смартфонами обладали уже 2,5 млрд человек, а это 35% всего населения Земли, где общее число людей 7,2 млрд.
Данные, показывающие рост пользователей смартфонов определяют выбор именно мобильного устройства, и дают понять, что разработанное приложение будет доступно большому количеству пользователей. Но стоит учесть, что для полноценной работы приложения необходимо портативное устройство с сенсорным экраном.
Следующим шагом следовало выбрать подходящую операционную систему. По данным аналитических исследований компании Hi-tech от Mail.Ruк наиболее распространенным мобильным операционным системам относятся Android, iOS, Windows Phone. В общей сложности, в России 70% от всего количества смартфонов работают на базе Android, 16% — на ОС iOS. Остальным операционным системам на мобильных устройствах (Windows Phone, Symbian и другие) достается лишь 14% рынка. Так же можно заметить, что занимаемая часть ранка системой Android растет быстрее, в этом случае основной причиной является широкий модельный ряд мобильных устройств и производителей, особенно в бюджетном сегменте.
На фоне современных тенденций решено было разработать фреймворк, позволяющий облегчить сборку приложения с дополненной реальностью под мобильную платформу Android.
Из всего вышесказанного следует, что целью дипломной работы на тему “Разработка фреймворка для альтернативного воздействия на радиоуправляемые объекты через дополнительную реальность” является изучение особенностей разработки и технологий дополненной реальности и создания мобильного Android- приложения, позволяющего управлять объектами в пространстве в реальном времени через дополненную реальность.
Для более четкого понимания что представляет собой дополненная реальность, стоит привести описание этой технологии. Дополненная реальность(с английского augmented reality, AR- расширенная реальность) - это инновационная технология, позволяющая добавлять цифровые данные в физический мир, используя для этого мобильные устройства или персональные компьютеры. Основной принцип работы технологии заключается в совмещении на дисплее смартфона изображения реального мира, которое передается с камеры в режиме реального времени с графическими данными, которые могут перекрывать видимые физические объекты, создавая ощущение принадлежности к реальной окружающей среде
Что касается применения дополненной реальности в современном мире, то существует очень широкий спектр разных сфер деятельности человека, это могут быть наука, техника, военная промышленность. Тем не менее можно выделить несколько наиболее популярных областей:
1) военная сфера;
2) тяжелая и химическая промышленность;
3) медицина;
4) образование;
5) картография;
6) реклама;
7) игровая и спортивная индустрия;
8) проектирование.
Однако стоит сказать, что не во всех перечисленных областях на данный момент технология дополненной реальности активно применяется, в некоторых случаях данная технология только планируется или находится в начальной стадии разработки ее применения.
В военной сфере востребованы тренажеры и симуляторы с дополненной реальностью. Дополненная реальность может служить прототипами военной техники, имитировать размещение данной техники на местности, быть внедренной в геоинформационные системы. Стоит обратить внимание так же, что одним из перспективных направлений в этой сфере является беспилотная техника. Здесь можно привести в качестве примера стоящие на военном вооружении у ВВС США беспилотные летательные аппараты MQ-1 Predator, которые активно применяются на территории Ирака и Афганистана. Управление данными беспилотниками можно осуществлять, находясь на достаточно удаленных от военных действий территориях из специальных военных центров. С камеры такого самолета приходит видео реального времени, пилот на мониторе видит это изображение, но в качестве дополненной реальности на него просто накладывается необходимая информация, например данные о координатах, высоте, предположительных целях для нанесения удара, но эта графика статична и не имеет функций контроля. В промышленности данная технология может повысить безопасность сотрудников в работе с опасными веществами и тяжелой много-габаритной техникой.
В медицине так же востребованы тренажеры, использующие дополненную реальность. Они могут помочь врачам практиковаться в сложных процедурах, например в хирургии, что позволит уменьшить вероятность ошибки в дальнейшем при реальных операциях. Реалистичность тренажеров должна быть максимально приближена к естественным условиям работы врача, что способствовало бы эффективному и правильному обучению и практике.
В образовании функционал дополненной реальности используется в качестве наглядной демонстрации некоторых физических процессов, масштабной визуализации астрономических и исторических объектов в виде дополнительной графики.
В картографии благодаря мобильным устройствам приложения с дополненной реальностью стали очень популярны. Созданные системы хорошо упрощают ориентирование в пространстве , обычно пользователь используя камеру своего гаджета получает кроме изображения в реальном времени дополнительную графическую информацию об окружающих объектах. Используя GPS навигацию технология дополненной реальности показывает пользователю маршруты передвижения. Примером может послужить приложение Wikitude, используя встроенную функцию распознавания изображений, технология дает возможность пользователю получать информацию об окружающих местах, таких как кафе, музеи, рестораны, вывески, поиск людей.
В рекламе и в коммерческой сфере в целом приложения с дополненной реальностью могут предложить пользователю предпросмотр товаров, их функционирование и в какой-то мере тестирование. [7] Так например уже появились магазины, в которых установлены интерактивные зеркала- дисплей, показывающие покупателям как будет смотреться на них определенная вещь. Компания IBM так же не обошла стороной подобные разработки и удивила пользователей своим приложением Augmented Reality Shopping Assistant, позволяющим сканировать в магазинах полки с товаром, и выводит на дисплей подробную информацию о продукте, цены в других магазина сети, имеющиеся в наличии размеры или информацию о пищевой ценности и составе продукта.
В спортивной индустрии такая технология может использоваться для наложения рекламной графики или видеопотока непосредственно в центральную зону спортивных соревнований. Использование дополненной реальности в сфере развлечений так же приобретает большую популярность, это обеспечивает больше интерактивности в игровом процессе. Интерфейс с дополненной реальностью дает возможность пользователю контролировать многие объекты физически, в реальном мире.
В проектировании, например, строительных объектов, восстановлении памятников архитектуры и прочих изменениях в ландшафте города дополненная реальность может играть важную роль. Сложно глядя на схему или чертеж здания представить как он впишется в общий вид города, а с дополненной реальность можно конкретно на месте увидеть как в итоге будет выглядеть готовый объект, исключая ошибки в строительстве, которые могут сказаться в дальнейшем.
За последние несколько лет технология дополненной реальности прошла путь от концепции футуристических разработок в сфере визуализации до применяемых в приложениях интерактивных интерфейсах и создания дополнительных эффектов в сфере компьютерных развлечений. В том или ином виде технология дополненной реальности применяется во многих областях деятельности человека и выполняет разные задачи.
В результате выполнения дипломной работы были рассмотрены и проанализированы сферы применения, аналогичные решения и применяемые технологии для разработки проектов с использованием дополненной реальности. Проведен сравнительный анализ существующих на данный момент видов технологий с дополненной реальностью с выявлением их плюсов и минусов.
Одним из важных фактов, выявленных путем анализа, стоит отметить отсутствие на сегодняшний день аналогичных ,разработанному в рамках диплома, проектов. То есть, проблема дистанционного управления физическим объектом с возможностью передвижения через технологию дополненной реальности до сих пор не была решена.
Целью дипломной работы была разработка фреймворка для альтернативного воздействия на радиоуправляемые объекты, используя технологию дополненной реальности.
На основе проведенного анализа в процессе реализации были решены следующие задачи:
1. разработка физического компонента проекта в виде радиоуправляемой гусеничной платформы;
2. разработка программной части, включающая в себя проектирование
фреймворка, добавление библиотеки дополненной реальности Vuforia,
назначение команд для управления платформой, создание и добавление графического элемента дополненной реальности, создание маркера и привязка к нему объекта дополненной реальности, возможность использовать дополненную реальность в качестве контроллера, реализация взаимодействия аппаратного и программного компонентов системы, настройка параметров и экспорт программы под мобильное устройство с операционной системой Android.
Полученный фреймворк, содержащий в себе работу аппаратной и программной части системы дает пользователю возможность управлять дистанционно физическим объектом, имея только мобильное устройство с приложением с дополненной реальностью, где технология дополненной реальности служит устройством управления, и в то же время создает ощущения того, что является частью реального мира.
Основываясь на полученной информации в ходе анализа технологии и реализации проекта были сделаны следующие выводы:
1. Исследование технологии дополненной реальности и разработка проектов с ее использованием на сегодняшний день актуально и востребовано;
2. Мобильные приложения, программы и другие проекты с дополненной реальностью помогают привлечь более широкую аудиторию ;
3. Проекты с данной технологией позволяют пользователям наглядно показывать определенные процессы, вовлекать в работу, интерактивно взаимодействовать с устройством;
4. Получение информации в игровом виде с дополненной реальностью, что способствует быстрому ее запоминанию;
5. Сильный эмоциональный отклик и создание яркого впечатления у пользователей от работы с данной технологией;
6. Графические элементы дополненной реальности как компоненты большой мультимедийной системы позволяют финансово сэкономить на использовании интерактивного оборудования или других устройств и объектов, так как создаются на основе мобильных устройств, которые есть почти у каждого пользователя.
При дальнейшем развитии проекта планируется внести определенные изменения для обеспечения более стабильной работы и возможности увеличить расстояние взаимодействия аппаратного и программного компонентов. В первую очередь сюда будет входит замена компонента Bluetooth для подключения устройств и передачи команд на сеть Wi-Fi для более быстрой и удаленной работы. Следующим шагом предполагается переход с микроконтроллера Arduino на более мощный, с большим объемом памяти. Так же для преодоления больших расстояний в работе потребуется разделить мобильное устройство с управлением через дополненную реальность и камеру для обзора и анализу пространства, что позволит пользователю данной системы быть вдали от физического управляемого объекта , но при этом получать видео - поток с камеры и иметь возможность управлять передвижной платформой.
Такое усовершенствование системы дает самые главные возможности для пользователей, с расчетом на которые и создавался проект - это возможность работать в областях с высокой степенью риска, имитировать опасные ситуации , исключая получение травм, физических увечий и угрозу жизни работников и учащихся.
Перспективы развития технологии дополненной реальности так же могут проявиться в применении широкого круга видов деятельности и задействовать различные технологии. Дополненная реальность позволяет делать многие решения сложных задач простыми и понятными, визуально наглядными, однако использование только мобильных устройств при работе с данной технологией ограничивают ее возможности, следовательно в будущем стоит рассматривать применение дополненной реальности на других видах вычислительной техники.
На полученном опыте в работе с дополненной реальностью можно сделать вывод, что существующие проекты с данной технологией и в целом ее применение на данный момент несовершенны и имеют множество недостатков и неудобств в использовании, а предоставляемый контент можно быстро найти на онлайн ресурсах, однако уже после первого опыта использования подобных программ пользователь ощущает заметное преимущество над другими видами взаимодействий с мобильными устройствами и окружающим миром. Можно предположить , что при повышении критериев качества программных продуктов и улучшения и увеличения содержащегося контента, дополненная реальность надежно закрепится в повседневной жизни людей, так же как смартфоны и персональные компьютеры.
1. Дополненная реальность [Электронный ресурс]. - Режим доступа: https://ru.wikipedia.org/wiki^onoHHeHHaa_peaHbHOCTb, свободный
2. Vuforia framework [Электронный ресурс]. - Режим доступа: https: //www.qualcomm.com/products/vuforia,свободный
3. Schmalstieg D. The World as a User Interface: Augmented Reality for Ubiquitous Computing // Location Based Services and TeleCartography. - 2007. - Vol. 4. - Р. 369-391.
4. Hollerer Т. User Interface Management Techniques for Collaborative Mobile Augmented Reality // Computers & Graphics. - 2001. - Vol. 5, № 26.
5. Ерош И.Л. Обработка и распознавание изображений в системах превентивной безопасно- сти: учеб. пособие / И.Л. Ерош, М.Б. Сергеев, Н.В. Соловьев. - СПб: ГУАП, 2012.
6. Козырева А.В. Определение координат мобильного устройства в пространстве на основе изображений, получаемых от его видеокамеры [Электронный ресурс].
- Режим доступа: http://www.iis.nsk.su/files/articles/sbor_kas_13_kozyreva_1.pdf, свободный
7. R. Azuma, “A Survey of Augmented Reality,” Presence: Teleoperators and Virtual Environments. vol. 6, no. 4, Aug. 1997
8. Кравцов А. А. Использование технологии дополненной реальности для визуализации виртуального объекта в реальном интерьере // Научный журнал КубГАУ. — 2012. — № 84.
9. AR-media [Электронный ресурс]. - URL: http://www.armedia.it/index. php , свободный
10. Metaio SDK: дополненная реальность стала полнее [Электронный ресурс]. - URL: http: //habrahabr. ru/company/intel/blog/198 716/ ,свободный
11. Qualcomm Vuforia [Электронный ресурс].
URL: https: //www.qualcomm.com/products/vuforia, свободный