Исследование сверточных нейронных сетей для создания приложений дополненной реальности
|
Введение 3
Глава 1 Теоретические основы дополненной реальности и нейронных сетей 7
1.1 Дополненная реальность 7
1.2 Использование дополненной реальности 9
1.3 Описание работы и способы использования нейронных сетей 12
1.4 Описание работы сверточных нейронных сетей 20
Глава 2 Анализ существующих методов и подходов для создания приложения дополненной реальности 25
2.1 Обнаружение объектов с традиционным машинным обучением 25
2.2 Прототип MATLAB для обнаружения объектов 28
Глава 3 Объединение методов в приложении дополненной реальности 32
3.1 Макет запланированного приложения 32
3.2 Работа с данными для сверточной нейронной сети 34
3.3 Рассмотрение вопроса классификации изображений 38
3.4 Одновременное обнаружение нескольких объектов на изображении 42
3.5 Использование машинного обучения Turi Create 47
3.6 Отслеживание найденных объектов при их перемещении на изображении 51
Глава 4 Финальная версия приложения по сборке мебели с элементами дополненной реальности 56
4.1 Создание приложения, совмещающего нейронные сети и дополненную реальность для iOS 56
4.1.1 Диаграммы классов приложения для iOS 56
4.1.2 Соединение двух деталей мебели в дополненной реальности 60
4.1.3 Готовый графический интерфейс 60
4.2 Пользовательское тестирование 62
Заключение 66
Список используемых источников 69
Приложение А Код программы 73
Глава 1 Теоретические основы дополненной реальности и нейронных сетей 7
1.1 Дополненная реальность 7
1.2 Использование дополненной реальности 9
1.3 Описание работы и способы использования нейронных сетей 12
1.4 Описание работы сверточных нейронных сетей 20
Глава 2 Анализ существующих методов и подходов для создания приложения дополненной реальности 25
2.1 Обнаружение объектов с традиционным машинным обучением 25
2.2 Прототип MATLAB для обнаружения объектов 28
Глава 3 Объединение методов в приложении дополненной реальности 32
3.1 Макет запланированного приложения 32
3.2 Работа с данными для сверточной нейронной сети 34
3.3 Рассмотрение вопроса классификации изображений 38
3.4 Одновременное обнаружение нескольких объектов на изображении 42
3.5 Использование машинного обучения Turi Create 47
3.6 Отслеживание найденных объектов при их перемещении на изображении 51
Глава 4 Финальная версия приложения по сборке мебели с элементами дополненной реальности 56
4.1 Создание приложения, совмещающего нейронные сети и дополненную реальность для iOS 56
4.1.1 Диаграммы классов приложения для iOS 56
4.1.2 Соединение двух деталей мебели в дополненной реальности 60
4.1.3 Готовый графический интерфейс 60
4.2 Пользовательское тестирование 62
Заключение 66
Список используемых источников 69
Приложение А Код программы 73
Чтобы понять, для чего проект был реализован, важно узнать не только историю изученных областей, но и перспективы использования технологий. В разделе «Перспективы» рассматривается текущее и потенциальное использование этих технологий, а также какие существуют перспективы у этой отрасли. В разделе «Предыдущие исследования» рассматриваются некоторые из предыдущих исследований, которые были проведены в областях, изучающихся в данной работе. В разделе «Цель работы» цели проекта. Раздел «Макет запланированного приложения» иллюстрирует макет того, как должен выглядеть конечный продукт.
Идея дополненной реальности, которую часто называют просто AR, состоит в том, чтобы визуализировать виртуальные объекты в реальном мире. Это обычно требует аппаратного обеспечения в виде камеры и дисплея, процессора и программного обеспечения. Обычными устройствами, способными к AR, являются HoloLens [1], Google Glass [2] и огромное количество мобильных устройств, таких как Apple iPhone X [3]. Общий интерес к AR за последние годы, несомненно, вырос, благодаря мобильным играм и приложениям, таким как Niantic's Pokemon Go [4] и IKEA Place [5], индустрия AR достигла общего интереса, и источники предполагают, что это может быть индустрия с бюджетом в 90 миллиардов долларов к 2022 году [6]. Но дополненная реальность достигла не только простых пользователей, технология также вызвала интерес в нескольких отраслях. Одним из таких проектов является Fieldbit Hero [7], платформа, позволяющая техническим специалистам мгновенно получать аннотации AR на свои AR-устройства от инженера, позволяя техническому персоналу получать визуальные инструкции и одновременно работать в режиме громкой связи. Однако на данный момент большая часть локализации и идентификации объектов в AR осуществляется с помощью обнаружения маркеров [8]. Альтернативой этому было бы использование сверточных нейронных сетей, поскольку было доказано, что они очень полезны для обнаружения объекта на изображениях. Шумиха вокруг нейронных сетей была особенно сильной с тех пор, как AlexNet набрал высокие баллы в конкурсе ImageNet LSVRC-2010 и конкурсе ImageNet ILSVRC-2012 [9], которые являются соревнованиями по классификации изображений. Они совершили эти подвиги, используя новые методы, например, отсев. С тех пор было создано несколько различных типов сетевых моделей. Теперь есть сетевые модели, которые могут определять, как местоположение объекта на изображении, так и объект, за один раз. Одной из таких сетей является YOLO [10]. Применив такую сеть, необходимость в маркировке объектов значительно упала, и это могло бы открыть для многих других возможных вариантов использования AR.
Цель работы - объединить дополненную реальность с обнаружением объекта и его распознаванием, чтобы выяснить, возможно ли это и есть ли фактический вариант использования для этого метода.
Объект исследования - разработка приложения, совмещающего нейронные сети и дополненную реальность.
Предмет исследования - приложение для сборки мебели с элементами дополненной реальности.
Гипотеза исследования состоит в том, что можно объединить нейронные сети с дополненной реальностью в одном приложении если:
• подобран метод обнаружения и локализации объектов;
• нейронная сеть правильно обучена;
• создано приложение, сочетающее сверточную нейронную сеть и дополненную реальность.
Исходя из цели исследования и для проверки выдвинутой гипотезы, необходимо решить следующие задачи:
• подобрать метод обнаружения и локализации объектов;
• создать и обучить сверточную нейронную сеть;
• написать приложение, использующее сверточные нейронные сети и дополненную реальность;
• создать графический интерфейс;
• провести тестирование полученного приложения.
Научная новизна исследования состоит в совмещении нейронных сетей и дополненной реальности в мобильном приложении.
Положения, выносимые на защиту:
• Приложение для сборки мебели с элементами дополненной реальности.
• Компьютерная и математическая модели приложения с использованием нейронных сетей и дополненной реальности.
Структура магистерской диссертации. Работа состоит из введения, 4 глав, заключения.
Во введении обосновываются актуальность темы исследования, определяются объект, предмет, цель, ведущая идея, выдвигается гипотеза и формулируются задачи работы, характеризуются научная новизна, теоретическая и практическая значимость результатов исследования.
В первой главе «Теоретические основы дополненной реальности и нейронных сетей» описана историческая справка, а также то, как работает дополненная реальность. Объясняется несколько различных типов AR. Затем краткая история AR представлена в разделе. После этого описан метод сопоставления среды, называемый S.L.A.M. Описывается инструментарий ARKit. Далее внимание уделено нейронным сетям. Во-первых, некоторые теоретические основы, окружающие нейронные сети в целом, а затем, в частности.
Во второй главе «Анализ существующих методов и подходов для создания приложения дополненной реальности» раскрывается о предыдущих исследованиях в области mobile augmented reality. Так же рассказывается о способе обнаружения объектов с традиционным машинным обучением, описан метод обнаружения лиц Виолы-Джонса. Далее рассматривается прототип matlab для обнаружения объектов, и описаны результаты его работы.
В третьей главе «Объединение выбранных методов в приложении дополненной реальности» создается макет запланированного приложения. Решается вопрос сбора и дополнения данных для обучения нейронной сети. Описываются методы для обнаружения объекта.
В четвертой главе «Готовое приложение» описывается само приложение, показаны диаграмма классов, показывается готовый интерфейс, проводится его тестирование, а также представлены результаты опроса пользователей, опробовавших приложение.
В заключении представлены основные результаты поставленных задач исследования и сделаны следующие выводы:
Возможность объединения дополненной реальности и нейронных сетей существует.
Данное приложение гораздо удобнее бумажного руководства по сборке мебели.
Содержит 38 рисунков, 3 таблицы, 47 источников, 12 приложений. Основной текст работы изложен на 77 страницах.
Идея дополненной реальности, которую часто называют просто AR, состоит в том, чтобы визуализировать виртуальные объекты в реальном мире. Это обычно требует аппаратного обеспечения в виде камеры и дисплея, процессора и программного обеспечения. Обычными устройствами, способными к AR, являются HoloLens [1], Google Glass [2] и огромное количество мобильных устройств, таких как Apple iPhone X [3]. Общий интерес к AR за последние годы, несомненно, вырос, благодаря мобильным играм и приложениям, таким как Niantic's Pokemon Go [4] и IKEA Place [5], индустрия AR достигла общего интереса, и источники предполагают, что это может быть индустрия с бюджетом в 90 миллиардов долларов к 2022 году [6]. Но дополненная реальность достигла не только простых пользователей, технология также вызвала интерес в нескольких отраслях. Одним из таких проектов является Fieldbit Hero [7], платформа, позволяющая техническим специалистам мгновенно получать аннотации AR на свои AR-устройства от инженера, позволяя техническому персоналу получать визуальные инструкции и одновременно работать в режиме громкой связи. Однако на данный момент большая часть локализации и идентификации объектов в AR осуществляется с помощью обнаружения маркеров [8]. Альтернативой этому было бы использование сверточных нейронных сетей, поскольку было доказано, что они очень полезны для обнаружения объекта на изображениях. Шумиха вокруг нейронных сетей была особенно сильной с тех пор, как AlexNet набрал высокие баллы в конкурсе ImageNet LSVRC-2010 и конкурсе ImageNet ILSVRC-2012 [9], которые являются соревнованиями по классификации изображений. Они совершили эти подвиги, используя новые методы, например, отсев. С тех пор было создано несколько различных типов сетевых моделей. Теперь есть сетевые модели, которые могут определять, как местоположение объекта на изображении, так и объект, за один раз. Одной из таких сетей является YOLO [10]. Применив такую сеть, необходимость в маркировке объектов значительно упала, и это могло бы открыть для многих других возможных вариантов использования AR.
Цель работы - объединить дополненную реальность с обнаружением объекта и его распознаванием, чтобы выяснить, возможно ли это и есть ли фактический вариант использования для этого метода.
Объект исследования - разработка приложения, совмещающего нейронные сети и дополненную реальность.
Предмет исследования - приложение для сборки мебели с элементами дополненной реальности.
Гипотеза исследования состоит в том, что можно объединить нейронные сети с дополненной реальностью в одном приложении если:
• подобран метод обнаружения и локализации объектов;
• нейронная сеть правильно обучена;
• создано приложение, сочетающее сверточную нейронную сеть и дополненную реальность.
Исходя из цели исследования и для проверки выдвинутой гипотезы, необходимо решить следующие задачи:
• подобрать метод обнаружения и локализации объектов;
• создать и обучить сверточную нейронную сеть;
• написать приложение, использующее сверточные нейронные сети и дополненную реальность;
• создать графический интерфейс;
• провести тестирование полученного приложения.
Научная новизна исследования состоит в совмещении нейронных сетей и дополненной реальности в мобильном приложении.
Положения, выносимые на защиту:
• Приложение для сборки мебели с элементами дополненной реальности.
• Компьютерная и математическая модели приложения с использованием нейронных сетей и дополненной реальности.
Структура магистерской диссертации. Работа состоит из введения, 4 глав, заключения.
Во введении обосновываются актуальность темы исследования, определяются объект, предмет, цель, ведущая идея, выдвигается гипотеза и формулируются задачи работы, характеризуются научная новизна, теоретическая и практическая значимость результатов исследования.
В первой главе «Теоретические основы дополненной реальности и нейронных сетей» описана историческая справка, а также то, как работает дополненная реальность. Объясняется несколько различных типов AR. Затем краткая история AR представлена в разделе. После этого описан метод сопоставления среды, называемый S.L.A.M. Описывается инструментарий ARKit. Далее внимание уделено нейронным сетям. Во-первых, некоторые теоретические основы, окружающие нейронные сети в целом, а затем, в частности.
Во второй главе «Анализ существующих методов и подходов для создания приложения дополненной реальности» раскрывается о предыдущих исследованиях в области mobile augmented reality. Так же рассказывается о способе обнаружения объектов с традиционным машинным обучением, описан метод обнаружения лиц Виолы-Джонса. Далее рассматривается прототип matlab для обнаружения объектов, и описаны результаты его работы.
В третьей главе «Объединение выбранных методов в приложении дополненной реальности» создается макет запланированного приложения. Решается вопрос сбора и дополнения данных для обучения нейронной сети. Описываются методы для обнаружения объекта.
В четвертой главе «Готовое приложение» описывается само приложение, показаны диаграмма классов, показывается готовый интерфейс, проводится его тестирование, а также представлены результаты опроса пользователей, опробовавших приложение.
В заключении представлены основные результаты поставленных задач исследования и сделаны следующие выводы:
Возможность объединения дополненной реальности и нейронных сетей существует.
Данное приложение гораздо удобнее бумажного руководства по сборке мебели.
Содержит 38 рисунков, 3 таблицы, 47 источников, 12 приложений. Основной текст работы изложен на 77 страницах.
Основная цель этого проекта состояла в том, чтобы выяснить, возможно ли использовать обнаружение объектов и распознавание объектов вместе с дополненной реальностью, как в отношении того, насколько это технически возможно, так и создания ценности для пользователя.
С технической точки зрения это безусловно возможно. В работе показано, что нейронная сеть, такая как YOLO, может использоваться для обнаружения объектов, в то же время имея активную сессию AR для информирования об окружающем пространстве и о том, где находится устройство. Основная задача заключается в сборе большого количества соответствующих данных и обучении нейронной сети, чтобы дать хорошее обобщение этих данных. Это может быть частично облегчено с помощью трансферного обучения. Кроме того, существует множество платформ, которые необходимо использовать, чтобы избежать разработки с нуля.
С точки зрения потребительской ценности также существует потенциальный, но не такой большой интерес к текущему оборудованию. Из пользовательских тестов получены несколько интересных результатов. Хотя пользователям понравилось решение по безбумажному руководству по сборке в AR, они не стремились держать телефон во время просмотра инструкций, чтобы потом положить его, когда собирали предмет мебели. Кроме того, все они видели большой потенциал в использовании этого типа технологий, но возможность использования очков дополненной реальности была бы действительно великолепна. Тем не менее, использование такого оборудования не представлялось возможным.
Полностью рабочий прототип для сочетания обнаружения объектов с дополненной реальностью был разработан для iPhone X.
В связи с быстрым развитием областей, обсуждаемых в этой работе, многое может быть улучшено в будущем. С появлением новых аппаратных средств дополненной реальности и смешанной реальности, разработанных крупными франшизами, такими как Facebook [43], производительность будет расти очень быстро. Ниже описаны несколько способов улучшения не только этого приложения, но и комбинации используемых технологий в целом.
Одним из улучшений этого приложения было бы перенести его не только на портативные устройства, но и на головной убор, что позволяет пользователю строить обеими руками и не останавливаться во время процесса сборки.
Еще одна проблема, связанная с моделью, заключается в том, что программа не может обнаружить винты и болты из-за их сравнительно небольшого размера, вместо этого она просто информирует пользователя, что винты следует использовать во время определенного этапа с использованием анимации. Вероятно, эту проблему можно решить, адаптировав модель к меньшим объектам. Будущая работа может состоять в том, чтобы выяснить, возможно ли это.
Поскольку в ходе пользовательских тестов возникла путаница в отношении зеленой маркировки, было бы лучше отметить только точное положение детали, а не окружающее пространство. Для этого приложения известен только ограничивающий прямоугольник 2В-изображения, а не плоскость, где лежит предмет.
Возможным решением этой проблемы в будущем может стать внедрение сети Mask R-CNN. Однако проблема с этим типом сейчас заключается в том, что он не работает в приложениях реального времени (определенно не на мобильных устройствах). Если бы это работало, то могло бы быть реализовано в приложении для более приятного использования.
С тех пор как ARKit 2.0 был выпущен, можно поделиться опытом AR с другим пользователем. Поскольку приложение уже использует ARKit 2.0, оно будет относительно простым для реализации общего опыта. Общий опыт может помочь нескольким людям работать вместе, чтобы собрать мебель. Большая мебель редко собирается одним человеком.
Чтение инструкций на экране при просмотре видео не является наиболее понятным в среде AR. Глаза в основном сосредоточены на том, что происходит в окружающей среде, и текстовые инструкции, данные на оверлее, можно легко пропустить. Кроме того, людям с плохим зрением могут быть трудны как чтение инструкций, так и просмотр 3D-моделей. Эту проблему можно решить, введя озвученные инструкции в приложении.
Поскольку винты были слишком малы для обнаружения, то же самое можно сказать и о точках крепления на деталях мебели, которые соединяют друг друга. Улучшение в будущем может заключаться в том, чтобы попытаться определить точные опорные точки на реальных деталях мебели и визуализировать виртуальный объект прямо в этом месте. Это потребует дополнительной работы по обучению нейронной сети для обнаружения этих мелких частей и, возможно, более высокого разрешения на изображениях.
Одной из текущих проблем с дополненной реальностью является то, что модели отображаются поверх реального мира. Когда в сцене нет другого объекта и есть простая плоскость для его визуализации, результат может выглядеть довольно реалистичным. Однако, когда другие объекты находятся на сцене, иллюзия реализма легко теряется. Пример этого можно увидеть на рисунке 5.1. Слева нет предметов спереди, поэтому выглядит реалистично. Справа на книжной полке есть лампа.
Одним из способов решения этой проблемы было бы создание трехмерной модели реального мира, позволяющей находить объекты переднего плана и, таким образом, добавлять маску прозрачности к объекту, который нужно визуализировать в реальном мире, чтобы усилить эффект иллюзии.
На данный момент ARKit не может сделать это в режиме реального времени. Тем не менее, есть ученые, работающие над решением проблемы окклюзии в дополненной реальности, такие как Шах, Нияти.
С более подробными выводами можно ознакомиться в приложении О.
С технической точки зрения это безусловно возможно. В работе показано, что нейронная сеть, такая как YOLO, может использоваться для обнаружения объектов, в то же время имея активную сессию AR для информирования об окружающем пространстве и о том, где находится устройство. Основная задача заключается в сборе большого количества соответствующих данных и обучении нейронной сети, чтобы дать хорошее обобщение этих данных. Это может быть частично облегчено с помощью трансферного обучения. Кроме того, существует множество платформ, которые необходимо использовать, чтобы избежать разработки с нуля.
С точки зрения потребительской ценности также существует потенциальный, но не такой большой интерес к текущему оборудованию. Из пользовательских тестов получены несколько интересных результатов. Хотя пользователям понравилось решение по безбумажному руководству по сборке в AR, они не стремились держать телефон во время просмотра инструкций, чтобы потом положить его, когда собирали предмет мебели. Кроме того, все они видели большой потенциал в использовании этого типа технологий, но возможность использования очков дополненной реальности была бы действительно великолепна. Тем не менее, использование такого оборудования не представлялось возможным.
Полностью рабочий прототип для сочетания обнаружения объектов с дополненной реальностью был разработан для iPhone X.
В связи с быстрым развитием областей, обсуждаемых в этой работе, многое может быть улучшено в будущем. С появлением новых аппаратных средств дополненной реальности и смешанной реальности, разработанных крупными франшизами, такими как Facebook [43], производительность будет расти очень быстро. Ниже описаны несколько способов улучшения не только этого приложения, но и комбинации используемых технологий в целом.
Одним из улучшений этого приложения было бы перенести его не только на портативные устройства, но и на головной убор, что позволяет пользователю строить обеими руками и не останавливаться во время процесса сборки.
Еще одна проблема, связанная с моделью, заключается в том, что программа не может обнаружить винты и болты из-за их сравнительно небольшого размера, вместо этого она просто информирует пользователя, что винты следует использовать во время определенного этапа с использованием анимации. Вероятно, эту проблему можно решить, адаптировав модель к меньшим объектам. Будущая работа может состоять в том, чтобы выяснить, возможно ли это.
Поскольку в ходе пользовательских тестов возникла путаница в отношении зеленой маркировки, было бы лучше отметить только точное положение детали, а не окружающее пространство. Для этого приложения известен только ограничивающий прямоугольник 2В-изображения, а не плоскость, где лежит предмет.
Возможным решением этой проблемы в будущем может стать внедрение сети Mask R-CNN. Однако проблема с этим типом сейчас заключается в том, что он не работает в приложениях реального времени (определенно не на мобильных устройствах). Если бы это работало, то могло бы быть реализовано в приложении для более приятного использования.
С тех пор как ARKit 2.0 был выпущен, можно поделиться опытом AR с другим пользователем. Поскольку приложение уже использует ARKit 2.0, оно будет относительно простым для реализации общего опыта. Общий опыт может помочь нескольким людям работать вместе, чтобы собрать мебель. Большая мебель редко собирается одним человеком.
Чтение инструкций на экране при просмотре видео не является наиболее понятным в среде AR. Глаза в основном сосредоточены на том, что происходит в окружающей среде, и текстовые инструкции, данные на оверлее, можно легко пропустить. Кроме того, людям с плохим зрением могут быть трудны как чтение инструкций, так и просмотр 3D-моделей. Эту проблему можно решить, введя озвученные инструкции в приложении.
Поскольку винты были слишком малы для обнаружения, то же самое можно сказать и о точках крепления на деталях мебели, которые соединяют друг друга. Улучшение в будущем может заключаться в том, чтобы попытаться определить точные опорные точки на реальных деталях мебели и визуализировать виртуальный объект прямо в этом месте. Это потребует дополнительной работы по обучению нейронной сети для обнаружения этих мелких частей и, возможно, более высокого разрешения на изображениях.
Одной из текущих проблем с дополненной реальностью является то, что модели отображаются поверх реального мира. Когда в сцене нет другого объекта и есть простая плоскость для его визуализации, результат может выглядеть довольно реалистичным. Однако, когда другие объекты находятся на сцене, иллюзия реализма легко теряется. Пример этого можно увидеть на рисунке 5.1. Слева нет предметов спереди, поэтому выглядит реалистично. Справа на книжной полке есть лампа.
Одним из способов решения этой проблемы было бы создание трехмерной модели реального мира, позволяющей находить объекты переднего плана и, таким образом, добавлять маску прозрачности к объекту, который нужно визуализировать в реальном мире, чтобы усилить эффект иллюзии.
На данный момент ARKit не может сделать это в режиме реального времени. Тем не менее, есть ученые, работающие над решением проблемы окклюзии в дополненной реальности, такие как Шах, Нияти.
С более подробными выводами можно ознакомиться в приложении О.
Подобные работы
- СИСТЕМА ОБНАРУЖЕНИЯ И ОТСЛЕЖИВАНИЯ ОБЪЕКТОВ В ВИДЕОПОТОКЕ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 4600 р. Год сдачи: 2019 - Подходы к построению диалоговой системы о расстройствах аутистического спектра с помощью архитектуры Трансформер
Магистерская диссертация, лингвистика. Язык работы: Русский. Цена: 4875 р. Год сдачи: 2022 - Сегментация медицинских изображений
Дипломные работы, ВКР, информационные системы. Язык работы: Русский. Цена: 4310 р. Год сдачи: 2016