Помощь студентам в учебе
Разработка системы распознавания жестов с использованием модели машинного обучения
|
ВВЕДЕНИЕ 8
ЛИТЕРАТУРНЫЙ ОБЗОР 11
1.1. Микроэлектромеханические системы 11
1.1.1 Применение МЭМС датчиков 12
1.1.2. Принципы поверхностной микрообработки 14
1.1.3. МЭМС акселерометры 16
1.1.4. МЭМС гироскопы 19
1.1.5. Выводы по разделу 21
1.2. Беспроводные технологии передачи данных 21
1.2.1. Bluetooth 23
1.2.2. Стек протоколов Bluetooth 23
1.2.3. Физические основы передачи данных 26
1.2.4. Выводы по разделу 28
1.3. Машинное обучение 28
1.3.1. Типовые задачи машинного обучения 29
1.3.2. Линейная и логистическая регрессии 30
1.3.3. Деревья принятия решений и случайный лес 34
1.3.4. Искусственные нейронные сети 38
1.3.4.1. Полносвязная нейронная сеть 41
1.3.4.2. Сверточная нейронная сеть 42
1.3.4.3. Рекуррентная нейронная сеть 43
1.3.5. Количественные метрики оценки качества работы моделей 44
1.3.6. Выводы по разделу 45
1.4. Выводы по главе 46
ПРАКТИЧЕСКАЯ ЧАСТЬ 47
2.1. Hardware 47
2.1.1. Проектирование устройства 47
2.1.2. Настройка Bluetooth модуля 50
2.1.3. Прошивка устройства 50
2.1.4. Выводы по разделу 51
2.2. Software 52
2.2.1. Инициализация последовательного порта 52
2.2.2. Алгоритмы постобработки 53
2.2.3. Выводы по разделу 54
2.3. Выводы по главе 54
ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ 56
3.1. Сбор датасета 56
3.2. Архитектура решающих деревьев 58
3.3. Полносвязная нейронная сеть 60
3.4. Сверточная нейронная сеть 62
3.5. Выводы по главе 64
ЗАКЛЮЧЕНИЕ 65
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 66
ПРИЛОЖЕНИЕ А 69
ПРИЛОЖЕНИЕ Б 71
ПРИЛОЖЕНИЕ В 72
ПРИЛОЖЕНИЕ Г 74
ПРИЛОЖЕНИЕ Д 75
ПРИЛОЖЕНИЕ Е 77
ПРИЛОЖЕНИЕ Ж 78
ПРИЛОЖЕНИЕ З 81
ПРИЛОЖЕНИЕ И 87
ЛИТЕРАТУРНЫЙ ОБЗОР 11
1.1. Микроэлектромеханические системы 11
1.1.1 Применение МЭМС датчиков 12
1.1.2. Принципы поверхностной микрообработки 14
1.1.3. МЭМС акселерометры 16
1.1.4. МЭМС гироскопы 19
1.1.5. Выводы по разделу 21
1.2. Беспроводные технологии передачи данных 21
1.2.1. Bluetooth 23
1.2.2. Стек протоколов Bluetooth 23
1.2.3. Физические основы передачи данных 26
1.2.4. Выводы по разделу 28
1.3. Машинное обучение 28
1.3.1. Типовые задачи машинного обучения 29
1.3.2. Линейная и логистическая регрессии 30
1.3.3. Деревья принятия решений и случайный лес 34
1.3.4. Искусственные нейронные сети 38
1.3.4.1. Полносвязная нейронная сеть 41
1.3.4.2. Сверточная нейронная сеть 42
1.3.4.3. Рекуррентная нейронная сеть 43
1.3.5. Количественные метрики оценки качества работы моделей 44
1.3.6. Выводы по разделу 45
1.4. Выводы по главе 46
ПРАКТИЧЕСКАЯ ЧАСТЬ 47
2.1. Hardware 47
2.1.1. Проектирование устройства 47
2.1.2. Настройка Bluetooth модуля 50
2.1.3. Прошивка устройства 50
2.1.4. Выводы по разделу 51
2.2. Software 52
2.2.1. Инициализация последовательного порта 52
2.2.2. Алгоритмы постобработки 53
2.2.3. Выводы по разделу 54
2.3. Выводы по главе 54
ЭКСПЕРИМЕНТАЛЬНАЯ ЧАСТЬ 56
3.1. Сбор датасета 56
3.2. Архитектура решающих деревьев 58
3.3. Полносвязная нейронная сеть 60
3.4. Сверточная нейронная сеть 62
3.5. Выводы по главе 64
ЗАКЛЮЧЕНИЕ 65
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 66
ПРИЛОЖЕНИЕ А 69
ПРИЛОЖЕНИЕ Б 71
ПРИЛОЖЕНИЕ В 72
ПРИЛОЖЕНИЕ Г 74
ПРИЛОЖЕНИЕ Д 75
ПРИЛОЖЕНИЕ Е 77
ПРИЛОЖЕНИЕ Ж 78
ПРИЛОЖЕНИЕ З 81
ПРИЛОЖЕНИЕ И 87
В настоящее время интерес к технологии захвата движений находится в таких областях как игровая индустрия, компьютерная анимация, робототехника и др.
Захват движения - это технология для записи движений, которые затем можно использовать как альтернативный способ управления объектами (играми, роботами, компьютером). Тело человека имеет сложное строение, поэтому записывать его движения гораздо проще, чем создавать трехмерные модели, которые необходимо анимировать вручную.
Существует два принципиальных подхода к захвату движений:
1) анализ видеопотока;
2) подготовка данных о движении датчиками на местах крепления
Целью данной работы является проверка гипотезы о возможности создания простого гаджета для распознавания движений рук, а также создание опытного образца.
Задачи работы:
1. Провести обзор литературы на тему современных технологий изготовления IoT датчиков, современных технологий передачи данных, а также современных методов обработки больших объемов информации;
2. Выбрать компонентную базу для создания опытного образца и собрать его;
3. Разработать программу прошивки для опытного образца;
4. Провести эксперименты с различными моделями машинного обучения.
Актуальность данной работы обусловлена быстрыми темпами роста рынка устройств для «умного города» и «умного дома», так по данным Discovery Research Group от 17 января 2020 года объем рынка систем «умного дома» в России в 2019 году вырос на 16,5 % и достиг 10,5 миллиардов рублей [1]. Также на основе нашей технологии возможно создание продукта для распознавания азбуки жестов глухонемых. В настоящее время это до сих пор остается актуальной задачей, поскольку появление подобного устройства станет первым шаг в масштабной социализации глухонемых людей. Разработка таких устройств в последние годы ведется многими группами, в том числе и в России. Можно выделить некоторые из них:
• Облачная платформа синхронного перевода speakus. Главным недостатком этой платформы является то, что она не работает в онлайн режиме. То есть пользователь записывает видео с докладом на языке жестов, отправляет на платформу, через 24 часа получает озвучку для этого видео, и наоборот;
• Устройство на основе электромиографии. Недостатками технологии является ее высокая цена, нестабильная работа из-за использования программного обеспечения на основе классических алгоритмов, а также то, что пользователю предлагается достаточно габаритный девайс для руки;
• Яндекс.Разговор - является своего рода чатом для общения глухонемых и слышащих людей. Глухонемой пользователь печатает текст, на устройстве слышащего текст воспроизводится в аудио-формате. Слышащий человек записывает голосовое сообщение, которое на устройстве глухонемого воспроизводится в текстовом формате.
• Приложение распознавания жестов по видео от компании DeafSkills.
Ограничениями данного продукта являются: обязательное нахождение человека в области видимости управляющего устройства, стабильность работы зависит от освещенности помещения, нестабильная работа из-за различных антропометрических данных пользователей.
Стоит также упомянуть, что ООН обратили внимание на ситуацию социализации глухонемых людей в Российской Федерации. В июле 2018 года в Москве в представительстве ООН состоялась презентация проекта DeafSkills, целью которого является помощь в трудоустройстве и социальной адаптивности молодым людям с нарушением слуха. Данный проект получил грант от Фонда Демократии ООН.
DeafSkills стремится к расширению географии образовательных учреждений и созданию образовательных программ для глухих. По их мнению это даст возможность талантливым молодым людям, с нарушениями работы слуха проявить себя и использовать в полной мере весь их трудовой, творческий и интеллектуальный потенциал для развития регионов в частности и страны в целом.
По мнению инициаторов этого проекта глухих людей должны принимать во все учебные заведения, не ограничивая при этом их выбор и создавая условия для их обучения. Государство и правительственные органы должны понимать, что подобные вложения окупятся, так как вклад в человеческий потенциал всегда конвертируется в виде будущих налогоплательщиков, что в свою очередь повлечет вклад в развитие экономики страны.
Захват движения - это технология для записи движений, которые затем можно использовать как альтернативный способ управления объектами (играми, роботами, компьютером). Тело человека имеет сложное строение, поэтому записывать его движения гораздо проще, чем создавать трехмерные модели, которые необходимо анимировать вручную.
Существует два принципиальных подхода к захвату движений:
1) анализ видеопотока;
2) подготовка данных о движении датчиками на местах крепления
Целью данной работы является проверка гипотезы о возможности создания простого гаджета для распознавания движений рук, а также создание опытного образца.
Задачи работы:
1. Провести обзор литературы на тему современных технологий изготовления IoT датчиков, современных технологий передачи данных, а также современных методов обработки больших объемов информации;
2. Выбрать компонентную базу для создания опытного образца и собрать его;
3. Разработать программу прошивки для опытного образца;
4. Провести эксперименты с различными моделями машинного обучения.
Актуальность данной работы обусловлена быстрыми темпами роста рынка устройств для «умного города» и «умного дома», так по данным Discovery Research Group от 17 января 2020 года объем рынка систем «умного дома» в России в 2019 году вырос на 16,5 % и достиг 10,5 миллиардов рублей [1]. Также на основе нашей технологии возможно создание продукта для распознавания азбуки жестов глухонемых. В настоящее время это до сих пор остается актуальной задачей, поскольку появление подобного устройства станет первым шаг в масштабной социализации глухонемых людей. Разработка таких устройств в последние годы ведется многими группами, в том числе и в России. Можно выделить некоторые из них:
• Облачная платформа синхронного перевода speakus. Главным недостатком этой платформы является то, что она не работает в онлайн режиме. То есть пользователь записывает видео с докладом на языке жестов, отправляет на платформу, через 24 часа получает озвучку для этого видео, и наоборот;
• Устройство на основе электромиографии. Недостатками технологии является ее высокая цена, нестабильная работа из-за использования программного обеспечения на основе классических алгоритмов, а также то, что пользователю предлагается достаточно габаритный девайс для руки;
• Яндекс.Разговор - является своего рода чатом для общения глухонемых и слышащих людей. Глухонемой пользователь печатает текст, на устройстве слышащего текст воспроизводится в аудио-формате. Слышащий человек записывает голосовое сообщение, которое на устройстве глухонемого воспроизводится в текстовом формате.
• Приложение распознавания жестов по видео от компании DeafSkills.
Ограничениями данного продукта являются: обязательное нахождение человека в области видимости управляющего устройства, стабильность работы зависит от освещенности помещения, нестабильная работа из-за различных антропометрических данных пользователей.
Стоит также упомянуть, что ООН обратили внимание на ситуацию социализации глухонемых людей в Российской Федерации. В июле 2018 года в Москве в представительстве ООН состоялась презентация проекта DeafSkills, целью которого является помощь в трудоустройстве и социальной адаптивности молодым людям с нарушением слуха. Данный проект получил грант от Фонда Демократии ООН.
DeafSkills стремится к расширению географии образовательных учреждений и созданию образовательных программ для глухих. По их мнению это даст возможность талантливым молодым людям, с нарушениями работы слуха проявить себя и использовать в полной мере весь их трудовой, творческий и интеллектуальный потенциал для развития регионов в частности и страны в целом.
По мнению инициаторов этого проекта глухих людей должны принимать во все учебные заведения, не ограничивая при этом их выбор и создавая условия для их обучения. Государство и правительственные органы должны понимать, что подобные вложения окупятся, так как вклад в человеческий потенциал всегда конвертируется в виде будущих налогоплательщиков, что в свою очередь повлечет вклад в развитие экономики страны.
В ходе исследования были решены следующие задачи:
1. Проведен обзор литературы на тему современных технологий изготовления IoT датчиков. Выяснено, что на сегодняшний день наиболее популярными в пользовательском сегменте пьезорезистивные акселерометры и вибрационные гироскопы;
2. Проведен обзор литературы на тему современных технологий передачи данных. Все технологии беспроводной передачи данных можно разделить на четыре класса: персональные сети, локальные, сети в масштабах города и глобальные. Исследована спецификация Bluetooth, стек протоколов этой технологии и сферы ее применения;
3. Изучены основы методов анализа больших объемов данных, а именно современные подходы машинного обучения;
4. Написано техническое задание на изготовление прототипа, выбрана компонентная база и как следствие опытный образец был изготовлен;
5. Был разработан алгоритм настройки Bluetooth модуля и прошивка для устройства;
6. Был разработан алгоритм для замены традиционного алгоритма захвата движений, основанный на вычислении средневзвешенного предсказания модели машинного обучения;
7. Проведены эксперименты с тремя различными моделями машинного обучения: решающие деревья, полносвязная нейронная сеть, сверточная нейронная сеть. В ходе испытаний наилучшие характеристики показала сверточная нейронная сеть, в результате чего она и была использована в конечном варианте программы для принимающего и обрабатывающего устройства.
Цель была достигнута, гипотеза о возможности создания простого гаджета для распознавания движений рук нашла свое подтверждение.
1. Проведен обзор литературы на тему современных технологий изготовления IoT датчиков. Выяснено, что на сегодняшний день наиболее популярными в пользовательском сегменте пьезорезистивные акселерометры и вибрационные гироскопы;
2. Проведен обзор литературы на тему современных технологий передачи данных. Все технологии беспроводной передачи данных можно разделить на четыре класса: персональные сети, локальные, сети в масштабах города и глобальные. Исследована спецификация Bluetooth, стек протоколов этой технологии и сферы ее применения;
3. Изучены основы методов анализа больших объемов данных, а именно современные подходы машинного обучения;
4. Написано техническое задание на изготовление прототипа, выбрана компонентная база и как следствие опытный образец был изготовлен;
5. Был разработан алгоритм настройки Bluetooth модуля и прошивка для устройства;
6. Был разработан алгоритм для замены традиционного алгоритма захвата движений, основанный на вычислении средневзвешенного предсказания модели машинного обучения;
7. Проведены эксперименты с тремя различными моделями машинного обучения: решающие деревья, полносвязная нейронная сеть, сверточная нейронная сеть. В ходе испытаний наилучшие характеристики показала сверточная нейронная сеть, в результате чего она и была использована в конечном варианте программы для принимающего и обрабатывающего устройства.
Цель была достигнута, гипотеза о возможности создания простого гаджета для распознавания движений рук нашла свое подтверждение.