ВВЕДЕНИЕ 5
1. ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ 8
1.1. Общие принципы обработки изображений 8
1.2. Методы распознавания жестов руки 9
1.2.1. Метод Implementation of Hand Detection based Techniques for Human
Computer Interaction 9
1.2.2. Метод Real-Time System of Hand Detection And Gesture Recognition In
Cyber Presence Interactive System For E-Learning 10
Выводы по разделу 1 10
2. ПРОЕКТИРОВАНИЕ СИСТЕМЫ 11
2.1. Разработка интерфейса приложения 11
2.1.1. Главное окно 11
2.1.2. Окно для жестов 11
2.1.3. Окно вариантов 12
2.2. Обзор используемых языков-программирования и операционной системы 12
2.2.1. Язык-программирования Python 12
2.2.2. Язык-программирования Bash 13
2.2.3. Операционная система Linux. Версия Debian 14
2.3. Использованное программное обеспечение 15
2.3.1. Blender 3D 15
2.3.2. Сокобан 15
2.3.3. Компилятор Bascom-avr 16
2.4. Универсальный синхронно-асинхронный приемопередатчик
USART 17
Выводы по разделу 2 18
3. РЕАЛИЗАЦИЯ СИСТЕМЫ 20
3.1. Определение движения 20
3.1.1. Определение данных пикселя 21
3.1.2. Сравнение по цветами (RGB) 21
3.1.3. Сравнение по уровню света 24
3.1.4. Сравнение по соотношению значений между R &G &B 24
3.2. Распознавание жестов руки 25
3.2.1. Конвертирование полученного жеста в компьютерную команду 26
3.3. Разработка электронной схемы и компьютерной конфигурации 27
3.3.1. Компилятор Basecom-avr 27
3.3.2. Конфигурация серийного порта 28
3.3.3. Конфигурация компьютерного микрофона (voice loop) 28
3.4. Реализация окна вариантов с помощью древовидного меню 29
3.4.1. Меню для телефона 29
3.4.2. Меню для мультимедиа и игры 30
3.4.3. Меню для контроля входной двери 30
3.4.4. Меню для контроля лампы 31
3.4.5. Меню настроек 32
3.4.6. Настраиваемое меню 32
Выводы по разделу 3 34
4. ТЕСТИРОВАНИЕ 35
4.1. Тестирование программы в условиях реальной действительности 35
4.1.1. Трудности физического характера 36
4.1.2. Трудности уровня освещенности 36
4.1.3. Трудности при отдалении объекта 37
Выводы по разделу 4 37
ЗАКЛЮЧЕНИЕ 38
ЛИТЕРАТУРА
В настоящее время получили широкое распространение т.н. «умные» технологии. Основой таких технологий является удобный по отношению к пользователю интерфейс, так можно рассматривать любые технологии, связанные с графикой, будь то мониторы или телевизоры, а также игровые приставки и консоли. В таком случае возможно увеличить удобство взаимодействия, а в случае с игровым консолями повысить качество самой игры путем добавления нового способа взаимодействия. Таким способом может стать возможность управления цифровым устройством без прикосновения к нему, посредством использования рук в качестве непосредственного манипулятора. Однако при распознавании жестов необходимо обнаруживать и отслеживать изменение положения или формы рук с течением времени [10].
Уже сейчас интуитивно-понятийные интерфейсы, заменяющие привычные устройства ввода, как клавиатура или мышь, т.к. они позволяют контролировать машину на языке человека. Внедрение таких интерфейсов уже не является чем-то концептуально новым в мире информационных технологий, т.к. они с каждым годом развиваются все быстрее. Однако данные технологии способны намного упростить процесс общения человека с компьютером [6, 11].
Программа, разработанная в рамках данного проекта, может быть полезна в самых различных сферах жизни. Кроме возможности управления компьютером на расстоянии реализована возможность управления электронными приборами, такими как лампа, мобильный телефон и т.д. Таким образом, приложение может стать полезным для людей, не имеющих возможность передвижения, например, для управления электронными и электрическими приборами в доме. Также она пригодна для некоторых ситуаций, когда использование клавиатуры невозможно. Например, для людей, занимающихся химическими исследованиями. Также, данную программу можно использовать в терминалах, расположенных на улице. Веб-камера просто будет считывать необходимую команду и исполнять запрос. Это очень полезно при низких температурах зимой.
Цель и задачи исследования
Целью данной работы является разработка системы для распознавания жестов с помощью веб-камеры.
Для достижения цели нам необходимо решить следующие задачи:
1) проанализировать известные методы распознавания движений для того, чтобы определить подходящий;
2) разработать подходящий нашему практическому исследованию метод в случае отсутствия такового;
3) написать программный код, который будет обнаруживать и определять значения жестов;
4) разработать электронную микросхему для выполнения компьютерных команд.
Структура и объем работы
Работа состоит из введения, пяти основных разделов, заключения и библиографического списка. Объем работы составляет 41 страницы, объем библиографии - 22 наименования.
Содержание работы
В первом разделе, «ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ», раскрыт основной теоретический материал, необходимый для написания проекта. Рассмотрены общие принципы обработки изображений, раскрыто понятие пикселя.
Второй раздел, «ПРОЕКТИРОВАНИЕ СИСТЕМЫ», содержит описание основных компонентов прикладного характера. Описаны основные инструменты, необходимые для разработки приложения, а именно, языки-программирования и программы.
Третий раздел, «РЕАЛИЗАЦИЯ СИСТЕМЫ», является практическим и посвящен непосредственно самой разработке приложения. Описаны методы, которые были опробованы и использованы. Также, данная глава включает в себя информацию об электронной микросхеме, созданной для выполнения полезных команд.
Четвертый раздел, «ТЕСТИРОВАНИЕ», посвящен тестированию и определению трудностей при работе системы.
В ЗАКЛЮЧЕНИИ подводятся основные итоги проделанной работы.
Данный проект посвящен разработке системы для распознавания жестов и управления приложениями. В процессе работы были добавлены некоторые расширения, которые выходят за рамки темы.
В ходе работы были достигнуты следующие основные результаты:
1) проанализированы известные методы распознавания движений и способы распознавания жестов руки и разработан подходящий метод для определения жестов;
2) проведен обзор всех необходимых программных обеспечений и электронных средств;
3) создана электронная микросхема, которая позволяет выполнять такие команды как включение/выключение лампы или ответ на телефонный звонок;
4) спроектирована и реализована система, анализирующая данные с веб-камеры и определяющая жесты, а также позволяющая пользователю настроить меню под свои потребности.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
