Применение подходов к распознаванию лиц при разработке приложения для учета посещаемости занятий и эмоционального состояния обучающихся
|
Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Обзор существующих решений проблемы автоматического учета посещаемости 6
Глава 2. Методы идентификации лиц на изображении .... 8
2.1. Детектирование лиц 8
2.2. Идентификация лиц 10
Глава 3. Обзор систем распознавания эмоций на изображении 13
Глава 4. Архитектура приложения 15
4.1. Построение клиент-серверной архитектуры приложения . 15
4.2. Сценарии использования приложения пользователями . . 17
4.3. Выбор инструментов разработки приложения 19
4.4. Схема базы данных приложения 20
Глава 5. Программная реализация приложения 22
5.1. Распознавание лиц и эмоций 22
5.2. Верстка web-страниц 23
Выводы 28
Заключение 29
Список литературы
Постановка задачи 4
Обзор литературы 5
Глава 1. Обзор существующих решений проблемы автоматического учета посещаемости 6
Глава 2. Методы идентификации лиц на изображении .... 8
2.1. Детектирование лиц 8
2.2. Идентификация лиц 10
Глава 3. Обзор систем распознавания эмоций на изображении 13
Глава 4. Архитектура приложения 15
4.1. Построение клиент-серверной архитектуры приложения . 15
4.2. Сценарии использования приложения пользователями . . 17
4.3. Выбор инструментов разработки приложения 19
4.4. Схема базы данных приложения 20
Глава 5. Программная реализация приложения 22
5.1. Распознавание лиц и эмоций 22
5.2. Верстка web-страниц 23
Выводы 28
Заключение 29
Список литературы
С развитием компьютерных технологий и искусственного интеллекта биометрические системы идентификации личности стали достаточно точными для внедрения их в самые разнообразные сферы деятельности человека. Подобные системы особенно востребованы в государственных правоохранительных органах для обеспечения безопасности граждан, частных компаниях, нуждающихся в облегченной аутентификации пользователей, а также в эффективном решении задач учета посещаемости работников, студентов или учащихся.
Среди всех возможных биометрических признаков человека, как например: отпечатки пальцев, голос, радужка глаз - особое внимание заслуживает лицо человека. В первую очередь стоит заметить, что изображение лица человека довольно просто получить, например, с установленных видеокамер наблюдения или из документов, удостоверяющих личность человека. Таким образом, при использовании системы, применяющей биометрию лица в основе идентификации, нет необходимости в создании и установке специализированных сенсоров для получения информации, что упростит и удешевит сам процесс внедрения.
Именно поэтому многие существующие программные продукты, осуществляющие учет посещаемости работников и студентов и подсчет проведенного ими времени в помещении, основываются на компьютерном зрении и вытесняют с рынка более старые, традиционные системы, например, использующие для идентификации человека пропуска с установленными на них датчиками.
Уделяя особое внимание проблеме ненадежного учета посещаемости студентов в ВУЗах, необходимо отметить, что использование традиционных методов, таких как создание и проверка списков присутствующих на лекции, не является точным и достоверным решением и на протяжении всего семестра отнимает у преподавателей достаточно большое количество времени. Однако благодаря внедрению новых технологий автоматического учета посещаемости в высшие учебные заведения, стало возможным устранить указанные выше недостатки.
Постановка задачи
Целью данной работы является исследование подходов к распознаванию лиц и применение их для разработки программного продукта, предназначенного для отслеживания посещаемости студентов и отображении полученных статистических данных в удобной для дальнейшего использования форме.
Также, разрабатываемая система должна предоставлять данные об эмоциональном состоянии студентов во время лекции: насколько была интересна та или иная информация и какие эмоции они испытывали. Такие данные смогут помочь лекторам лучше понять общий настрой студентов на получение новых знаний и их усвоение, а также в случае непонимания студентами большей части материала сигнализировать об этом.
Основные критерии, которым должен удовлетворять готовый продукт:
1. Система должна покрывать всю необходимую функциональность, а именно:
(a) распознавать студентов, присутствующих на лекции
(b) распознавать эмоции студентов во время лекции
(c) хранить и отображать полученные системой данные
2. Система должна быть легкой в освоении и использовании и иметь понятный и простой интерфейс взаимодействия
3. Система должна разграничивать пользователей на студентов и преподавателей с целью разделения их прав и возможностей, а также должна предоставлять инструменты для редактирования данных администратором
4. Система не должна быть ресурсоемкой и требовательной к аппаратному и программному обеспечению пользовательских компьютеров
Обзор литературы
Зарождение технологии автоматического распознавания лиц началось в 1960 году, когда Woodrow Wilson Blesdoe[19]вместе с Хелен Чан и Чарльзом Биссоном создали компьютеризированную систему распознавания лиц. Однако, предложенный метод был полуавтоматическим и требовал от человека ручной разметки отличительных характеристик лица на фотографии и ввода этой информации в компьютер. Данный подход позволял проверить около 40 лиц в час, что на то момент времени было достаточно эффективно.
К концу 20-го века, примерно в 1997 году, Кристофером фон дер Малсбургом была создана наиболее эффективная технология распознавания лиц[18]. Ее точность была настолько высока, что она была приобретена для банковской отрасли и сферы обслуживания воздушных перевозок. С этого момента рынок технологий распознавания лиц начал расцветать.
С тех пор разработано множество различных методов в области компьютерного зрения, и одними из основополагающих являются метод главных компонент (МГК) и метод линейного дискриминантного анализа (ЛДА). Об эффективности применения методов МГК и ЛДА в случае отсутствия предварительной нормализации лиц на изображении можно прочитать в статье[21]. В указанной работе также предлагается усовершенствование метода главных компонент для уменьшения трудоемкости вычислений.
Помимо упомянутых выше методов распространено также использование нейронных сетей. О них можно подробно узнать из книги[22], в которой описаны не только архитектуры нейронных сетей различного типа, но и их применение для распознавания людей.
Также, с проблемой распознавания лиц на изображении тесно связана и другая проблема - проблема их детектирования, и в настоящее время существует множество различных способов ее решения, о которых подробнее можно прочитать в статье[20]. В ней рассказывается об основных направлениях в сфере детектирования лиц, их плюсах и минусах. К ним относятся, например, эмпирические методы; методы характерных инвариантных признаков; методы, в основе которых лежит поиск заданных шаблонов;
обучающиеся системы.
В работе[24] можно ознакомится с решением проблемы выявления на изображении степени заинтересованности студентов во время лекции. В ней авторы при помощи сверточной нейронной сети добились довольно высокой точности распознавания(76.77%). Эта задача очень схожа с распознаванием эмоций и именно поэтому данная статья может быть полезна в рамках поставленной задачи.
Среди всех возможных биометрических признаков человека, как например: отпечатки пальцев, голос, радужка глаз - особое внимание заслуживает лицо человека. В первую очередь стоит заметить, что изображение лица человека довольно просто получить, например, с установленных видеокамер наблюдения или из документов, удостоверяющих личность человека. Таким образом, при использовании системы, применяющей биометрию лица в основе идентификации, нет необходимости в создании и установке специализированных сенсоров для получения информации, что упростит и удешевит сам процесс внедрения.
Именно поэтому многие существующие программные продукты, осуществляющие учет посещаемости работников и студентов и подсчет проведенного ими времени в помещении, основываются на компьютерном зрении и вытесняют с рынка более старые, традиционные системы, например, использующие для идентификации человека пропуска с установленными на них датчиками.
Уделяя особое внимание проблеме ненадежного учета посещаемости студентов в ВУЗах, необходимо отметить, что использование традиционных методов, таких как создание и проверка списков присутствующих на лекции, не является точным и достоверным решением и на протяжении всего семестра отнимает у преподавателей достаточно большое количество времени. Однако благодаря внедрению новых технологий автоматического учета посещаемости в высшие учебные заведения, стало возможным устранить указанные выше недостатки.
Постановка задачи
Целью данной работы является исследование подходов к распознаванию лиц и применение их для разработки программного продукта, предназначенного для отслеживания посещаемости студентов и отображении полученных статистических данных в удобной для дальнейшего использования форме.
Также, разрабатываемая система должна предоставлять данные об эмоциональном состоянии студентов во время лекции: насколько была интересна та или иная информация и какие эмоции они испытывали. Такие данные смогут помочь лекторам лучше понять общий настрой студентов на получение новых знаний и их усвоение, а также в случае непонимания студентами большей части материала сигнализировать об этом.
Основные критерии, которым должен удовлетворять готовый продукт:
1. Система должна покрывать всю необходимую функциональность, а именно:
(a) распознавать студентов, присутствующих на лекции
(b) распознавать эмоции студентов во время лекции
(c) хранить и отображать полученные системой данные
2. Система должна быть легкой в освоении и использовании и иметь понятный и простой интерфейс взаимодействия
3. Система должна разграничивать пользователей на студентов и преподавателей с целью разделения их прав и возможностей, а также должна предоставлять инструменты для редактирования данных администратором
4. Система не должна быть ресурсоемкой и требовательной к аппаратному и программному обеспечению пользовательских компьютеров
Обзор литературы
Зарождение технологии автоматического распознавания лиц началось в 1960 году, когда Woodrow Wilson Blesdoe[19]вместе с Хелен Чан и Чарльзом Биссоном создали компьютеризированную систему распознавания лиц. Однако, предложенный метод был полуавтоматическим и требовал от человека ручной разметки отличительных характеристик лица на фотографии и ввода этой информации в компьютер. Данный подход позволял проверить около 40 лиц в час, что на то момент времени было достаточно эффективно.
К концу 20-го века, примерно в 1997 году, Кристофером фон дер Малсбургом была создана наиболее эффективная технология распознавания лиц[18]. Ее точность была настолько высока, что она была приобретена для банковской отрасли и сферы обслуживания воздушных перевозок. С этого момента рынок технологий распознавания лиц начал расцветать.
С тех пор разработано множество различных методов в области компьютерного зрения, и одними из основополагающих являются метод главных компонент (МГК) и метод линейного дискриминантного анализа (ЛДА). Об эффективности применения методов МГК и ЛДА в случае отсутствия предварительной нормализации лиц на изображении можно прочитать в статье[21]. В указанной работе также предлагается усовершенствование метода главных компонент для уменьшения трудоемкости вычислений.
Помимо упомянутых выше методов распространено также использование нейронных сетей. О них можно подробно узнать из книги[22], в которой описаны не только архитектуры нейронных сетей различного типа, но и их применение для распознавания людей.
Также, с проблемой распознавания лиц на изображении тесно связана и другая проблема - проблема их детектирования, и в настоящее время существует множество различных способов ее решения, о которых подробнее можно прочитать в статье[20]. В ней рассказывается об основных направлениях в сфере детектирования лиц, их плюсах и минусах. К ним относятся, например, эмпирические методы; методы характерных инвариантных признаков; методы, в основе которых лежит поиск заданных шаблонов;
обучающиеся системы.
В работе[24] можно ознакомится с решением проблемы выявления на изображении степени заинтересованности студентов во время лекции. В ней авторы при помощи сверточной нейронной сети добились довольно высокой точности распознавания(76.77%). Эта задача очень схожа с распознаванием эмоций и именно поэтому данная статья может быть полезна в рамках поставленной задачи.
Таким образом, можно подвести итоги данной работы:
• Были рассмотрены наиболее популярные методы распознавания лиц и выбран наиболее оптимальный в рамках поставленной задачи
• Проведен обзор существующих программ для распознавания эмоций человека, а также методов, лежащих в их основе.
• Написаны сценарии использования приложения для двух основных типов пользователей
• Разработана архитектура приложения вместе с ее компонентами и характером взаимодействия между ними
• Был выбран стек используемых технологий, отмечены плюсы использования некоторых инструментов разработки.
• Был создан интерфейс для отображения статистических данных в удобной для чтения и анализа форме.
• Было создано web-приложение для автоматического учета посещаемости студентов и мониторинга их психоэмоционального состояния во время лекции.
• Были рассмотрены наиболее популярные методы распознавания лиц и выбран наиболее оптимальный в рамках поставленной задачи
• Проведен обзор существующих программ для распознавания эмоций человека, а также методов, лежащих в их основе.
• Написаны сценарии использования приложения для двух основных типов пользователей
• Разработана архитектура приложения вместе с ее компонентами и характером взаимодействия между ними
• Был выбран стек используемых технологий, отмечены плюсы использования некоторых инструментов разработки.
• Был создан интерфейс для отображения статистических данных в удобной для чтения и анализа форме.
• Было создано web-приложение для автоматического учета посещаемости студентов и мониторинга их психоэмоционального состояния во время лекции.



