Введение 3
Постановка задачи 4
Обзор литературы 5
Глава 1. Обзор существующих решений проблемы автоматического учета посещаемости 6
Глава 2. Методы идентификации лиц на изображении .... 8
2.1. Детектирование лиц 8
2.2. Идентификация лиц 10
Глава 3. Обзор систем распознавания эмоций на изображении 13
Глава 4. Архитектура приложения 15
4.1. Построение клиент-серверной архитектуры приложения . 15
4.2. Сценарии использования приложения пользователями . . 17
4.3. Выбор инструментов разработки приложения 19
4.4. Схема базы данных приложения 20
Глава 5. Программная реализация приложения 22
5.1. Распознавание лиц и эмоций 22
5.2. Верстка web-страниц 23
Выводы 28
Заключение 29
Список литературы
С развитием компьютерных технологий и искусственного интеллекта биометрические системы идентификации личности стали достаточно точными для внедрения их в самые разнообразные сферы деятельности человека. Подобные системы особенно востребованы в государственных правоохранительных органах для обеспечения безопасности граждан, частных компаниях, нуждающихся в облегченной аутентификации пользователей, а также в эффективном решении задач учета посещаемости работников, студентов или учащихся.
Среди всех возможных биометрических признаков человека, как например: отпечатки пальцев, голос, радужка глаз - особое внимание заслуживает лицо человека. В первую очередь стоит заметить, что изображение лица человека довольно просто получить, например, с установленных видеокамер наблюдения или из документов, удостоверяющих личность человека. Таким образом, при использовании системы, применяющей биометрию лица в основе идентификации, нет необходимости в создании и установке специализированных сенсоров для получения информации, что упростит и удешевит сам процесс внедрения.
Именно поэтому многие существующие программные продукты, осуществляющие учет посещаемости работников и студентов и подсчет проведенного ими времени в помещении, основываются на компьютерном зрении и вытесняют с рынка более старые, традиционные системы, например, использующие для идентификации человека пропуска с установленными на них датчиками.
Уделяя особое внимание проблеме ненадежного учета посещаемости студентов в ВУЗах, необходимо отметить, что использование традиционных методов, таких как создание и проверка списков присутствующих на лекции, не является точным и достоверным решением и на протяжении всего семестра отнимает у преподавателей достаточно большое количество времени. Однако благодаря внедрению новых технологий автоматического учета посещаемости в высшие учебные заведения, стало возможным устранить указанные выше недостатки.
Постановка задачи
Целью данной работы является исследование подходов к распознаванию лиц и применение их для разработки программного продукта, предназначенного для отслеживания посещаемости студентов и отображении полученных статистических данных в удобной для дальнейшего использования форме.
Также, разрабатываемая система должна предоставлять данные об эмоциональном состоянии студентов во время лекции: насколько была интересна та или иная информация и какие эмоции они испытывали. Такие данные смогут помочь лекторам лучше понять общий настрой студентов на получение новых знаний и их усвоение, а также в случае непонимания студентами большей части материала сигнализировать об этом.
Основные критерии, которым должен удовлетворять готовый продукт:
1. Система должна покрывать всю необходимую функциональность, а именно:
(a) распознавать студентов, присутствующих на лекции
(b) распознавать эмоции студентов во время лекции
(c) хранить и отображать полученные системой данные
2. Система должна быть легкой в освоении и использовании и иметь понятный и простой интерфейс взаимодействия
3. Система должна разграничивать пользователей на студентов и преподавателей с целью разделения их прав и возможностей, а также должна предоставлять инструменты для редактирования данных администратором
4. Система не должна быть ресурсоемкой и требовательной к аппаратному и программному обеспечению пользовательских компьютеров
Обзор литературы
Зарождение технологии автоматического распознавания лиц началось в 1960 году, когда Woodrow Wilson Blesdoe[19]вместе с Хелен Чан и Чарльзом Биссоном создали компьютеризированную систему распознавания лиц. Однако, предложенный метод был полуавтоматическим и требовал от человека ручной разметки отличительных характеристик лица на фотографии и ввода этой информации в компьютер. Данный подход позволял проверить около 40 лиц в час, что на то момент времени было достаточно эффективно.
К концу 20-го века, примерно в 1997 году, Кристофером фон дер Малсбургом была создана наиболее эффективная технология распознавания лиц[18]. Ее точность была настолько высока, что она была приобретена для банковской отрасли и сферы обслуживания воздушных перевозок. С этого момента рынок технологий распознавания лиц начал расцветать.
С тех пор разработано множество различных методов в области компьютерного зрения, и одними из основополагающих являются метод главных компонент (МГК) и метод линейного дискриминантного анализа (ЛДА). Об эффективности применения методов МГК и ЛДА в случае отсутствия предварительной нормализации лиц на изображении можно прочитать в статье[21]. В указанной работе также предлагается усовершенствование метода главных компонент для уменьшения трудоемкости вычислений.
Помимо упомянутых выше методов распространено также использование нейронных сетей. О них можно подробно узнать из книги[22], в которой описаны не только архитектуры нейронных сетей различного типа, но и их применение для распознавания людей.
Также, с проблемой распознавания лиц на изображении тесно связана и другая проблема - проблема их детектирования, и в настоящее время существует множество различных способов ее решения, о которых подробнее можно прочитать в статье[20]. В ней рассказывается об основных направлениях в сфере детектирования лиц, их плюсах и минусах. К ним относятся, например, эмпирические методы; методы характерных инвариантных признаков; методы, в основе которых лежит поиск заданных шаблонов;
обучающиеся системы.
В работе[24] можно ознакомится с решением проблемы выявления на изображении степени заинтересованности студентов во время лекции. В ней авторы при помощи сверточной нейронной сети добились довольно высокой точности распознавания(76.77%). Эта задача очень схожа с распознаванием эмоций и именно поэтому данная статья может быть полезна в рамках поставленной задачи.
Таким образом, можно подвести итоги данной работы:
• Были рассмотрены наиболее популярные методы распознавания лиц и выбран наиболее оптимальный в рамках поставленной задачи
• Проведен обзор существующих программ для распознавания эмоций человека, а также методов, лежащих в их основе.
• Написаны сценарии использования приложения для двух основных типов пользователей
• Разработана архитектура приложения вместе с ее компонентами и характером взаимодействия между ними
• Был выбран стек используемых технологий, отмечены плюсы использования некоторых инструментов разработки.
• Был создан интерфейс для отображения статистических данных в удобной для чтения и анализа форме.
• Было создано web-приложение для автоматического учета посещаемости студентов и мониторинга их психоэмоционального состояния во время лекции.
[1] Auto Attendance Using Face Recognition by Mahvish URL: http://fewtutorials.bravesites.com/(дата обращения: 21.12.2019).
[2] iFace - Face Recognition Time Attendance System URL:
https://www.bioenabletech.com/face-recognition-system/(дата обращения: 02.06.2020).
[3] Churchix Face Recognition Software URL: https://churchix.com/face- recognition-software-features/(дата обращения: 21.12.2019).
[4] P. Viola and M. Jones. Robust real-time face detection. IJCV 57(2), 2004.
[5] Метод Виолы-Джонса (Viola-Jones) как основа для распознавания лиц // habr URL: https://habr.com/ru/post/133826/(дата обращения: 19.05.2020).
[6] Анализ существующих подходов к распознаванию лиц // habr URL: https://habr.com/ru/company/synesis/blog/238129/(дата обращения: 19.05.2020).
[7] Лескин В. Н. Распознавание эмоций в видеопотоке // Научный корреспондент. 2016.
[8] Noldus FaceReader // noldus URL: https://www.noldus.com/facereader/(дата обращения: 19.05.2020).
[9] MindMaster // edrawsoft URL: https://www.edrawsoft.com/download- mindmaster.html/(дата обращения: 02.06.2020).
[10] PyCharm // jetbrains URL: https://www.jetbrains.com/ru-ru/pycharm/(дата обращения: 02.06.2020).
[11] Django // djangoproject URL: https://www.djangoproject.com/(дата обращения: 02.06.2020).
[12] OpenCV Face Recognition // pyimagesearch URL: https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/(дата обращения: 30.05.2020)
[13] Florian Schroff, Dmitry Kalenichenko, James Philbin FaceNet: A unified embedding for face recognition and clustering // 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. С. 815-823.
[14] Bootstrap // getbootstrap URL: https://getbootstrap.com/(дата обращения: 02.06.2020).
[15] BootstrapThemes // themes.getbootstrap URL:
https://themes.getbootstrap.com/(дата обращения: 02.06.2020).
[16] EmoPy // pypi URL: https://pypi.org/project/EmoPy/(дата обращения: 02.06.2020).
[17] Git Hub // github URL: https://github.com/Rahmatullina/FinalYearProject/(дата обращения: 02.06.2020).
[18] Okada K. et al. (1998) The Bochum/USC Face Recognition System and How it Fared in the FERET Phase III Test. In: Wechsler H., Phillips P.J., Bruce V., Soulie F.F., Huang T.S. (eds) Face Recognition. NATO ASI Series (Series F: Computer and Systems Sciences), vol 163. Springer, Berlin, Heidelberg
[19] Woodrow Wilson Bledsoe // wiki URL: https://de.qwe.wiki/wiki/Woody_Bledsoe/(дата обращения: 02.06.2020).
[20] Татаренков Д.А. Анализ методов обнаружения лиц на изображении // Молодой ученый. 2015. №4. С. 270-276.
[21] В. В. Мокеев, С. В. Томилов О решении задачи распознавания изображений методом главных компонент и линейным дискриминантным анализом // Компьютерная оптика. 2014. №4. С. 871-880.
[22] Bryliuk, Starovoitov Valery Распознавание человека по изображению лица нейросетевыми методами. 2 изд. Минск: Препринт / Институт техн. кибернетики НАН Беларуси, 2002.
[23] Анализ существующих подходов к распознаванию лиц // habr URL: https://habr.com/ru/company/synesis/blog/238129/(дата обращения: 02.06.2020).
[24] Omid Mohamad Nezami1, Mark Dras, Len Hamey, Deborah Richards, Stephen Wan and C'ecile Paris Automatic Recognition of Student Engagementusing Deep Learning and Facial Expression