Введение 3
Постановка задачи 5
Обзор литературы 6
Глава 1. Обзор существующих подходов и реализаций 8
1.1 Существующие подходы к решению задачи распознавания эмоций 8
1.2 Существующие решения задачи распознавания эмоций 12
Глава 2. Основные понятия и методы 14
2.1 Искусственная нейронная сеть 14
2.2 Сверточная нейронная сеть 15
2.3 Теоретический обзор используемых методов 20
Глава 3. Решение поставленной задачи 25
3.1 Используемые программные средства 25
3.2 Обучающая выборка 25
3.3 Предобработка данных для обучения нейронной сети 26
3.4 Создание и обучение нейронной сети 29
3.5 Объектная модель приложения 32
3.6 Разработка пользовательского интерфейса программы 33
Глава 4. Тестирование результатов 36
Выводы 39
Заключение 40
Список литературы 41
«Эмоции - субъективные состояния человека и животных, возникающие в ответ на воздействие внешних или внутренних раздражителей и проявляющиеся в форме непосредственных переживании» [1]. Эмоции являются неотъемлемой частью жизни людей и межличностного общения. Они могут демонстрироваться различными способами: мимикой, жестами, интонацией, позой, однако наибольшей выразительностью обладает лицо человека.
Задачи, связанные с распознаванием лицевых экспрессий человека, давно являлись предметом исследований психологов и ученых. Так Чарльзом Дарвином была опубликована работа «О выражении эмоций у человека и животных». [2]. Он первым высказал гипотезу об универсальности мимических проявлений эмоций, причем не только для различных культур, но и для различных видов. Данная теория была проверена и продолжена психологом Полом Экманом [3]. В ходе наблюдения за лицевыми экспрессиями жителей одного из племен в Новой Гвинее, ни разу не имевшими долговременного контакта с представителями западной или восточной культуры, ученый заметил, что некоторые эмоций выражались таким же образом, что и во всем мире. Пол Экман установил, что такие эмоции как: гнев, удивление, печаль, радость, страх и отвращение являются универсальными и могут быть поняты человеком, независимо от его культуры.
Задача автоматического распознавания эмоций по мимике является актуальной в наши дни, поскольку имеет большое количество применений в различных сферах человеческой деятельности. Так, детекция эмоциональных реакций может использоваться в маркетинге. Система, автоматически определяя эмоциональный отклик человека на демонстрируемый ему контент, показывает степень его заинтересованности в том или ином товаре или услуге. Автоматическое распознавание эмоций может применяться правоохранительными органами и охранными службами. С их помощью следователи могут определять истинность показаний подозреваемого при допросе. Кроме того, системы могут помочь обнаружить людей, демонстрирующих эмоциональные реакции, характерные для психически нездоровых лиц, нарушителей правопорядка и т. д. Системы распознавания эмоций могут повысить безопасность на дорогах. Оснащение автомобилей подобными средствами в ряде случаев может позволить избежать аварий, связанных с плохим самочувствием или сонливостью водителей. Кроме всего прочего, программы для определения эмоционального состояния могут повысить степень эффективности взаимодействия человека и компьютера, обеспечить правильную реакцию на состояние пользователя.
Особенностью данной работы является то, что помимо системы распознавания эмоциональных реакций, разработанная программа включает также систему тренировки эмоций. Из-за проблем со здоровьем, вследствие пережитых потрясений и других причин люди могут иметь проблемы с демонстрацией своих эмоции с помощью мимики. У подобного человека могут возникать трудности при взаимодействии с окружающими. Системы тренировки эмоций способны помочь в подобной ситуации.
Задача автоматического распознавания эмоций является актуальной в наши дни, поскольку имеет широкое применение в различных сферах человеческой деятельности. В рамках данной работы рассмотрены и изучены основные подходы к решению данной задачи. Рассмотрены основные этапы предварительной обработки изображений и подготовки обучающей выборки. Реализована система распознавания и тренировки эмоций на основе сверточной нейронной сети, а также разработан интерфейс для удобного взаимодействия с ней.
Разработанная система имеет достаточно высокий уровень точности, однако может быть улучшена с помощью увеличения объема обучающей выборки и повышения ее разнообразия. Кроме того, возможно совершенствование данной программы с целью ее эффективной работы на изображениях с нестандартными положениями головы, а также со снимками, где видна лишь часть лица.
В дальнейшем планируется расширение реализованной системы таким образом, чтобы распознавание эмоций могло осуществляться не только по статическим кадрам, но и по видеофрагментам, с учетом всей последовательности кадров. Разработанная в контексте данной работы программа может стать фундаментом подобной системы.
