Что такое эмоции? Сможем ли мы верно ответить на этот вопрос? А какова вероятность, что мы точно сможем распознать лицевую экспрессию у своего собеседника?
Данный вопрос давно интересует не только психологов современного мира, так же этой проблемой давно занимаются и исследуют ученые всего мира. Проведенные исследования на эту тему были затронуты еще в книге «Выражение эмоций у человека и животного» Чарльза Дарвина [1], где он утверждает, что эмоции скорее варьируются от вида к виду, то есть это видовой признак, чем культурный. В начале 20 века существовала достаточно фундаментальная теория о том, что не существует «универсальных» эмоций. Данная теория опиралась на зависимость представителя от типа культуры. На эту же тему в 1969 году была издана одна из самых важных литературных работ, проделанная психологами и учеными. Это исследование Пола Экмана и Уоллеса Фризена [2] [3], которые были явными оппонентами существующих канонов эмоционального происхождения. Они доказали, что существует 6 универсальных эмоций, которые не зависят от культурной и национальной принадлежности: удовольствие, страдание, страх, гнев, удивление и отвращение. Конечно же, к данным эмоциям всегда относят нейтральное состояние лица человека.
В последние годы распознавание эмоций стало принимать популярный характер не только в методах и специфике психологии и социологии. С учетом всемирной и всепоглощающей идеи об искусственном интеллекте ученые и программисты всего мира пришли к консенсусу необходимости достаточно точного определения эмоций с помощью программных средств. Распознавание любого вида проявления человеческого отклика и реакции -это одно из самых важных препятствий для создания искусственного интеллекта. На данный момент такой вектор исследования очень важен и имеет огромное значение для всего человечества, особенно в отраслях бизнеса и военных структурах.
Принимая во внимание нынешнее пристрастие к автоматизации процессов, ученые, и не только, стали заниматься проблемами распознавания и детектирования большого количества объектов, окружающих нас. И, в какой-то мере, это приносит хорошие результаты. Распознавание номеров у машин уже вошло в обиход и активно используется правоохранительными органами, детектирование лиц с помощью программ и компьютера — уже давно не новинка, так как во многих крупных компаниях стоит система безопасного входа по определению сотрудника посредством фотографий. Но один из самых важных прорывов во взаимодействии безопасности и детектирования был совершен при введении на особо важные объекты камер с распознаванием отрицательных, враждебно настроенных эмоций, которые помогут вычислить преступника, грабителя или террориста. Нельзя не упомянуть про прорывы в распознавании голоса, тональности текста, речи и так далее. Исходя из этого, видно, что данное направление не стоит на месте и успешно развивается. На данный момент значительную нишу в этом научном направлении занимает машинное обучение. Уже давно признали, что машинное обучение одно из самых успешных, конструктивных, универсальных и оптимальных методов для распознавания объектов на фотографии, видео фрагментах, фильмах и электронных записях. Машинное обучение показало и продолжает показывать огромное увеличение точности алгоритмов по детектированию. Но главенствующее положение на данный момент в области машинного обучения занимают нейронные сети, которые безупречно доказали свою эффективность, и не перестают улучшать результат, поэтому мы будем использовать именно этот метод. Данный метод в основном требует либо огромного количества данных, которые послужат тренировочными и тестовыми образцами, либо идеально выстроенной нейронной сети, которая учитывает все нюансы и специфические моменты требуемой задачи. Важной проблемой в области распознавания лицевых экспрессий—это отсутствие согласованной и полностью учитывающей всех особенностей эталонной базы данных, на которой бы строились все алгоритмы. Данный эталон служил бы некоторым главенствующим инструментом, который обеспечивал бы возможности сравнительной характеристики ныне существующих методов и подходов. Было сделано множество попыток создать данную базу фотографий, но ученые и программисты так и не пришли к общему паттерну. Возможно, проблема кроется в глобализации маркетинга и поискам выгоды в каждой научной отрасли.
Идея нейронных сетей была взята из физиологии, ведь, как всем известно, прототип этой архитектуры был получен из примера функционирования человеческого мозга. Человеческая биологическая нейронная сеть была взята за основу. Ученые пытались смоделировать работу нашего мозга и протекающих в нем реакций, поэтому данный метод и нашел применение в основном в распознавании объектов, образов и в задачах прогнозирования. Существует несколько методов, взятых из научной литературы, для распознавания эмоций на лице человека:
1. Статичный метод В данном методе классификатор, который используют авторы [4], распознает каждый кадр и сравнивает его с заявленными вначале эмоциями, и на основе каждого кадра делает вывод. Обычно в таких подходах используется Наивный Байесовский классификатор [4]. В то же время, он использует строгое и нереалистичное предположение о том, что все признаки не взаимосвязаны друг с другом и являются новым классом.
2. Динамический метод В этом методе, классификаторы принимают во внимание временный шаблон, полученный до этого, для отображения выражения лица. Скрытая Марковская модель [5] наилучше подходит для такой реализации. СММ отслеживает сгенерированные до этого состояния, и на основе этого достаточно оптимально выводит полученный результат. На основе данного алгоритма в работе получилось даже отследить долгий фрагмент и получить необходимый прогноз по отслеживанию эмоции.
Работы по теме распознавания можно обычно разделить на два типа:
• Сравнение методов по обработке и определение эмоции
• Введение нового метода, полученного на основе предыдущих работ, который усовершенствует предыдущие результаты.
Иногда в последнее десятилетие можно выделить еще один тип, который описывает разницу в осуществлении разных подходах на разном типе машин и разном типе аппаратурной части (обучение на CPU и GPU [6]).
Приоритетные задачи
Задача идентификации эмоций обычно решается в два этапа, каждый из которых бесспорно важен и определяет успешность результата, первый — распознавание лица на изображении, второй — распознавание лицевой экспрессии на основе полученного лица. В своей работе я рассмотрю метод, который будет распознавать эмоцию человека из полученного лица при помощью построенной и обученной на выборке нейронной сети.
Мой приоритет — улучшить значение точности алгоритмов по сравнению с человеческой точностью на выборке, то есть достигнуть того, что компьютер решает проблему распознавания не хуже человеческого глаза. Самая основополагающая задача — сгенерировать подход, который одинаково будет распознавать эмоции, вне зависимости от национальности и возраста. Дополнительные задачи, которые необходимо выполнить:
• Необходимо изучить и исследовать нейронные сети в области детектирования экспрессий, и вообще в области распознавания
• Провести качественный обзор и сравнение уже существующих методов, с помощью которых уже была решена поставленная мною задача
• Выделить проблемы данной научной области и обозначить перспективы развития
Для дальнейшего прорыва в получении и создании искусственного интеллекта необходимо понимание особенностей работы мозга, в том числе распознавания объектов. Поэтому вектор данной работы очень востребован и популярен.
В проделанной работе была реализована программа для распознавания эмоций на человеческом лице по изображению. Был придуман алгоритм обработки входных данных, а также была построена архитектура нейронной сеть, которая успешно была протестирована на тестовых данных. Более того, полученная нейронная сети идеально удовлетворяла соотношению время обучения/точность алгоритма. Так как обучение нейронной сети — очень долгий и сложный процесс, поэтому данный фактор играл ключевую роль при выполнении работы. Самым трудным этапом в данной работе являлся эмпирический подбор параметров сети, который определял финальную точность. Получение весов при обучении сверточной нейронной сети — процесс на подобии «черного ящика», этим обуславливалась критическая проблема при построении такой архитектуры.
При выполнении практической и теоретической части работы были выполнены данные поставленные задачи:
1. Изучение такого инструмента машинного обучения как нейронные сети, которые в настоящее время превалируют в анализе данных и показывают наилучшие результаты со сложными задачами. На этом этапе так же были выделены и рассмотрены разные существующие методы, с помощью которых решалась задача детектирования лицевых экспрессий, был проведён сравнительный анализ и выявлены достоинства и недостатки каждого из методов.
2. Смоделировал архитектуру сверточной нейронной сети, которая показывает один из наилучших результатов точности детектирования эмоций. В дополнении к этому, обучение на такой сети оказалось оптимальным для доступных машинных ресурсов, и при этом обучалась в более 2000 раз быстрее, чем на процессоре.
3. Был успешно создан алгоритм по распознаванию эмоций на человеческом лице, а также программа была проверена в условиях реальной жизни. При несложных манипуляциях алгоритм такого типа можно встраивать в системы видеонаблюдения и лайв-детектирования.
4. В работе, в первую очередь, была поставлена задача показать высокую точность при детектировании. Достигнутая точность оказалось на одном уровне с точностью определения эмоция человеком на данной выборке. Такие цифры были получены с помощью проведения эксперимента учеными, создавшими эмоциональную базу данных.
4.1 Перспективы
Завершая данную работу, было намечено огромное количество перспектив развития данной области и усовершенствования алгоритмов по распознаванию эмоциональных окрасок на человеческом лице при помощи средств машинного обучения. Прежде всего, нельзя забывать, что эмоции — очень субъективная окраска человеческого лица, очень часто даже человек не может определить лицевую экспрессию без комплекса других деталей, которые мы можем отмечать во время диалога с собеседником. Часто появляется необходимость в детектировании таких деталей, как тембр голоса, телодвижения и ситуационная составляющая. Ситуация бесспорно влияет на наше восприятие ситуации, являясь зачастую источником этих самых изменений в эмоциональной окраске. Поэтому в перспективе распознавания эмоциональной составляющей человеческого лица—создание комплекса алгоритмов, которые бы учитывали все тонкости. Голосовое детектирование вместе с трекингом изменений окружающей среды, распознавание основных психологических телодвижений индивидуума и все это в совокупности с обычным эмоциональным детектором порядком увеличили бы точность любых программных средств в этой проблеме машинного обучения. Более того, уже сейчас начинают появляться комплексные алгоритмы, которые используют параллельные нейронные сети, для вычисления ключевых точек и обычную сверхточную нейтронную сеть на основе ResNet уже обученной на ImageNet. Данные матрицы весов, полученные с помощью этих сетей, являются ещё одной тренировочный выборкой для объединяющей их обычный нейронной сети. Такие сложные и громоздкие вычисления производятся в огромных дата центрах, при использовании современник вычислительных машин с параллельными графическими процессорами нового поколения.
Необходимость создания тенденции на интегрирование систем распознавания и систем видеонаблюдения уже становится понятной многим крупных компаниям, так как это влечёт за собой интерес государства и огромный финансовый успех на рынке систем безопасности. В дополнение ко всем, нельзя не упомянуть, что развитие таких систем неуклонно влечёт технологии и науку, в целом, к созданию искусственного интеллекта и любых его форм. Ведь умение понять, что чувствует собеседник или стопорный человек—одна из уникальных человеческих способностей, которая пока в полной мере недоступна компьютеру.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
