ВВЕДЕНИЕ 3
1 ХАРАКТЕРИСТИКИ РЕЧЕВОГО СИГНАЛА, ВЛИЯЮЩИЕ НА ЭМОЦИОНАЛЬНОЕ СОСТОЯНИЕ ЧЕЛОВЕКА 4
1.1 Эмоциональные состояния человека 4
1.2 Свойства речевого сигнала 5
1.3 Признаки эмоционально окрашенной речи 9
1.4 Влияния ЭОР в различных сферах деятельности 10
2 РАЗРАБОТКА МЕТОДА И АЛГОРИТМА АНАЛИЗА ЧАСТОТНО-ВРЕМЕННЫХ ХАРАКТЕРИСТИК РЕЧЕВОГО СИГНАЛА 14
2.1 Математическая модель 14
2.2 Программная реализация 21
3 РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЙ 30
3.1 Подготовка речевых данных 30
3.2 Исследование спектрального состава речевого сигнала 32
3.3 Сравнение концентрации энергии 33
ЗАКЛЮЧЕНИЕ 38
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 40
ПРИЛОЖЕНИЕ А 43
Восприятие окружающего мира и принятие решений человеком отчасти зависит от его эмоционального состояния. Наряду с невербальными признаками для оценки эмоционального состояния используют устную речь. Это особенно актуально при обмене информацией в виртуальных телекоммуникациях.
Для верного восприятия смысла сообщения и оценки предполагаемой реакции человек анализирует не только смысловые единицы - звуки, но и неречевую информацию, извлекаемую из устной речи. Изучение различных видов неречевой информации, в частности, её акустических характеристик, идентифицирующих эмоциональное содержание, часто используется для автоматического осознания смысла производимых фраз и принятия решений.
Взаимосвязь акустических характеристик с эмоциональным содержанием речи интересна и в теоретическом плане, и для решения различных прикладных задач. Задачей может быть определение объективного состояния человека по звучанию его голоса. Это имеет применение в различных сферах деятельности, например, в психологии, в маркетинговом бизнесе, в криминалистике, в медицине [10].
Целью работы является исследование частотно-временных характеристик, определяющих эмоциональное состояние диктора.
Задачи исследования:
1. Проанализировать характеристики и признаки речевого сигнала.
2. Изучить характеристики речи, характеризующие эмоциональное состояние.
3. Разработать на основе полученных исследований программное решение, позволяющее определять эмоциональное состояние.
Выпускная квалификационная работа выполнена в полном объёме, все задачи исследования были выполнены:
1. Анализ характеристик и признаков речевого сигнала показал, что эмоциональное состояние человека отражает параметр концентрации энергии в частотных интервалах. Признаками положительного эмоционального состояния является то, что при построении функциональной зависимости концентрации энергии от времени, она чаще пересекает значение порога и больше по сравнению со звукозаписью с нейтральной эмоцией, на которой функциональная зависимость чаще падает к уровню порога.
2. Было проведено социологическое исследование в виде опроса в социальной сети ВКонтакте, которое показало, что в результате прослушивания менее 57% опрашиваемых верно определили оба эмоциональных состояния, незнакомые с произносившим ошиблись полностью и их более 13%. Более 10% опрашиваемых приняли нейтральное состояние за эмоциональное, около 19% приняли положительную эмоцию за нейтральную.
3. Разработана блок-схема алгоритма для решения задачи классификации эмоционального состояния. Этот алгоритм реализован в программе MATLAB в виде программного решения, позволяющего определять эмоциональное состояние.
Результаты расчёта вероятности ошибки показали, что человек, классифицируя положительную эмоцию, допускает не менее 32% ошибок, а вероятность ошибки субполосного метода не менее 27%.
Разрабатываемая информационная технология позволяет определить эмоциональное состояние человека по его речи. Работа ведется с неструктурированной речевой информацией.
Отличительные особенности перед существующими системами:
Нет необходимости настройки (обучения нейросети, как отмечают исследователи, нейросеть - хорошо работает на обучающей выборке, а в реальных условиях показывает худшие результаты).
Существует проблема в выборе математического аппарата, который адекватно описывал бы свойства речи для получения частотно-временных закономерностей.
Для получения частотно-временных закономерностей (далее субполосных признаков), предлагается использовать математический аппарат субполосных матриц, разработка которого продолжается до сих пор. Предложенная модель позволяет осуществлять классификацию эмоционального состояния на основе прецедента, а не на основе обучающей выборки.
