Введение 6
Мотивация 6
Постановка задачи 6
Обзор существующих решений 8
Поиск оптимального решения. Метод градиентного спуска 8
Стандартный градиентный спуск 8
Стохастический градиентный спуск 8
Метод сопряженных градиентов 9
Многослойный персептрон 11
Автоэнкодеры 12
Стандартный автоэнкодер 12
Шумоподавляющий автоэнкодер 13
Стековый шумоподавляющий автоэнкодер 14
Классификаторы 15
Логистическая регрессия 15
HMM 16
Часть 1. Задача распознавания активностей 22
Использование описанных сетей 22
Подходы к использованию HMM 22
Распознавание отдельных слов (word recognition) 22
Распознавание речи (speech recognition) 23
Использование HMM в данной работе 23
Связь автоэнкодера и классификатора 24
Реализация 24
Эксперименты 25
Исходные данные 25
Подбор параметров стекового шумоподавляющего автоэнкодера 25
Сравнение стохастического градиентного спуска и метода сопряженных градиентов 25
Анализ влияния размера окна на результат 28
Логистическая регрессия 32
Модель классификатора 32
Модель стекового шумоподавляющего автоэнкодера с классификатором на вернем слое 34
HMM 35
Подготовка данных 35
Подбор параметров и результаты экспериментов 36
Выводы по задаче распознавания активностей 42
Часть 2. Задача распознавания речи 44
Постановка задачи 44
Модель нейросети и методы ее обучения 44
Подходы к обучению нейросетей 44
Стандартный подход 44
Соревновательный подход 45
Гибрид 46
Модель нейронной сети 47
Реализация 49
Эксперименты 49
Исходные данные 49
Сравнение подходов 49
Стадия pre-training 50
Стадия fine-tuning 52
Обучение модели после стандартного pre-training 52
Обучение модели после соревновательного pre-training 53
Стандартный подход на стадии fine-tuning 54
Соревновательный подход на стадии fine-tuning 55
Сравнение размеров mini-batches 55
Выводы по задаче распознавания речи 55
Заключение 57
Список литературы 5
В задачах выявления некоторых зависимостей между входными и выходными данными хорошо себя зарекомендовали нейронные сети. Чтобы достичь наилучших результатов, нужно найти подходящий для задачи тип сети и обучить ее наиболее оптимальным способом.
Для выявления различных закономерностей в данных используется множество различных сетей. Области применения некоторых из них изучены довольно обширно, области применения других - повод для новых исследований. Актуальны задачи анализа потоковых данных. К такому типу задач относятся: распознавание речи, распознавание слов, распознавание типа активности, определение фаз сна и другие задачи. В частности, для решения задач распознавания речи и отдельных слов успешно применяются Скрытые Марковские Модели (Hidden Markov Model, HMM). В связи с этим возникает вопрос о применимости данного типа сетей к другим задачам анализа потоковых данных.
Данная работа направлена на изучение HMM, анализа применимости данного типа сетей к задаче анализа потока данных, а также выборе наиболее оптимального способа ее обучения. Поставлена задача распознавания фаз сна человека по имеющемуся размеченному набору данных. Ожидается, что после обучения нейронная сеть сможет определять фазы сна по данным, представленным в таком же формате.
Выбор наиболее оптимального способа обучения сети, в данном контексте может быть сформулирован следующим образом: “Как наиболее быстро найти параметры модели, при которых нейросеть будет решать поставленную задачу с необходимой точностью?”.
Постановка задачи
Имеется размеченный набор данных об активности человека (замеры показаний сенсоров в последовательные моменты времени и метки, характеризующие фазы сна). Необходимо создать модель классификатора, которая по аналогичным данным сможет распознавать фазы сна человека в каждый момент времени. В качестве классификатора в модели (одной или нескольких) должна быть использована HMM.
Также нужно рассмотреть различные способы обучения нейронной сети, сравнить их с точки зрения качества и скорости обучения (на той же или другой модели и входных данных).
В данной работе изучены основные понятия, связанные с нейросетями. Более детально исследованы следующие модели: логистическая регрессия, многослойный персептрон, стандартный автоэнкодер, шумоподавляющий автоэнкодер, стековый шумоподавляющий автоэнкодер, скрытые марковские модели. Для проведения экспериментов реализованы модели стекового шумоподавляющего автоэнкодера с тремя классификаторами: логистическая регрессия и два типа скрытых марковских моделей (подход “распознавание слов” и подход “распознавание речи”). Каждая из этих моделей обучалась с целью подбора оптимальных параметров для анализа потоковых данных.
В первой части работы проанализированы возможности применения скрытых марковских моделей для анализа потоковых данных. Эксперименты проводились для задачи распознавания фаз сна. Однако высокой точности достичь не удалось. Причина такого результата может заключаться в том, что функция стоимости останавливается в локальном минимуме, так и не достигнув глобального. В связи с этим встает вопрос о выборе альтернативного подхода к обучению.
Во второй части работы сравнивался стандартный подход к обучению нейросетей с соревновательным. Эксперименты проводились на модели стекового шумоподавляющего автоэнкодера с логистической регрессией в качестве классификатора. Лучшие результаты были получены при обучении стандартным pre-training и стандартным fine-tuning. Однако это и наиболее затратный по времени подход. Применение менее затратного по времени соревновательного подхода на обеих стадиях обучения ухудшает классификации на 2-3%. Использование разных подходов к обучению на стадиях pre-training и fine-tuning не дает лучших результатов по сравнению с одинаковыми подходами на обеих стадиях обучения.
