ВВЕДЕНИЕ 3
1. ОСНОВНЫЕ ПОНЯТИЯ 6
1.1. Схема речи 6
1.2. Распознавание 7
1.3. HMM 8
1.4. Модели, характеризующие структуру речи 9
2. ИНСТРУМЕНТЫ ДЛЯ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
РАСПОЗНАВАНИЯ РЕЧИ 11
2.1. HTK 11
2.2. CMU Sphinx 11
2.3. Kaldi 12
2.4. Simon 12
2.5. Julius 12
2.6. Используемые алгоритмы 13
2.7. Сравнительный анализ 14
2.8. Вывод 15
3. СИСТЕМА CMU SPHINX 17
3.1. FrontEnd 18
3.2. Linguist 18
3.3. Decoder 20
4. ИНТЕГРИРОВАНИЕ И НАСТРОЙКА РАБОТЫ CMU SPHINX 21
4.1. Виртуальная биотехнологическая лаборатория 21
4.2. Ресурсы и плагины CMU Sphinx 21
4.3. Написание C# скриптов для использования .dll файлов CMU Sphinx 25
4.4. Интеграция C# скриптов в Unity проект 29
ЗАКЛЮЧЕНИЕ 32
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 33
ПРИЛОЖЕНИЕ
Автоматизированные системы распознавания речи несут за собой пользу, которую невозможно недооценить. Область их использования очень широка: управление приложениями голосом, генерирование текстовых субтитров на основе принимаемого видеоматериала, текстовое сопровождение аудио треков, распознавание ключевых слов в интернет/телефонном разговоре
- и это лишь малая доля практического применения голосового распознавания на данный момент, в действительности же область их применения куда шире и выполнение этих задач вручную, что накладываются на подобные системы
- практически невозможно
Перед о мной была поставлена задача внедрения системы распознавания речи, как одной из механик управления виртуальной биотехнологической лабораторией. Потому как естественное языковое общение является для человека самым удобным и привычным. Основная задача речевого интерфейса понимать человеческую речь и правильно реагировать на нее.
Для того, чтобы система работала эффективно - могла верно понимать человеческую речь, необходимо позаботится о качестве распознавания, на что влияет окружающая обстановка и устройство, на которое ведется запись. К примеру, записи с разного рода конференций или мероприятий почти со стопроцентной вероятностью будут содержать посторонние звуки, где под посторонними звуками подразумеваются:
1. Речь не относящаяся к главному спикеру;
2. Скрипы передвигаемых стульев и столов;
3. Скрипы звукозаписывающего устройства;
4. Дублированная речь спикера, связанная с использованием микрофона.
Если в разговоре будет участвовать не один спикер, а несколько, распознать речь даже единственного из них является сложной задачей.
Стоит не забывать и о человеческих факторах:
1. Наличие акцента;
2. Запинки в речи;
3. Не выговаривание букв;
4. Не постоянный темп речи.
Как правило, аудиодорожка сочетает несколько факторов из двух вышеперечисленных списков.
Бесспорно можно утверждать, что данные факторы влияют на речевое восприятие человеком, следовательно, те же самые факторы могут проявлять отрицательное влияние на распознавание речи автоматизированной системой.
На шум может оказывать большое влияние устройство звукозаписи, где использование разных микрофонов может приводить к кардинально разным результатам, ведь те могут обладать разными характеристиками и целями, так же отрицательное влияние оказывает отсутствие специального сопровождающего для микрофона оборудования: заглушающих решёток, фильтров, - потому что кроме речи в запись идет звук дыхания.
Как уже было сказано ранее, шум оказывает негативный эффект на распознавание речи, вследствие чего для достижения наилучшего качества распознавания необходимо привести уровень шума к минимуму. Стоит упомянуть, что формат аудиозаписи имеет не последнюю роль в определении качества аудиозаписи в целом.
Для обучения и тестирования систем распознавания используют идеальные аудиодорожки, обычно на таких дорожках абсолютно отсутствуют посторонние звуки, а спикер обладает дикторской речью. Конечно же возникает вопрос, как сильно изменится качество распознавания при использовании менее качественных записей.
Предметом исследования в данной дипломной работе являются системы распознавания речи, а так же их эффективность после внедрения в виртуальную биотехнологическую лабораторию. Будут использоваться данные максимально соответствующей действительности при работе с VR- очками, а именно - низкое качество звукозаписывающего устройства, наличие речи не имеющей отношения к словарю распознавания, наличие посторонних звуков.
Целью исследования является внедрение системы распознавания речи в сцену виртуальной реальности на основе анализа проведенного в данной работе, что позволит интерпретировать голосовые команды пользователя в действия программной среды.
Основными задачами в данной работе являются:
1. Сравнить возможные инструменты распознавания;
2. Разработать модуль внедрения инструмента в движок Unity;
3. Исключить механические действия усложняющие взаимодействие с виртуальной лабораторией;
4. Сделать возможными действия нереализуемые при помощи механических устройств;
5. Улучшить общий эффект восприятия взаимодействия с виртуальной средой.
В результате дипломной работы была изучена теоретическая составляющая речевого распознавания, основные принципы, используемая терминология, алгоритмы, модели представления того или иного языка. Так же были рассмотрены существующие системы распознавания, где после обзора каждого, была выбрана наиболее подходящая по критериям бизнес- задачи - CMU Sphinx.
В процессе выполнения дипломной работы были решены следующие задачи:
• Разработан универсальный модуль внедрения распознавания речи в движок Unity;
• Исключены механические действия усложняющие
взаимодействие с виртуальной биотехнологической лабораторией;
• Улучшен общий эффект восприятия виртуальной среды биотехнологической лаборатории путем внедрения голосового интерфейса;
• Проведен сравнительный анализ существующих инструментов.
