Исследование методов распознавания многоголосой речи

Введение 3
Постановка задачи 5
1. Обзорный раздел по предметной области 6
1.1. Метрики 6
1.2. Существующие решения 7
1.3. Представленное решение 11
1.4. Расширение на случай распознавания в режиме реального
времени 12
1.5. Определение временных границ слов 14
2. Распознавание многоголосой речи 16
2.1. Модель: многоканальный трансформер 16
2.2. Данные 17
2.3. Референсные решения 20
2.4. Результаты 21
2.5. Анализ результатов 23
2.6. Итоги 23
3. Распознавание многоголосой речи в режиме реального времени 28
3.1. Модель 28
3.2. Определение временных границ слов 33
3.3. Данные 37
3.4. Результаты 37
Заключение 40
Благодарность 40
Список литературы

Купить

Распознавание речи — это задача определения текста, произнесенного на аудиосигнале. Эта задача кажется сложной для решения компьютером, однако современные методы машинного обучения уже неплохо справляются с ней. Голосовые компьютерные технологии, решающие задачу распознавания речи, находят применение во многих аспектах человеческой жизни: в использовании голосовых помощников, в управлении смартфонами для незрячих людей, при транскрибации голосовых сообщений.
Периодически в речевых технологиях возникает ситуация многоголосной речи, то есть когда в аудиозаписи содержится речь нескольких человек. Решения задачи распознавания речи в таких ситуациях обычно выдают всю речь одним текстом, никак не определяя конкретных говорящих у распознанных слов. Если же требуется определить произнесенные тексты для каждого говорящего отдельно, возникает задача распознавания многоголосной речи.
Системы для автоматического распознавания многоголосой речи могут оказаться чрезвычайно важными в плане улучшения качества человеческой жизни, т.к. имеют множество точек приложения. Так, они могут быть использованы для разметки и дальнейшего анализа различных аудиоданных, например, разметки диалогов на конференциях или персональных встречах для дальнейшего использования распознанных диалогов. Другое применение таких технологий — разметка большого количества диалоговых аудиозаписей для получения данных, по которым будущие технологии искусственного интеллекта смогут обучаться, чтобы имитировать диалоговую речь, т.е. разговаривать с человеком. Еще одной точкой приложения данной технологии является ее использование в субтитрах для последующего перевода на другой язык, либо для людей с пониженным слухом при просмотре фильмов или видеотрансляций.
В общем случае в задаче распознавания многоголосной речи заранее не известно количество человек, участвующих в разговоре, как и неизвестна какая-либо дополнительная информация о говорящих. Еще одной сложностью задачи является периодически возникающая ситуация пересекающейся речи (когда люди друг друга перебивают).
Распознавание многоголосой речи тесно связано с диаризацией — задачей, в которой необходимо по входной аудиозаписи разбить ее на несколько сегментов и обозначить каждому из них уникальный номер говорящего, голос которого звучит на всем этом сегменте. В ситуациях пересекающейся речи эти сегменты должны пересекаться. Решение задачи распознавания многоголосой речи фактически является комбинацией решения задачи диаризации и задачи обычного распознавания речи для случаев непересекающейся речи.
Важной постановкой задачи является случай распознавания многоголосой речи в реальном времени. Системы, решающие такую постановку задачи, должны дополнять гипотезу распознавания в соответствии с дополняющейся в реальном времени аудиозаписью. Потенциальные способы применения таких систем включают в себя, например, автоматическое проставление субтитров к новостным репортажам. Также такие системы могут помочь в автоматическом решении задачи синхронного перевода.
В текущем прогрессе в направлении автоматического распознавания многоголосой речи присутствуют методы, недостаточно качественно распознающие многоголосую речь, либо качественные методы, распознающие речь слишком долго, что может послужить проблемой в случае распознавания в ре-жиме реального времени (например, система может не успевать распознавать речь вовремя, то есть выдавать распознавания части аудио сильно позже, чем это аудио было получено), либо тратить больше вычислительных ресурсов.
В данной работе рассматривается способ автоматического распознавания многоголосной речи, а также его расширение для случая распознавания в реальном времени. Способ выдает результаты, сравнимые по качеству с результатами текущих передовых методов решения этой проблемы, однако требует меньше вычислительных ресурсов и времени для исполнения. Поставленная задача является слишком обширной, поэтому в работе рассмотрена лишь ситуация, когда в разговоре на входной аудиозаписи участвует не более двух человек. Однако потенциально архитектуру представленной модели можно обобщить до ситуации любого ограниченного числа говорящих. Эксперименты над такими моделями не проводились и являются перспективой развития данной работы.
Постановка задачи
В данной работе рассматривается подход к решению задачи автоматического распознавания многоголосой речи не более двух человек с возможными пересечениями. Такой подход показывает результаты, сравнимые по качеству с текущими передовыми решениями, однако требует меньшего времени и ресурсов для исполнения.
В рамках работы приведены следующие две модели:
1. Модель для распознавания многоголосой речи. Такой модели на вход приходит аудиосигнал, на котором звучит речь нескольких человек (одного или двух), а на выходе она должна выдать несколько текстов-распознаваний речи каждого из участников разговора.
2. Расширение первой модели (или других возможных моделей для распознавания многоголосой речи) для случая распознавания в режиме реального времени. Такой модели на вход в реальном времени поступают части аудиозаписи разговора не более двух человек, после каждой новой части аудиозаписи на выходе модель выдает общее распознавание всей прозвучавшей на текущий момент речи. Такое расширение также помогает с проблемами первого решения, возникающими при распознавании длинных аудиозаписей.
Купить