Введение 3
Постановка задачи 5
1. Обзорный раздел по предметной области 6
1.1. Метрики 6
1.2. Существующие решения 7
1.3. Представленное решение 11
1.4. Расширение на случай распознавания в режиме реального
времени 12
1.5. Определение временных границ слов 14
2. Распознавание многоголосой речи 16
2.1. Модель: многоканальный трансформер 16
2.2. Данные 17
2.3. Референсные решения 20
2.4. Результаты 21
2.5. Анализ результатов 23
2.6. Итоги 23
3. Распознавание многоголосой речи в режиме реального времени 28
3.1. Модель 28
3.2. Определение временных границ слов 33
3.3. Данные 37
3.4. Результаты 37
Заключение 40
Благодарность 40
Список литературы 41
Распознавание речи — это задача определения текста, произнесенного на аудиосигнале. Эта задача кажется сложной для решения компьютером, однако современные методы машинного обучения уже неплохо справляются с ней. Голосовые компьютерные технологии, решающие задачу распознавания речи, находят применение во многих аспектах человеческой жизни: в использовании голосовых помощников, в управлении смартфонами для незрячих людей, при транскрибации голосовых сообщений.
Периодически в речевых технологиях возникает ситуация многоголосной речи, то есть когда в аудиозаписи содержится речь нескольких человек. Решения задачи распознавания речи в таких ситуациях обычно выдают всю речь одним текстом, никак не определяя конкретных говорящих у распознанных слов. Если же требуется определить произнесенные тексты для каждого говорящего отдельно, возникает задача распознавания многоголосной речи.
Системы для автоматического распознавания многоголосой речи могут оказаться чрезвычайно важными в плане улучшения качества человеческой жизни, т.к. имеют множество точек приложения. Так, они могут быть использованы для разметки и дальнейшего анализа различных аудиоданных, например, разметки диалогов на конференциях или персональных встречах для дальнейшего использования распознанных диалогов. Другое применение таких технологий — разметка большого количества диалоговых аудиозаписей для получения данных, по которым будущие технологии искусственного интеллекта смогут обучаться, чтобы имитировать диалоговую речь, т.е. разговаривать с человеком. Еще одной точкой приложения данной технологии является ее использование в субтитрах для последующего перевода на другой язык, либо для людей с пониженным слухом при просмотре фильмов или видеотрансляций.
В общем случае в задаче распознавания многоголосной речи заранее не известно количество человек, участвующих в разговоре, как и неизвестна какая-либо дополнительная информация о говорящих. Еще одной сложностью задачи является периодически возникающая ситуация пересекающейся речи (когда люди друг друга перебивают).
Распознавание многоголосой речи тесно связано с диаризацией — задачей, в которой необходимо по входной аудиозаписи разбить ее на несколько сегментов и обозначить каждому из них уникальный номер говорящего, голос которого звучит на всем этом сегменте. В ситуациях пересекающейся речи эти сегменты должны пересекаться. Решение задачи распознавания многоголосой речи фактически является комбинацией решения задачи диаризации и задачи обычного распознавания речи для случаев непересекающейся речи.
Важной постановкой задачи является случай распознавания многоголосой речи в реальном времени. Системы, решающие такую постановку задачи, должны дополнять гипотезу распознавания в соответствии с дополняющейся в реальном времени аудиозаписью. Потенциальные способы применения таких систем включают в себя, например, автоматическое проставление субтитров к новостным репортажам. Также такие системы могут помочь в автоматическом решении задачи синхронного перевода.
В текущем прогрессе в направлении автоматического распознавания многоголосой речи присутствуют методы, недостаточно качественно распознающие многоголосую речь, либо качественные методы, распознающие речь слишком долго, что может послужить проблемой в случае распознавания в режиме реального времени (например, система может не успевать распознавать речь вовремя, то есть выдавать распознавания части аудио сильно позже, чем это аудио было получено), либо тратить больше вычислительных ресурсов.
В данной работе рассматривается способ автоматического распознавания многоголосной речи, а также его расширение для случая распознавания в реальном времени. Способ выдает результаты, сравнимые по качеству с результатами текущих передовых методов решения этой проблемы, однако требует меньше вычислительных ресурсов и времени для исполнения. Поставленная задача является слишком обширной, поэтому в работе рассмотрена лишь ситуация, когда в разговоре на входной аудиозаписи участвует не более двух человек. Однако потенциально архитектуру представленной модели можно обобщить до ситуации любого ограниченного числа говорящих. Эксперименты над такими моделями не проводились и являются перспективой развития данной работы.
По итогам исследования была построена модель, решающая задачу распознавания многоголосной речи не более чем двух говорящих. В отличии от других возможных решений задачи распознавания многоголосой речи, построенное решение требует меньшее число запусков модели для его использования, поэтому оно может быть полезно в ситуациях, когда время работы модели является критическим местом (например, в задаче распознавания речи в режиме реального времени).
Модель была обучена и протестирована на синтетических данных из LibriSpeech и показала качество сравнимое с текущими лучшими state-of- the-art-решениями и лучше, чем у референсного решения, использующего отдельную модель для разделения исходного сигнала на каналы. Кроме того, эта модель показала малое отличие результатов от модели, распознающей одного говорящего, в случае таких данных.
Другим результатом данной работы является представленное расширение этой модели (либо любой другой авторегрессионной модели, распознающей нескольких говорящих) на случай распознавания аудиозаписей в режиме реального времени. Это решение было протестировано на синтетически смешанных длинных аудиозаписях, составленных из записей датасета LibriSpeech.
Дополнительным результатом является представленное решение для определения временных границ распознанных слов, обобщающее стандартный метод на случай нескольких говорящих. Такое решение было успешно использовано для распознавания аудиозаписей в режиме реального времени.
