Синтез речи — это задача, целью которой является получение понятной и естественно звучащей речи по тексту. Для её решения используются методы из таких направлений как машинное обучение, обработка естественных языков и обработка сигналов.
Исторически для решения этой задачи используются промежуточные представления текста и аудио - фонемы и (мел-) спектрограммы, соответственно. Поэтому сначала мы определим важное для нас понятие спектрограмм, а затем рассмотрим существующие решения задачи синтеза речи и связанные с ними проблемы.
Для решения задачи синтеза уже давно используются каскадные модели [18]. Такой подход разделяет задачу синтеза на несколько небольших подзадач, которые значительно проще решать (см. рис. 2):
1. Генерация фонем по тексту.
2. Генерация спектрограмм по фонемам.
3. Генерация звукового сигнала по (мел-) спектрограмме.
У разбиения на такие подзадачи есть несколько причин:
• фонемы и спектрограммы - это те понятия, которые используются лингвистами для исследования связи текста с речью [4]
• в то время, когда они только появлялись, просто не было технической возможности сделать более большие модели.
Эти модели в качестве цели используют звуковую волну, у которой существуют различные инварианты, которые не меняют звучание:
• очевидно, что если мы сдвинем волну на некоторый промежуток времени, то звучать они будут одинаково. Однако если сравнить их графики, то выглядеть они будут абсолютно по-разному.
• более того, мы экспериментально показали, что если мы сделаем оконное преобразование Фурье, а затем к его результату применим случайный фазовый сдвиг, то получатся аудио, которые звучат точно так же как и оригиналы, но выглядят опять же по-разному (см. рис. 3). Более подробный результат эксперимента с фазовыми сдвигами находится в главе 3.
Стоит отметить, что существующие End2End решения, такие как EATS [1] и VITS [5], хоть и не используют (мел-) спектрограммы в качестве промежуточных представлений, но всё равно возвращаются к ним для подсчёта одного из слагаемых в функции ошибки.
В этой работе мы исследовали задачу синтеза речи. Для решения этой задачи нами была получена новая параметризация звукового сигнала. Экспериментально было доказано, что используя спектрограммы вместе с этим представлением можно получить аудио, которое звучит более естественно, чем с алгоритмом Гриффина-Лима. Этот результат позволит избавиться от нейросетевых вокодеров, которые сами по себе вычислительно дороги.
Была обучена модель синтеза речи, которая состоит из модифицированной модели FastPitch, генерирующей спектрограммы, и оптимизации параметров нашего представления сигнала, из которого мы получаем итоговое аудио.
Также экспериментально было показано, что используя разные способы предсказания фазовой информации вместе со спектрограммой, не получается генерировать аудио, сопоставимые по качеству с человеческой речью.
В дальнейшем планируется обучить более качественную модель, которая будет предсказывать спектрограммы, а также оптимизировать алгоритм нахождения параметров нашего представления аудио.
Результаты, полученные в данной работе, открывают путь, который позволит отказаться от одного из наиболее сложных этапов синтеза речи, заменив его детерминированной математической моделью.
