СИНТЕЗ ЧЕЛОВЕЧЕСКОЙ РЕЧИ С ПОМОЩЬЮ НЕЙРОННОЙ СЕТИ

Введение
Глава 1. Сбор данных 6
Глава 2. Программная реализация 7
Глава 3. Метрика качества и результаты экспериментов 15
Глава 4. Архитектура системы синтеза речи Tacotron 15
Глава 5. Программная реализация Tacotron 29
Глава 6. Метрики качества 29
Заключение 30
Приложение
Купить

Искусственная генерация речи - процесс, который называют синтезом речи или задачей text-to-speech (TTS) - осуществляется с помощью двух различных методов - параметрический синтез речи и компиляционный синтез речи. Когда говорят о задаче синтеза речи, важно определить два понятия для того чтобы судить о качестве сгенерированной речи - понятность и естественность. Понятность — это качество сгенерированной аудиозаписи - насколько она чиста и слышима. Естественность - это качество сгенерированной речи - насколько речь звучит эмоционально, имеет ли она верное произношение.
Компиляционный синтез речи как можно предположить из названия, опирается на отрывки аудиозаписей высокого качества, которые затем собираются вместе, чтобы создать речь. Несмотря на то, что сгенерированная речь очень чистая, сгенерированная подобным образом речь звучит безэмоционально. Понятно, но ненатурально. Причина этого в том, что сложно получить базу из аудиозаписей всех слов, которые могут быть произнесены со всеми возможными комбинациями эмоций, ударений и так далее. Системы, основанные на таком способе генерации речи нуждаются в большой базе аудиозаписей, а также в системе правил для того, чтобы сформировать из них слова.
Компиляционный синтез речи очень ограничен из -за требования к большому объему данных и большому времени на разработку такой системы. Поэтому вместо подобного метода грубой силы был создан метод больше основанный на статистике. Данный метод генерирует речь сочетанием таких характеристик как фундаментальная частота (fundamental frequency), спектр амплитуды (magnitude spectrum). Затем характеристики обрабатываются и генерируется речь.
Система параметрического синтеза речи состоит из двух частей:
• Сначала извлекаются различные лингвистические характеристики. Это могут быть фонемы, длительность и так далее...
• Затем извлекаются характеристики вокодера (vocoder) которые представляют соответствующий звуковой сигнал. Этими характеристиками могут быть спектрограмма, фундаментальная частота и так далее, которые представляют некоторые свойственные человеческой речи характеристики.
Эти характеристики, которые являются аннотированными человеком параметрами вместе с лингвистическими характеристиками подаются на вход математической модели называемой вокодером (vocoder). Вокодер принимает эти характеристики и совершает многократные сложные преобразования этих характеристик для того, чтобы сгенерировать звуковую волну. В процессе генерации звуковой волны, вокодер оценивает такие параметры речи как ритм, ударение, интонацию.
Параметрически синтезированная речь модульна. Если можно осуществить приближение параметров, которые создают речь, то можно натренировать модель для генерации всех видов речи. Такой подход нуждается в куда меньшем количестве данных и меньшем затрат по времени чем компиляционный.
На практике данный способ дает не самый лучший результат. Сгенерированная речь не звучит естественно. Это происходит из того, что некоторые характеристики, подающиеся на вход модели являются жестко фиксированными. При использовании данного подхода фиксируются несколько характеристик, от которых ожидается, что они сгенерируют речь. Такие характеристики созданы человеком с нашим пониманием звучания человеческой речи, и не обязательно являются наилучшими характеристиками.
Tacotron является одной из систем использующих глубокое обучение, это end-to-end система синтеза речи от компании Google. Будет рассмотрена первая версия данной системы, которая была опубликована 29 марта 2017 года.
End-to-end подход в глубоком обучении означает, что получение результата происходит напрямую - на одном конце принимаются данные, а на другом конце выводятся уже готовые данные, например речевой сигнал. Такая система обходится без системы жестких правил или характеристик, подобранных вручную. Основываясь на данном подходе Tacotron генерирует речевой сигнал напрямую из текстовых символов, а обучение происходит основываясь лишь на парах <текст, аудиосигнала
Цель работы заключается в том, чтобы исследовать различные модели генерации речи - начиная от самой простой - компиляционной, постепенно усложнять модель. В ходе работы были реализованы также многослойный персептрон и более сложная модель - highway networks. Задача состоит в сборе данных для обучения модели, реализации самой модели, подборе оптимальных гиперпараметров и сравнении качества полученных моделей.
Во второй части работы стоит задача изучить архитектуру Tacotron, рассмотреть готовую реализацию и синтезировать речь на основе данной реализации, а также сравнить с реализованными ранее решениями используя метрику Mean Opinion Score.
Купить