РАЗРАБОТКА ПРОГРАММНОГО КОМПЛЕКСА ГЕНЕРАЦИИ РЕЧИ

Перечень условных обозначений, символов, сокращений, терминов 5
Введение 6
1 База данных 8
1.1 Извлечение признаков 8
1.2 Дискретное кратковременное преобразование Фурье (STFT) 9
1.3 Мел-коэффициенты 10
2 Определение искусственной нейронной сети 13
3 Алгоритм 17
3.1 Модель нормализация текста 17
3.2 Модель преобразования графемы в фонему 18
3.3 Модель преобразования длительности фонем 19
3.4 Модель конкатенации 20
3.5 Модель предсказания интонационного контура 21
3.6 Модель преобразования предложения 33
4 Нейронные сети 38
5 Оптимизация 41
6 Результаты работы алгоритма 46
Заключение 48
Список использованных источников и литературы 49
Приложение А Результаты обучения модели предсказания интонационного
контура с оптимизатором Adam 50
Приложение Б Результаты обучения модели предсказания интонационного
контура с оптимизатором SGD 51
Приложение В Результаты обучения модели предсказания интонационного
контура с оптимизатором AdaDelta 52

Купить

Частые взаимодействия человека с техникой требуют улучшения удобства этих взаимодействий, чтобы они стали более похожи на общение между людьми. Компьютер становится личным помощником как в профессиональной, так и в личной жизни, и с помощью различных технологий может обладать такими возможностями, как компьютерное зрение, слух и осязание, а также умением воспроизводить речь.
Генерация речи (синтез) - это технология, генерирующая акустические сигналы, имитирующие человеческую речь. Она используется на веб-сайтах для озвучивания текстового контента, в сложных виртуальных помощниках и call-центрах, а также может быть применена в других областях. Например, в образовательном процессе для создания интерактивных материалов и организации доступа к ним для людей с ограниченными возможностями, а также в игровой индустрии для озвучивания персонажей.
Существуют несколько основных методов генерации речи:
• Компилятивный синтез, когда из имеющихся записей выбираются и соединяются нужные фрагменты для формирования заданного предложения;
• Формантный синтез, когда сигнал моделируется по акустическим
характеристикам речи - формантам;
• Параметрический синтез, когда сигнал генерируется с помощью
математических моделей.
Технология генерации речи из текста (Text-to-Speech) включает в себя области исследования в акустике, лингвистике и математических науках. В современных методах генерации речи используются глубокие нейронные сети, которые обеспечивают более естественное звучание.
Компания SberDevices применяет нейронные модели Tacotron и WaveNet для генерации речи. Первая используется для генерации спектрограмм из текста, а вторая для преобразования звуковой волны из спектрограммы. Такая технология используется в виртуальных ассистентах Афина и Джой [1]. Yandex SpeechKit и Тинькофф применяют аналогичную технологию, основанную на своих решениях.
Современные методы синтеза уже достигли высокой степени естественности речи. В последние годы акцент делается на улучшение выразительности (интонация, акценты) речи, персонализацию голосовых помощников и оптимизацию вычислительных ресурсов.
Однако высокие требования к вычислительной мощности, обусловленные сложностью вычислительных процессов и объемом данных, необходимых для обучения нейронной сети и в процессе её использования в реальном времени (например Russian Open Speech To Text (STT/ASR) Dataset (2,3 TB в формате .wav)), делают невозможным создание приложения, работающего без подключения к интернету.
В данной работе алгоритм генерации речи включает нейронную сеть для генерации звуковых волн фонем, которые затем проходят операцию конкатенации для формирования заданного предложения, а также нейронные сети для выбора интонационного контура и расстановки акцентов.
Купить