F5-TTS: Полностью неавторегрессионная система преобразования текста в речь на основе сопоставления потоков с диффузионным трансформером.

Проблемы современных систем синтеза речи

Современные системы синтеза речи (TTS) сталкиваются с ограничениями авторегрессионных моделей и сложностями в точном согласовании текста и речи. Многие традиционные модели требуют сложных элементов, таких как моделирование длительности и выравнивание фонем, что усложняет процесс синтеза.

Решение F5-TTS

Исследователи из Шанхайского университета Цзяо Тун, Кембриджского университета и Исследовательского института Geely представили F5-TTS — неавторегрессионную систему TTS, использующую сопоставление потоков с помощью диффузионного трансформера (DiT). Эта система не требует сложных элементов, что упрощает процесс синтеза.

Преимущества F5-TTS:

Упрощенный подход к синтезу речи.
Использование архитектуры ConvNeXt для улучшения представления текста.
Инновационная стратегия Sway Sampling для оптимизации процесса.

Как работает F5-TTS

Входной текст обрабатывается блоками ConvNeXt, что позволяет более гладко согласовывать текст и речь. Модель использует сопоставление потоков для эффективного обучения, а также включает технику Sway Sampling для улучшения выравнивания на этапе вывода.

Результаты и эффективность

F5-TTS продемонстрировала высокое качество синтеза и скорость вывода, достигнув показателя ошибки слов (WER) 2.42 на наборе данных LibriSpeech-PC. Это значительно лучше, чем у предыдущих моделей, таких как E2 TTS.

Выводы

F5-TTS предлагает простую и эффективную систему для синтеза речи, устраняя необходимость в сложных элементах. Это решение способствует улучшению качества речи и упрощает внедрение технологий TTS в бизнес.