Kyutai выпустила Hibiki: перевод речи в реальном времени с качеством близким к человеческому

Реальное время перевода речи

Перевод речи в реальном времени – это сложная задача, требующая интеграции распознавания речи, машинного перевода и синтеза речи. Традиционные методы часто приводят к ошибкам и медленной обработке, что делает их менее подходящими для живой интерпретации.

Проблемы существующих моделей

Существующие модели перевода сталкиваются с трудностями в обеспечении точности и низкой задержки. Недостаток больших и хорошо согласованных наборов данных ограничивает возможность обучения моделей, которые могут генерировать точные и естественные переводы.

Решение от Kyutai: Hibiki

Kyutai разработала Hibiki – модель с 2.7 миллиарда параметров для перевода речи в реальном времени. Она поддерживает перевод с французского на английский и сохраняет характеристики голоса в переводе.

Преимущества Hibiki

Архитектура: Модель использует многопоточный языковой модель для одновременной обработки речи.
Эффективность: Использует нейронный аудиокодек для сжатия звука без потери качества.
Контекстуальная синхронизация: Позволяет динамически регулировать задержки перевода.
Масштабируемость: Поддерживает пакетную обработку до 320 последовательностей одновременно.

Производительность и оценка

Hibiki демонстрирует высокое качество перевода и точность передачи голоса. Она превосходит существующие модели по качеству перевода и сохраняет естественность речи.

Результаты

Оценка ASR-BLEU: 30.5, что выше существующих стандартов.
Естественность: Оценка 3.73/5, близкая к профессиональным переводчикам.
Сходство голосов: Оценка 0.52, что лучше, чем у других моделей.

Заключение

Hibiki предлагает практическое решение для перевода речи в реальном времени, улучшая качество перевода и сохраняя естественные характеристики речи. Открытый исходный код модели может значительно способствовать развитию многоязычной коммуникации.