LLaMA-Omni: Новая архитектура модели ИИ, разработанная для высококачественного и низколатентного взаимодействия с LLM

Большие языковые модели (LLM) стали мощными универсальными решателями задач, способными помогать людям в различных сферах повседневной жизни через разговорные взаимодействия. Однако преобладающая зависимость от взаимодействия на основе текста значительно ограничила их применение в сценариях, где текстовый ввод и вывод не являются оптимальными.

Несмотря на это, исследователям по-прежнему требуется более подробно исследовать возможности создания моделей взаимодействия со звуком на основе LLM. Для решения актуальных проблем в области достижения низколатентного и высококачественного взаимодействия со звуком на базе LLM, была предложена инновационная архитектура модели LLaMA-Omni.

Архитектура LLaMA-Omni

LLaMA-Omni имеет четыре основных компонента: кодировщик речи, адаптер речи, LLM и декодер речи. Кодировщик речи извлекает значимые представления из речевого ввода пользователя. Затем эти представления обрабатывает адаптер речи, который отображает их в пространстве встраивания LLM через дискретизацию и двухслойный перцептрон. LLM генерирует текстовые ответы непосредственно из речевой инструкции. Декодер речи, являющийся стриминговым трансформатором, принимает скрытые состояния LLM и использует классификацию темпоральной связи для прогнозирования дискретных единиц, соответствующих речевому ответу.

Обучение модели

Модель использует двухэтапную обучающую стратегию. На первом этапе она учится генерировать текстовые ответы из устных инструкций, а на втором этапе – речевые ответы, при этом обучается только декодер речи. Во время вывода LLaMA-Omni одновременно генерирует текст и речевые ответы, что позволяет добиться крайне низколатентного взаимодействия со звуком.

Датасет InstructS2S-200K

Датасет InstructS2S-200K создан для обучения LLaMA-Omni для речевого взаимодействия. Он содержит 200 000 троек устных инструкций, текстовых ответов и речевых ответов, обеспечивая натуральное и эффективное взаимодействие.

Преимущества LLaMA-Omni

LLaMA-Omni превосходит предыдущие модели в задачах речевого взаимодействия, обеспечивая баланс между качеством звука и латентностью ответа с латентностью всего 226 мс. Он демонстрирует значительно более быстрое время декодирования по сравнению с другими моделями и обеспечивает более подробные и полезные ответы, подходящие для сценариев речевого взаимодействия.

LLaMA-Omni – инновационная архитектура модели, разработанная для обеспечения высококачественного и низколатентного речевого взаимодействия с LLM.