Новая модель текст в речь MARS5: отличная интонация и открытый исходный код

 Camb AI Releases MARS5 TTS: A Novel Open Source Text to Speech Model for Insane Prosody

MARS5 TTS: инновационная модель для синтеза речи

Команда Camb AI представила MARS5 TTS, инновационную модель для синтеза речи с открытым исходным кодом, которая предлагает уникальное управление просодией и возможности клонирования голоса, требуя менее 5 секунд аудиовхода. Модель имеет двухступенчатую архитектуру состоящую из 750M авторегрессионной (AR) модели и 450M неавторегрессионной (NAR) модели. MARS5 использует BPE токенизатор, позволяющий точно управлять знаками препинания, паузами и остановками, тем самым продвигая область синтеза речи.

Уникальная архитектура и возможности модели

Архитектура модели MARS5 включает уникальную двухступенчатую AR-NAR конвейер. На первом этапе авторегрессионная трансформаторная модель генерирует грубые (L0) закодированные признаки речи из входного текста и аудиозаписи. Затем эти признаки вместе с текстом и аудио уточняются с использованием мультиномиальной модели вероятностной диффузии (DDPM), чтобы произвести оставшиеся закодированные значения кодовой книги. Наконец, вокодер преобразует выход DDPM в конечное аудио.

Компонент AR MARS5 предсказывает грубые токены L0, которые затем дополнительно уточняются моделью NAR DDPM. Полученный уточненный выход обрабатывается вокодером для генерации конечного аудио. Обучение модели на сыром аудио в сочетании с текстом, закодированным парами байт, позволяет тонко управлять просодией через знаки препинания и капитализацию. Например, добавление запятых вводит паузы, а слова с заглавной буквы подчеркиваются, обеспечивая естественный метод направлять просодию сгенерированного вывода.

Преимущества по сравнению с другими моделями

По сравнению с другими ведущими языковыми моделями, такими как GPT и Gemini, MARS5 выделяется своим специализированным фокусом на синтез речи и уникальной AR-NAR архитектурой. В отличие от GPT и Gemini, которые в основном предназначены для генерации и понимания текста, MARS5 оптимизирована для создания высококачественного управляемого речевого вывода. Использование DDPM на этапе NAR и введение просодического контроля через форматирование текста выделяет ее в области синтеза речи.

Практическое применение и аспекты использования

MARS5 показывает впечатляющие результаты в клонировании голоса и управлении просодией. Система поддерживает два режима вывода: быстрое “поверхностное клонирование”, не требующее транскрипции исходного аудио, а также более медленное, но высококачественное “глубокое клонирование”, которое использует транскрипцию образца. За считанные 5 секунд аудио и отрывок текста MARS5 может создавать речь для различных и сложных сценариев, включая спортивные комментарии и озвучивание аниме, демонстрируя свою универсальность и эффективность.

Для использования MARS5 предоставляется референтный аудиофайл длиной от 2 до 12 секунд, причем 6-секундные образцы дают оптимальные результаты. Система принимает текстовый ввод с знаками препинания и капитализацией для управления просодией. Пользователи могут выполнять “глубокое клонирование” для улучшения качества, предоставив транскрипцию референтного аудио. Возможность обработки сложных просодических сценариев делает модель подходящей для различных применений в сфере развлечений, образования и доступности.

MARS5 TTS представляет собой значительный прорыв в технологии синтеза речи с открытым исходным кодом. Ее инновационная архитектура, сочетающая в себе AR и NAR модели с DDPM, обеспечивает беспрецедентный контроль над синтезом речи. Возможность клонирования голосов с минимальным вводом и создание высококачественной речи с богатой просодикой позиционирует ее как ценный инструмент для разработчиков и исследователей в области искусственного интеллекта и речевых технологий.

Посетите GitHub, чтобы ознакомиться с моделью. Весь кредит за это исследование принадлежит исследователям этого проекта. Не забудьте подписаться на нас в Twitter.

Присоединяйтесь к нашему каналу Telegram и группе в LinkedIn.

Если вам нравится наша работа, вам понравится наш невестный длясчик подписк канала.

Не забудьте присоединиться к нашему 45k+ ML SubReddit

Статья опубликована на портале MarkTechPost

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Руководство по решению уравнения Бюргера 1D с помощью PINNs в PyTorch

    Практическое руководство по преобразованию бизнеса с помощью ИИ Это руководство демонстрирует, как использовать физически обоснованные нейронные сети (PINNs) для решения уравнения Бургенса и как такие технологии могут улучшить бизнес-процессы и реальную жизнь. Шаги…

  • Открытие OpenVLThinker-7B: Новый уровень визуального мышления для бизнеса

    Улучшение визуального мышления с OpenVLThinker-7B Понимание проблемы Модели, объединяющие обработку языка и интерпретацию изображений, испытывают трудности с многошаговым мышлением. Это создает проблемы в таких задачах, как понимание графиков и решение визуальных математических задач.…

  • Создание агента по анализу данных с использованием Gemini 2.0 и Google API

    Создание агента научных данных с интеграцией ИИ Введение Этот гид описывает, как создать агента научных данных, используя библиотеку Pandas на Python и возможности генеративного ИИ от Google. Следуя этому руководству, бизнес сможет использовать…

  • TxGemma: Революция в разработке лекарств с помощью ИИ от Google

    Введение в TxGemma Разработка лекарств – это сложный и дорогостоящий процесс. TxGemma от Google AI предлагает инновационные решения для оптимизации этого процесса, что позволяет сэкономить время и ресурсы. Решение TxGemma TxGemma использует большие…

  • Открытый Глубокий Поиск: Демократизация ИИ-поиска с помощью открытых агентов рассуждения

    Практические бизнес-решения на основе Open Deep Search (ODS) 1. Автоматизация процессов Определите области, где ИИ может автоматизировать рутинные задачи, что приведет к повышению эффективности и производительности. 2. Улучшение взаимодействия с клиентами Используйте ИИ…

  • Оценка глубины изображения с использованием Intel MiDaS на Google Colab

    Практические бизнес-решения с использованием оценки глубины через монохромное изображение Оценка глубины из одного RGB-изображения с помощью модели Intel MiDaS может значительно улучшить бизнес-процессы, такие как: Улучшение взаимодействия с клиентами через дополненную реальность. Оптимизация…

  • TokenBridge: Оптимизация токенов для улучшенной визуальной генерации

    TokenBridge: Оптимизация визуальной генерации с помощью ИИ Введение в модели визуальной генерации Модели визуальной генерации на основе автогрессии значительно продвинулись в синтезе изображений, благодаря их способности использовать механизмы предсказания токенов, вдохновленные языковыми моделями.…

  • Колмогоров-Тест: Новый Стандарт Оценки Моделей Генерации Кода

    П practical business solutions Чтобы использовать возможности ИИ в вашем бизнесе, рассмотрите следующие стратегии: 1. Определите возможности автоматизации Ищите повторяющиеся задачи или взаимодействия с клиентами, которые ИИ может оптимизировать. Это поможет сократить время…

  • CaMeL: Надежная защита больших языковых моделей от атак

    Улучшение безопасности с помощью CaMeL Введение в проблему Большие языковые модели (LLM) играют важную роль в современных технологиях, но сталкиваются с угрозами безопасности, такими как атаки через инъекции команд. Эти угрозы могут привести…

  • Преобразование бизнес-процессов с помощью AI: Фреймворк PLAN-AND-ACT

    Преобразование бизнес-процессов с помощью ИИ: Рамочная структура PLAN-AND-ACT Понимание проблем Компании сталкиваются с вызовами при использовании ИИ, такими как сложность выполнения задач и адаптация к динамичным условиям. Это требует перевода пользовательских инструкций в…

  • DeepSeek V3-0324: Революция в AI для бизнеса

    Введение Искусственный интеллект (ИИ) значительно развился, но многие компании сталкиваются с высокими затратами на вычисления и разработку больших языковых моделей (LLM). Решение этих проблем возможно благодаря новейшей модели DeepSeek-V3-0324. Решение DeepSeek-V3-0324 Модель DeepSeek-V3-0324…

  • Понимание и улучшение многоагентных систем в ИИ

    Понимание и улучшение многопользовательских систем Введение в многопользовательские системы Многопользовательские системы (MAS) включают сотрудничество нескольких агентов ИИ для выполнения сложных задач. Несмотря на их потенциал, эти системы часто работают хуже, чем одноагентные решения.…

  • Gemini 2.5 Pro: Революция в Искусственном Интеллекте

    Практические бизнес-решения Трансформация бизнес-процессов Компании могут использовать AI-модели, такие как Gemini 2.5 Pro, для повышения операционной эффективности. Вот несколько практических шагов: 1. Определите возможности автоматизации Изучите процессы, которые можно автоматизировать. Анализируйте взаимодействия с…

  • Современные решения для оценки позы человека в бизнесе

    Бизнес-решения: Продвинутая оценка позы человека Введение в оценку позы человека Оценка позы человека — это инновационная технология, которая преобразует визуальную информацию в практические данные о движении человека. Используя такие модели, как MediaPipe, компании…

  • RWKV-7: Эффективное Моделирование Последовательностей для Бизнеса

    Введение в RWKV-7 Модель RWKV-7 представляет собой значительное достижение в области моделирования последовательностей благодаря инновационной архитектуре рекуррентной нейронной сети (RNN). Это более эффективная альтернатива традиционным авторегрессионным трансформерам, особенно для задач, требующих обработки длинных…

  • Qwen2.5-VL-32B-Instruct: Прорыв в моделях визуального языка

    Практические бизнес-решения с использованием Qwen2.5-VL-32B-Instruct Модель Qwen2.5-VL-32B-Instruct предлагает множество возможностей для улучшения бизнес-процессов и реальной жизни. Вот несколько шагов для ее внедрения: 1. Определите возможности автоматизации Анализируйте текущие процессы, чтобы найти задачи, где…

  • Извлечение Структурированных Данных с Помощью ИИ

    Практические бизнес-решения на основе извлечения структурированных данных с помощью ИИ Введение Использование ИИ для извлечения структурированных данных может значительно улучшить бизнес-процессы и повысить эффективность работы. Данная инструкция поможет вам внедрить ИИ-технологии, такие как…

  • Космос-Reason1: Новые горизонты в физическом ИИ

    Введение в Cosmos-Reason1: Прорыв в физическом ИИ Недавние исследования ИИ от NVIDIA представляют Cosmos-Reason1 — мультимодальную модель, предназначенную для улучшения способности ИИ рассуждать в физических средах. Это достижение критически важно для таких приложений,…