Neural audio codecs: эффективное сжатие звука с помощью искусственного интеллекта
Нейронные аудио-кодеки изменили способ сжатия и обработки аудио, преобразуя непрерывные аудио-сигналы в дискретные токены. Эта техника использует генеративные модели, обученные на дискретных токенах, для создания сложного звука при сохранении отличного качества звука. Нейронные кодеки значительно улучшили сжатие аудио, что позволяет более эффективно хранить и передавать аудио-данные без ущерба для качества звука.
Проблема различия звуковых доменов
Однако многие модели нейронных аудио-кодеков, используемых в настоящее время, не были разработаны для различения между различными звуковыми доменами. Эти модели были обучены на больших и разнообразных аудио-наборах данных. Например, гармоники и структура речи сильно отличаются от музыки или фонового шума. Неспособность различать различные аудио-домены затрудняет эффективное моделирование данных и управление звуковым производством. Модели находят сложности в обработке отличительных особенностей различных форматов аудио, что может привести к менее чем идеальным результатам, особенно в приложениях, требующих точного контроля над звуковым производством.
Решение: Source-Disentangled Neural Audio Codec (SD-Codec)
Для преодоления этих проблем исследователи разработали SD-Codec – уникальную технику, объединяющую разделение источника и аудио-кодирование. Цель SD-Codec – усовершенствовать текущие нейронные кодеки, специфически идентифицируя и классифицируя аудио-сигналы по различным доменам. В отличие от других техник сжатия скрытого пространства, SD-Codec выделяет дискретные представления или различные кодовые книги для различных аудио-источников, включая музыку, звуковые эффекты и голос. Благодаря такому разделению модель лучше распознает и сохраняет характерные особенности каждой формы аудио.
Преимущества и применение SD-Codec
SD-Codec улучшает интерпретируемость скрытого пространства в нейронных аудио-кодеках, одновременно изучая, как разделять и пересоздавать аудио. Помимо помощи в сохранении аудио высокого качества, он предоставляет дополнительный контроль над процессом создания звука, упрощая различение между различными источниками. Благодаря способности SD-Codec разделять источники в скрытом пространстве, он может более точно манипулировать аудио-выходом, что очень полезно для приложений, требующих генерации или редактирования детального аудио.
Результаты и выводы
На основе экспериментальных результатов SD-Codec успешно разделяет различные аудио-источники и демонстрирует конкурентоспособное качество пересоздания аудио. Эта способность разделения обеспечивает лучшую интерпретируемость, что упрощает понимание и манипулирование сгенерированным звуком.