Google AI представил ZeroBAS: нейросеть для синтеза бинаурального звука из монофонических записей без обучения на бинауральных данных.

Искусственный интеллект и пространственное слышание

Люди умеют локализовать источники звука и интерпретировать окружающую среду благодаря слуховым сигналам. Это называется пространственным слышанием. Эта способность помогает распознавать говорящих в шумных помещениях и ориентироваться в сложных условиях.

Проблема перехода к стереозвуку

Создание стереозвука из монофонического звучания – это сложная задача. Традиционные методы часто используют цифровую обработку сигналов, но они не учитывают некоторые нелинейные эффекты звука в реальном мире.

Решение ZeroBAS от Google

Исследователи из Google разработали метод ZeroBAS, который позволяет создавать стереозвук без необходимости в специальных данных. Этот подход использует геометрическую временную деформацию и масштабирование амплитуды для улучшения качества звука.

Как работает ZeroBAS?

Этап 1: Геометрическая временная деформация преобразует монофонический звук в два канала (левый и правый), моделируя разницу во времени между ушами.
Этап 2: Масштабирование амплитуды усиливает пространственное восприятие, учитывая уровень звука в зависимости от расстояния.
Этап 3: Итеративная доработка сигналов с использованием предварительно обученного воксодера улучшает качество звука.

Результаты и преимущества

ZeroBAS продемонстрировала отличные результаты на различных наборах данных, превосходя традиционные методы. Она обеспечивает качество, сопоставимое с контролируемыми методами, но без необходимости в тренировочных данных.

Заключение

ZeroBAS – это многообещающее решение для синтеза стереозвука, которое может быть применено в дополненной и виртуальной реальности, а также в системах объемного звучания.