Устранение векторной квантования: диффузионные авторегрессивные ИИ-модели для генерации изображений
Авторегрессионные модели генерации изображений традиционно основывались на векторно-квантованных представлениях, что вносило несколько значительных вызовов. Процесс векторной квантования требует больших вычислительных затрат и часто приводит к недостаточному качеству восстановления изображения. Эта зависимость ограничивает гибкость и эффективность моделей, затрудняя точное описание сложных распределений непрерывных данных изображений. Преодоление этих проблем критично для улучшения производительности и применимости авторегрессивных моделей в генерации изображений.
Практические решения и ценность
Исследователями из MIT CSAIL, Google DeepMind и Tsinghua University была разработана новая техника, которая устраняет необходимость в векторной квантовании. Этот метод использует процесс диффузии для моделирования вероятностного распределения по каждому токену в непрерывном пространстве значений. Применение функции потерь диффузии позволяет модели предсказывать токены без конвертации данных в дискретные токены, сохраняя тем самым целостность непрерывных данных. Эта инновационная стратегия решает недостатки существующих методов, улучшая качество генерации и эффективность авторегрессивных моделей. Основной вклад заключается в применении диффузионных моделей для предсказания токенов авторегрессивно в непрерывном пространстве, что значительно повышает гибкость и производительность моделей генерации изображений.
Новая техника использует процесс диффузии для предсказания непрерывно-значимых векторов для каждого токена. Начиная с шумной версии целевого токена, процесс итеративно улучшает его с помощью небольшой сети денойзинга, обусловленной предыдущими токенами. Эта сеть денойзинга, реализованная в виде многослойного перцептрона (MLP), обучается параллельно с авторегрессивной моделью через обратное распространение с использованием функции потерь диффузии. Метод был оценен на больших наборах данных, таких как ImageNet, демонстрируя свою эффективность в улучшении производительности авторегрессивных и маскированных авторегрессивных вариантов моделей.
Результаты показывают значительное улучшение качества генерации изображений, подтвержденное ключевыми показателями производительности, такими как Fréchet Inception Distance (FID) и Inception Score (IS). Модели с функцией потерь диффузии последовательно достигают более низкого FID и более высокого IS по сравнению с теми, использующими традиционную функцию потерь кросс-энтропии. В частности, маскированные авторегрессивные модели (MAR) с функцией потерь диффузии достигают FID 1.55 и IS 303.7, указывая на существенное улучшение по сравнению с предыдущими методами. Это улучшение наблюдается в различных вариантах моделей, подтверждая эффективность нового подхода в повышении качества и скорости генерации изображений, достигая скорости генерации менее 0.3 секунды на изображение.
В заключение, инновационная диффузионная техника предлагает прорывное решение для проблемы зависимости от векторной квантования в авторегрессивной генерации изображений. Путем введения метода моделирования непрерывно-значимых токенов исследователи значительно улучшают эффективность и качество авторегрессивных моделей. Эта новая стратегия имеет потенциал изменить генерацию изображений и другие непрерывно-значимые области, обеспечивая надежное решение для критической проблемы в исследованиях в области ИИ.
