Microsoft Research представила Reducio-DiT: улучшение эффективности генерации видео с помощью передового сжатия

Недавние достижения в генерации видео

Совсем недавно были сделаны значительные шаги вперед в моделях генерации видео, которые позволяют создавать высококачественные, реалистичные видеоклипы. Однако, существующие модели сталкиваются с проблемами масштабирования для реальных приложений из-за высоких вычислительных требований. Коммерческие модели, такие как Sora и Runway Gen-3, требуют огромных ресурсов, что делает их использование дорогим и неэффективным для многих.

Reducerio-DiT: Новое решение

Исследователи Microsoft представили Reducio-DiT — новый подход, который решает эти проблемы. Эта технология основана на вариационном автоэнкодере, который значительно сжимает пространство представления видео. Идея в том, что видео содержит больше избыточной информации по сравнению со статическими изображениями, что позволяет достичь 64-кратного уменьшения размера представления без потери качества.

Технический подход

Reducerio-DiT выделяется благодаря двухступенчатому процессу генерации. Сначала создается контентное изображение, а затем на его основе формируются кадры видео. Эта методика позволяет эффективно обрабатывать информацию о движении и статическом фоне, значительно уменьшая вычислительные затраты. Reducio-VAE использует 3D-свёртки для достижения значительного сжатия, что позволяет создать 4096-кратное уменьшенное представление исходных видео.

Преимущества

Reducerio-DiT предлагает экономически эффективное решение для индустрии, где высокие вычислительные требования сдерживают развитие. Модель продемонстрировала ускорение в 16,6 раз по сравнению с существующими методами и обеспечила высокое качество видео. Компактное представление не только ускоряет процесс генерации видео, но и снижает требования к оборудованию, что делает его доступным для использования в условиях ограниченных ресурсов.

Заключение

Reducerio-DiT от Microsoft — это важный шаг вперед в эффективности генерации видео, сочетая высокое качество и низкие вычислительные затраты. Способность генерировать видеоклипы 1024×1024 за 15,5 секунд открывает новые возможности для применения технологий генерации видео в таких областях, как создание контента, реклама и интерактивные развлечения.

Как ИИ может изменить ваш бизнес

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), важно:

Проанализировать, как ИИ может трансформировать вашу работу.
Определить, где можно внедрить автоматизацию.
Установить ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ.
Выбрать подходящее решение ИИ, начиная с малого проекта и постепенно расширяя автоматизацию на основе анализа результатов.