LongVA и влияние долгосрочной передачи контекста в визуальной обработке: улучшение больших мультимодальных моделей для длинных видеопоследовательностей

Исследование сфокусировано на улучшении больших мультимодальных моделей (LMMs) для обработки и понимания чрезвычайно длинных видеопоследовательностей. Видеопоследовательности предоставляют ценную временную информацию, но текущим LMMs требуется помощь для понимания их. Это вызвано огромным количеством визуальных токенов, генерируемых визионными кодировщиками, что затрудняет их эффективную обработку.

Практические решения и ценность:

Для решения этой проблемы был предложен инновационный подход под названием Long Context Transfer, который расширяет длину контекста языковой модели, позволяя ей обрабатывать значительно большее количество визуальных токенов. Этот метод не требует дополнительного обучения на видео, а использует расширенную длину контекста языковой модели для понимания порядков большего количества визуальных токенов.

Предложенная модель Long Video Assistant (LongVA) расширяет длину контекста языковой модели, обучая ее на более длинных текстовых данных, и выравнивает ее с визуальными входами, что позволяет модели эффективно обрабатывать длинные видеопоследовательности без дополнительной сложности. Схема кодирования UniRes играет ключевую роль в этом процессе, улучшая способность модели обрабатывать длинные видеопоследовательности.

Произведенные эксперименты показали, что LongVA может эффективно обрабатывать и понимать длинные видеопоследовательности, достигая передовых результатов среди моделей масштаба 7B. Модель обучалась на длине контекста 224K токенов, эквивалентной 1555 кадрам, и успешно обобщается до 3000 кадров, подтверждая эффективность явления долгосрочной передачи контекста.

Это исследование адресует критическую проблему обработки и понимания длинных видеопоследовательностей в больших мультимодальных моделях, и демонстрирует потенциал долгосрочной передачи контекста для улучшения их возможностей в этой области.

Если вы хотите узнать больше о нашей работе, пожалуйста, посетите наш сайт.

Обращайтесь к нам, если вам нужна помощь во внедрении ИИ в ваш бизнес. Мы рады помочь вам в освоении новых технологий.