Динамическое сжатие токенов для эффективных видео-языковых моделей

Динамическое сжатие токенов для эффективного анализа видео

Модели большого языка для видео (VLLMs) стали мощными инструментами для анализа видео. Они успешно обрабатывают визуальные и текстовые данные, что позволяет им отвечать на сложные вопросы и создавать описания видео. Эти модели могут обрабатывать большие объемы информации и предоставлять детализированные результаты.

Проблемы обработки видео

Основная проблема VLLMs заключается в высоких вычислительных затратах на обработку видео. Видеофайлы содержат много избыточной информации, что приводит к значительному расходу памяти и замедлению работы. Решение этой проблемы критически важно для повышения эффективности моделей.

Инновация DyCoke

Исследователи разработали метод DyCoke, который динамически сжимает токены в больших языковых моделях для видео. Этот метод не требует дополнительного обучения и эффективно устраняет временные и пространственные избыточности в видео.

Процесс сжатия токенов

DyCoke использует двухступенчатый процесс для сжатия токенов:

Слияние временных токенов: Устранение повторяющихся токенов в смежных кадрах видео.
Динамическое обрезание: Оценка токенов на основе их значимости и сохранение только самых важных.

Результаты DyCoke

Метод DyCoke продемонстрировал отличные результаты: увеличение скорости обработки до 1.5 раз и снижение использования памяти на 1.4 раза по сравнению с базовыми моделями. Он также сократил количество сохраняемых токенов до 14.25% с минимальной потерей производительности.

Преимущества DyCoke

DyCoke не только ускоряет обработку, но и упрощает задачи анализа видео. Он доступен для широкого спектра моделей и может быть легко внедрен без дополнительного обучения.