Meta AI представила Apollo: новую семью мультимодальных моделей для понимания видео.

Введение в Apollo от Meta AI

Модели многомодального обучения (LMM) для видео все еще находятся на ранних стадиях развития, в отличие от текстовых и изображенческих задач. Видео сложны, поскольку они объединяют пространственные и временные измерения, что требует больших вычислительных ресурсов. Однако существующие методы часто используют адаптацию на основе изображений или однородное выборочное кадрирование, что неэффективно для захвата движения. Meta AI и Стэнфорд разработали Apollo — семейство моделей, специально предназначенных для видео, которые улучшают понимание видео и решают текущие проблемы.

Ключевые особенности Apollo

Apollo оптимизирован для обработки видео длительностью до одного часа и предлагает три размера моделей: 1.5B, 3B и 7B параметров. Это позволяет гибко адаптироваться к различным вычислительным ограничениям и потребностям.

Основные инновации:

Согласованность масштабирования: Дизайнерские решения для меньших моделей хорошо переносятся на большие, что уменьшает необходимость в обширных экспериментах.
Сэмплинг кадров в секунду: Более эффективная техника выборки видео, обеспечивающая лучшую временную согласованность.
Двойные визуальные энкодеры: Комбинация SigLIP для пространственного понимания и InternVideo2 для временного анализа.
ApolloBench: Курационная оценочная платформа для упрощения оценки и предоставления подробной информации о производительности моделей.

Преимущества Apollo

Модели Apollo предлагают множество преимуществ, таких как:

Сэмплинг кадров в секунду: Поддерживает стабильный временной поток для лучшего понимания движения.
Согласованность масштабирования: Снижение вычислительных затрат при сохранении высокой эффективности.
Двойные визуальные энкодеры: Более точное представление видео благодаря объединению двух энкодеров.
Ресемплинг токенов: Позволяет эффективно обрабатывать длинные видео без значительных затрат ресурсов.
Оптимизированное обучение: Процесс трехэтапного обучения для стабильного и эффективного освоения.
Поддержка многократных взаимодействий: Идеально подходит для систем видео-чата и анализа контента.

Результаты производительности

Модели Apollo демонстрируют отличные результаты на нескольких бенчмарках, превосходя более крупные модели:

Apollo-1.5B: Превосходит модели Phi-3.5-Vision и LongVA.
Apollo-3B: Конкурирует и превосходит многие 7B модели.
Apollo-7B: Достигает результатов, сравнимых с моделями свыше 30B параметров.

Заключение

Apollo представляет собой значительный шаг вперед в разработке моделей LMM для видео. Он предлагает практичные и мощные решения для понимания видео-контента. Его способность превосходить более крупные модели подчеркивает важность тщательного проектирования и стратегий обучения.