Китайские исследователи разработали новые методы сжатия и обучения для обработки длинных видео с меньшими затратами вычислений.

Современные решения для обработки длинных видео с помощью ИИ

Что такое HiCo и VideoChat-Flash?

Исследователи из Шэньчжэньского института передовых технологий разработали метод иерархической компрессии видео-токенов (HiCo) и систему моделирования контекста VideoChat-Flash. Эти решения предназначены для обработки длинных видео, таких как фильмы и документальные программы.

Преимущества HiCo

HiCo сокращает визуальные избыточности в видео, сжимая контексты от уровня клипа до уровня видео. Это позволяет уменьшить вычислительные затраты и сохранить важные данные. Метод работает на основе пространственно-временных избыточностей и связывает сжатые токены с запросами пользователей.

Что такое VideoChat-Flash?

VideoChat-Flash использует многоступенчатую схему обучения, начиная с коротких видео и постепенно переходя к длинным. Это позволяет улучшить восприятие визуальной информации и эффективно обрабатывать длинные видео. В системе используется обширный набор данных, включающий 300,000 часов видео с аннотациями.

Новая задача NIAH

Предложенная задача “Needle in a Haystack” (NIAH) требует от модели находить последовательности связанных изображений в видео, что улучшает понимание контекста. Это позволяет модели более точно определять нужные элементы в длинных видео.

Результаты и достижения

Метод HiCo и система VideoChat-Flash продемонстрировали значительное снижение вычислительных затрат и высокую точность на различных тестах. Модель достигла точности 99.1% на более чем 10,000 кадрах в задаче NIAH.

Как использовать ИИ в вашем бизнесе?

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, рассмотрите следующие шаги:

Проанализируйте, как ИИ может изменить вашу работу.
Определите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
Выберите подходящее решение ИИ и внедряйте его постепенно.
Начните с малого проекта, анализируйте результаты и расширяйте автоматизацию на основе полученных данных.