Проблемы и решения в области мультимодальных крупных языковых моделей
Мультимодальные крупные языковые модели (MLLMs) продемонстрировали впечатляющие возможности в визуальном восприятии. Однако они сталкиваются с трудностями при выполнении задач точного восприятия, таких как обнаружение объектов, что критично для таких приложений, как автономное вождение и навигация роботов.
Основные вызовы
Современные модели не достигают высокой точности обнаружения. Например, система Qwen2-VL имеет низкий уровень полезного обнаружения — только 43,9% на наборе данных COCO. Это связано с конфликтами задач восприятия и понимания, а также с недостатком сбалансированных наборов данных.
Традиционные подходы
Традиционные методы интеграции восприятия в MLLMs часто сталкиваются с ошибками и неопределенностью в предсказаниях объектов. Использование слабо адаптированных архитектур приводит к неточностям в сложных изображениях.
Решение задачи
Исследователи из Международной академии цифровой экономики (IDEA) разработали ChatRex — продвинутую MLLM с декомпозированной архитектурой, обособляющей задачи восприятия и понимания. ChatRex использует стратегию обнаружения объектов, основанную на извлечении индексов ограничивающих рамок, что значительно повышает точность.
Ключевые характеристики ChatRex
- Универсальная предложенческая сеть (UPN): генерирует надежные предложения ограничивающих рамок на нескольких уровнях подробности.
- Двухкомпонентный визионный энкодер: объединяет высоко- и низкоразрешающие визуальные признаки для повышения точности.
- Новый набор данных Rexverse-2M: содержит более двух миллионов аннотированных изображений, обеспечивая сбалансированное обучение.
Результаты
ChatRex демонстрирует лучшие показатели точности, полноты и средней средней точности (mAP) по сравнению с конкурентами на наборах данных COCO и LVIS. Он способен точно связывать объекты с описательными выражениями и отлично справляется с генерацией информативных заголовков для изображений.
Заключение
ChatRex — это первая мультимодальная модель ИИ, которая решает конфликт между задачами восприятия и понимания. Ее инновационный дизайн и мощный набор данных задают новый стандарт для MLLMs, позволяя точно обнаруживать объекты и обеспечивать насыщенное понимание контекста. Эти возможности открывают новые применения в динамичных и сложных средах.
Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, изучите возможности ChatRex.
Практические шаги для внедрения ИИ:
- Проанализируйте, как ИИ может изменить вашу работу.
- Определите ключевые показатели эффективности (KPI).
- Выберите подходящее ИИ-решение.
- Начните с малого проекта и расширяйте автоматизацию на основе полученного опыта.
Если нужны советы по внедрению ИИ, свяжитесь с нами.
Изучите, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
