Оценка Моделей Языка и Визуала (VLM)
Модели VLM становятся все более популярными для генерации ответов на запросы о визуальном контенте. Однако у них есть серьезная проблема — генерация правдоподобных, но неверных ответов, что называется «галлюцинациями». Это снижает доверие к системам, особенно в критически важных ситуациях.
Проблемы Оценки Ответов VLM
Оценка полезности и достоверности ответов, сгенерированных VLM, является сложной задачей. Это связано с тем, что необходимо не только понимать визуальный контент, но и проверять каждое утверждение. Традиционные методы оценки не справляются с этой задачей, так как ограничены простыми вопросами или не дают полного контекста для открытых ответов.
Решение от Salesforce AI Research
Исследователи из Salesforce AI Research предложили новую парадигму оценки VLM — Programmatic VLM Evaluation (PROVE). Это позволяет оценивать ответы VLM на открытые визуальные запросы. В PROVE используется высококачественное представление сцены и большая языковая модель (LLM) для генерации разнообразных пар вопросов и ответов, а также программ для проверки каждой пары.
Преимущества PROVE
- Создание набора данных из 10.5 тысяч сложных пар вопросов и ответов, основанных на визуальном контенте.
- Оценка включает измерение полезности и достоверности ответов с использованием единой схемы на основе сравнений сцен.
- Использование детализированных графов сцены и исполняемых программ для проверки правильности ответов VLM.
Результаты Оценки
Оценка показала, что современные VLM сталкиваются с трудностями в достижении хорошего баланса между полезностью и достоверностью. Некоторые модели продемонстрировали высокие показатели полезности, но не всегда достоверности. Исследование также показало, что увеличение размера модели улучшает полезность, но не всегда достоверность. Модели LLaVA-1.5 показали лучшие результаты по достоверности, что указывает на то, что более компактные модели могут быть точнее.
Значение Результатов
PROVE представляет собой важный шаг вперед в оценке полезности и достоверности ответов VLM. Это исследование подчеркивает необходимость создания VLM, которые генерируют как информативные, так и точные ответы, особенно с учетом растущего применения в реальном мире.
Как Использовать ИИ для Развития Бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта, рассмотрите следующие шаги:
- Анализируйте, как ИИ может изменить вашу работу.
- Определите, где можно применить автоматизацию.
- Установите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
- Подберите подходящее решение и внедряйте его постепенно.
- Расширяйте автоматизацию на основе полученных данных и опыта.
Если вам нужны советы по внедрению ИИ, свяжитесь с нами.
Попробуйте ИИ-ассистента в продажах, который помогает отвечать на вопросы клиентов и снижает нагрузку на команду.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
