Insight-V: Укрепление многомодальных моделей с помощью масштабируемого долгосрочного рассуждения

Многомодальные большие языковые модели (MLLMs) способны на сложное рассуждение, которое объединяет текст и изображения. Это создает новые вызовы в области искусственного интеллекта.

Проблемы традиционных методов

Существующие методы улучшения способности рассуждения зависят от создания аннотированных наборов данных, что требует много ресурсов. Часто результаты рассуждений бывают фрагментированными или нелогичными. Это ограничивает применение ИИ в реальных задачах, таких как медицинская диагностика или автономные системы.

Решение Insight-V

Исследователи из NTU, Tencent, Tsinghua University и Nanjing University разработали Insight-V, который использует уникальное сочетание генерации данных и многоагентной архитектуры. Это позволяет создавать разнообразные и последовательные пути рассуждений.

Как работает Insight-V

Система включает два специализированных агента: агент рассуждения, который генерирует логические шаги, и агент резюме, который проверяет и уточняет эти шаги. Используя метод оптимизации предпочтений, система достигает уровня, близкого к человеческому суждению.

Преимущества Insight-V

Insight-V содержит более 200 тысяч образцов рассуждений и 1,2 миллиона примеров резюме. Это обеспечивает высокую точность и производительность в различных задачах, таких как анализ данных и математическое рассуждение.