Оценка мультимодельных больших языковых моделей (MLLMs) в текстово-насыщенных сценариях
Оценка мультимодельных больших языковых моделей (MLLMs) в текстово-насыщенных сценариях критически важна, учитывая их возрастающую универсальность. Однако текущие бенчмарки в основном оценивают общее визуальное понимание, игнорируя тонкие вызовы текстово-насыщенного контента. MLLMs, такие как GPT-4V, Gemini-Pro-Vision и Claude-3-Opus, демонстрируют впечатляющие возможности, но не имеют комплексной оценки в текстово-насыщенных контекстах. Понимание текста внутри изображений требует интерпретации текстовых и визуальных подсказок, что до сих пор не было строго рассмотрено.
SEED-Bench-2-Plus: специализированный бенчмарк для оценки понимания MLLMs текстово-насыщенного визуального контента
SEED-Bench-2-Plus, разработанный исследователями из Tencent AI Lab, ARC Lab, Tencent PCG и Китайского университета Гонконга в Шэньчжэне, является специализированным бенчмарком для оценки понимания MLLMs текстово-насыщенного визуального контента. Он состоит из 2,3 тыс. тщательно разработанных множественного выбора вопросов, охватывающих три широких категории: диаграммы, карты и веб-страницы, охватывая разнообразные реальные сценарии. Человеческие аннотаторы обеспечивают точность, и оценка включает 34 ведущих MLLMs, таких как GPT-4V, Gemini-Pro-Vision и Claude-3-Opus.
Практические решения для оценки производительности MLLMs в понимании текстово-насыщенного визуального контента
SEED-Bench-2-Plus представляет собой комплексный бенчмарк, включающий 2 тыс. вопросов с множественным выбором по трем основным категориям: диаграммы, карты и веб-страницы. Каждая категория охватывает различные типы данных, всего 63. Набор данных тщательно подобран, включая диаграммы, карты и скриншоты веб-сайтов, богатые текстовой информацией. Путем использования GPT-4V вопросы генерируются и дополнительно уточняются человеческими аннотаторами. Оценка использует стратегию ранжирования ответов, оценивая производительность MLLMs на основе вероятности разработки правильного ответа для каждого выбора.
Выводы и практическая ценность
Оценка охватила 31 открытую модель MLLMs и три закрытые модели в различных категориях SEED-Bench-2-Plus. GPT-4V превзошел многие MLLMs, показав превосходную производительность в большинстве типов оценки. Однако большинство MLLMs испытывали трудности с текстово-насыщенными данными, достигнув средней точности менее 40%, что указывает на сложность понимания таких данных. Карты представляли существенные вызовы из-за их многомерной природы, в то время как производительность варьировалась в различных типах данных внутри категорий. Эти наблюдения подчеркивают необходимость дальнейших исследований для улучшения профессионализма MLLMs в текстово-насыщенных сценариях, обеспечивая их адаптивность к различным типам данных.
В заключение, SEED-Bench-2-Plus является комплексным бенчмарком для оценки MLLMs в текстово-насыщенных контекстах. Путем изучения 31 открытой модели и трех закрытых моделей MLLMs были получены ценные идеи, которые могут направить будущие исследования. Как дополнение к SEED-Bench-2, как набор данных, так и код оценки общедоступны, сопровождаемые лидербордом для содействия развитию в области понимания текстово-насыщенного визуального контента с использованием MLLMs.
SEED-Bench-2-Plus: экспертное решение для вашего бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте SEED-Bench-2-Plus: An Extensive Benchmark Specifically Designed for Evaluating Multimodal Large Language Models (MLLMs) in Text-Rich Scenarios.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram
Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/ Этот ИИ ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru
