«`html
ChartGemma: Мульти몴одель, настроенная на инструкции, созданные непосредственно на основе разнообразных изображений реальных графиков
Графики являются важным инструментом в различных областях, но текущие модели для их понимания имеют ограничения. Они часто полагаются на таблицы данных, а не на визуальные шаблоны, и используют слабо согласованные модели визуализации и языка, что ограничивает их эффективность при работе с сложными графиками. Хотя языковые модели, дополненные визуальным восприятием, хорошо справляются с общими задачами, им требуется помощь в анализе специализированных графиков. Исследователи пытались настраивать эти модели для лучшего понимания графиков, но проблемы с качеством данных и согласованием моделей по-прежнему существуют. Нам нужен простой, улучшенный подход для создания надежной модели основы для эффективного понимания и рассуждения о графиках в разнообразных реальных сценариях.
Практические решения и ценность
Исследователи из Университета Йорка, MILA – Институт искусственного интеллекта Квебека, Исследовательской группы Salesforce и Университета Наньянг разработали ChartGemma, продвинутую модель понимания и рассуждения о графиках. В отличие от существующих моделей, ChartGemma обучается на данных, сгенерированных непосредственно из изображений графиков, захватывая детальную визуальную информацию. Построенная на основе бэкбона PaliGemma, она является более компактной и эффективной по сравнению с другими моделями. ChartGemma достигает передовых результатов в суммировании графиков, ответах на вопросы и проверке фактов по пяти бенчмаркам. Качественные исследования показывают, что она генерирует реалистичные и точные сводки, что делает ее высокоэффективной для анализа реальных графиков.
Обучение представления графиков эволюционировало от моделей, настраиваемых на язык или визуально-языковые основы, к предварительно обученным моделям с конкретными целями для графиков. Настройка инструкций предварительно обученных визуально-языковых моделей (VLM) исследовалась для улучшения применимости графиков, но эти методы полагаются на базовые таблицы данных и слабо согласованные VLM. Бенчмарки для моделирования графиков варьируются от ответов на вопросы до задач, таких как генерация объяснений и суммирование. Настройка инструкций обобщила языковые модели по функциям и теперь является стандартной для мультимодальных VLM. Однако доменно-специфическая настройка инструкций для графиков с использованием таблиц данных не улавливает сложность реальных графиков, что ограничивает эффективность модели.
ChartGemma использует архитектуру PaliGemma, включающую в себя визионный энкодер SigLIP и языковую модель Gemma-2B. Визионный энкодер обрабатывает изображения размером 448×448 пикселей, преобразуя их в визуальные токены, отображаемые в пространство встраивания языковой модели. Затем эти токены комбинируются с встраиваниями текста и обрабатываются моделью Gemma-2B, которая использует полное внимание для входных токенов и причинное маскирование для выходных токенов для улучшения контекстного понимания. В отличие от существующих мультимодальных моделей графиков, требующих двухэтапного подхода к обучению, ChartGemma использует одноэтапный метод, непосредственно настраивая данные для настройки инструкций. Это облегчается предварительным обучением PaliGemma на разнообразных парах изображений и текста, что позволяет лучше адаптироваться и обобщаться.
ChartGemma сравнивается с различными открытыми моделями для работы с графиками, VLM, настраиваемыми на данные графиков, и передовыми мультимодальными LLM. Она оценивается по пяти бенчмаркам, оценивающим представление и рассуждение о графиках: ChartQA, ChartFC, ChartCheck, OpenCQA и Chart2Text, а также по ручно составленному набору из 100 невидимых графиков. Метрики производительности включают расслабленную точность, точность и информативность, оцененную GPT-4, и фактическую правильность. ChartGemma превосходит другие модели в большинстве задач, демонстрируя превосходное обобщение, особенно в понимании реалистичных инструкций и сложных графиков, несмотря на ее относительно небольшой размер.
ChartGemma, мультимодель, настроенная на инструкции, созданные на основе разнообразных изображений реальных графиков с использованием продвинутой архитектуры бэкбона, решает ключевые недостатки текущих моделей. В отличие от существующих методов, генерирующих данные настройки инструкций из базовых таблиц и использующих слабо согласованные бэкбоны, ChartGemma использует фактические изображения графиков, улучшая адаптируемость и обобщаемость. Этот подход значительно улучшает производительность, производя более реалистичные, информативные и фактически правильные результаты с меньшим количеством параметров. Будущая работа включает создание более разнообразного набора данных для настройки по инструкциям и предложение обобщенного бенчмарка для оценки сложных визуальных элементов в графиках с соответствующими метриками.
Посмотрите статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в SubReddit ML с более чем 46 тысячами подписчиков.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram
Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru
«`
