«`html
Решение задачи Multi-Image Visual Question Answering (MIQA) с помощью MIRAGE
Одной из основных проблем в области визуального ответа на вопросы (VQA) является задача Multi-Image Visual Question Answering (MIQA). Это включает в себя генерацию соответствующих и обоснованных ответов на естественно-языковые запросы на основе большого набора изображений. Существующие модели Large Multimodal Models (LMMs) отлично справляются с ответами на вопросы по одному изображению, но сталкиваются с серьезными трудностями, когда запросы охватывают обширные коллекции изображений.
Проблемы существующих методов
Текущие методы для визуального ответа на вопросы в основном сосредоточены на анализе одного изображения, что ограничивает их применимость для более сложных запросов, включающих большие наборы изображений. Модели, такие как Gemini 1.5-pro и GPT-4V, могут обрабатывать несколько изображений, но сталкиваются с значительными трудностями в эффективном извлечении и интеграции соответствующих изображений из больших наборов данных.
Решение: MIRAGE
Для преодоления этих ограничений исследователи из Университета Калифорнии предлагают MIRAGE (Multi-Image Retrieval Augmented Generation) — новую концепцию, разработанную специально для MIQA. MIRAGE расширяет модель LLaVA за счет интеграции нескольких инновационных компонентов: сжатого кодера изображений, фильтра релевантности на основе запросов и улучшенного обучения на синтетических и реальных данных MIQA.
Эти инновации позволяют MIRAGE эффективно обрабатывать большие контексты изображений и улучшать точность в решении задач MIQA. Этот подход представляет собой значительный вклад в область, предлагая улучшение точности до 11% по сравнению с закрытыми моделями, такими как GPT-4o, и демонстрируя увеличение эффективности до 3,4 раза по сравнению с традиционными текстово-ориентированными многоэтапными подходами.
Преимущества MIRAGE
MIRAGE использует механизм сжатого кодирования изображений с использованием Q-former для уменьшения интенсивности токенов на изображение с 576 до 32 токенов. Фильтр релевантности на основе запросов предсказывает релевантность изображений для запроса, что затем используется для выбора соответствующих изображений для детального анализа. Процесс обучения включает как существующие наборы данных MIQA, так и синтетические данные, производные от наборов данных для ответов на вопросы по одному изображению, что повышает устойчивость и производительность модели в различных сценариях MIQA.
Результаты оценки показывают, что MIRAGE значительно превосходит существующие модели на тестовом наборе данных Visual Haystacks, превосходя закрытые модели, такие как GPT-4o, до 11% по точности для вопросов по одному изображению и демонстрируя заметное увеличение эффективности. MIRAGE сохраняет более высокие уровни производительности с увеличением размера наборов изображений, показывая свою устойчивость в обработке обширных визуальных контекстов.
В заключение, исследователи представляют значительное совершенствование в области MIQA с помощью фреймворка MIRAGE. Критическая проблема эффективного извлечения и интеграции соответствующих изображений из больших наборов данных для ответа на сложные визуальные запросы решена. Инновационные компоненты MIRAGE и устойчивые методы обучения приводят к превосходной производительности и эффективности по сравнению с существующими моделями, открывая путь для более эффективного применения ИИ в реальных сценариях, связанных с обширными визуальными данными.
«`
