Google DeepMind выпустил PaliGemma 2: новую серию открытых языковых моделей для обработки изображений.

Модели «Язык-Изображение» (VLM) и их вызовы

Модели VLM достигли значительного прогресса, но все еще сталкиваются с трудностями в обобщении на различных задачах. Они часто испытывают сложности с разнообразными типами входных данных, такими как изображения разных разрешений и текстовые подсказки, требующие тонкого понимания. Найти баланс между вычислительной эффективностью и масштабируемостью модели также непросто. Эти проблемы затрудняют практическое применение VLM для многих пользователей, особенно тех, кто нуждается в адаптивных решениях, которые хорошо работают в различных реальных приложениях, от распознавания документов до детального описания изображений.

Новая серия моделей PaliGemma 2 от Google DeepMind

Google DeepMind представила PaliGemma 2 — новую серию открытых моделей VLM с параметрами 3 миллиарда (3B), 10 миллиардов (10B) и 28 миллиардов (28B). Модели поддерживают разрешения 224×224, 448×448 и 896×896 пикселей. В этой серии есть девять предобученных моделей с различными комбинациями размеров и разрешений, что делает их универсальными для различных случаев использования. Две из этих моделей дополнительно настроены на наборе данных DOCCI, который содержит пары изображений и текстов, и поддерживают параметры 3B и 10B с разрешением 448×448 пикселей. Поскольку эти модели имеют открытые веса, их легко использовать как замену или обновление для оригинальной PaliGemma, предоставляя пользователям больше гибкости для переноса обучения и дообучения.

Технические детали

PaliGemma 2 строится на основе оригинальной модели PaliGemma, включая визуальный кодировщик SigLIP-So400m и языковые модели Gemma 2. Модели обучаются в три этапа, используя разные разрешения изображений (224px, 448px и 896px), что позволяет гибко настраивать их в зависимости от конкретных задач. PaliGemma 2 протестирована на более чем 30 задачах переноса, включая описание изображений, визуальные вопросы и ответы (VQA), видео задачи и задачи, связанные с оптическим распознаванием символов (OCR), такие как распознавание структуры таблиц и молекулярной структуры. Разные варианты PaliGemma 2 показывают отличные результаты в различных условиях, причем более крупные модели и более высокие разрешения, как правило, демонстрируют лучшие результаты.

Преимущества PaliGemma 2

Серия PaliGemma 2 примечательна по нескольким причинам. Во-первых, модели разных масштабов и разрешений позволяют исследователям и разработчикам адаптировать производительность в зависимости от их конкретных потребностей и доступных вычислительных ресурсов. Во-вторых, модели продемонстрировали высокую эффективность в решении сложных задач. Например, PaliGemma 2 достигла высоких результатов в тестах на обнаружение текста, распознавание музыкальных партитур и генерацию отчетов по рентгенографии.

Заключение

Выпуск PaliGemma 2 от Google представляет собой значительный шаг вперед в области моделей «Язык-Изображение». Предоставляя девять моделей в трех масштабах с открытыми весами, PaliGemma 2 охватывает широкий спектр приложений и потребностей пользователей, от сценариев с ограниченными ресурсами до высокопроизводительных исследовательских задач. Универсальность этих моделей и их способность обрабатывать разнообразные задачи переноса делают их ценными инструментами как для академических, так и для промышленных приложений.

Как внедрить ИИ в вашу компанию

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), грамотно используйте решения, такие как PaliGemma 2.

Проанализируйте, как ИИ может изменить вашу работу.
Определите, где возможно применение автоматизации.
Определитесь с ключевыми показателями эффективности (KPI), которые хотите улучшить с помощью ИИ.
Подберите подходящее решение из множества доступных вариантов ИИ.
Внедряйте ИИ постепенно: начните с малого проекта, анализируйте результаты и KPI.
На основе полученных данных и опыта расширяйте автоматизацию.