Ученые MIT, Google DeepMind и Оксфорда объяснили, почему модели для обработки текста и изображений не понимают отрицания, и предложили новое решение.

Модели “видение-язык” и понимание отрицания

Модели “видение-язык” (VLM) важны для задач, связанных с изображениями и текстом, такими как поиск изображений и медицинская диагностика. Однако они сталкиваются с проблемой понимания отрицания, что ограничивает их применение в критически важных областях, таких как безопасность и здравоохранение.

Проблема с пониманием отрицания

Текущие модели, такие как CLIP, используют общие пространства для представления изображений и текста. Но они плохо справляются с отрицательными утверждениями, так как в обучающих данных преобладают утвердительные примеры. Это приводит к тому, что модели не различают отрицательные и утвердительные утверждения.

Решение: фреймворк NegBench

Исследователи из MIT, Google DeepMind и Оксфорда разработали фреймворк NegBench для улучшения понимания отрицания в VLM. Он включает две основные задачи:

Поиск с отрицанием (Retrieval-Neg) – модель должна находить изображения по утвердительным и отрицательным запросам.
Вопросы с выбором (MCQ-Neg) – модель должна выбирать правильные подписи из схожих вариантов.

Фреймворк использует большие синтетические наборы данных для обучения, что позволяет моделям лучше справляться с разными примерами отрицания.

Улучшение работы моделей

Модели, дообученные на данных с отрицанием, показали значительные улучшения. Например, точность для запросов с отрицанием увеличилась на 10%, а для задач с выбором – на 40%. Это позволяет моделям лучше различать утвердительные и отрицательные подписи.