Исследователи из Нью-Йоркского университета представили Symile: Общая основа для многомодального контрастивного обучения

Симиле: Новая эра контрастного обучения для многомодальных данных

Контрастное обучение стало важным инструментом для создания представлений из парных данных, таких как сочетания изображений и текста в ИИ. Оно помогает переносить полученные знания на последующие задачи, особенно в сложных областях, таких как робототехника и здравоохранение.

Проблемы существующих моделей

Существующие модели контрастного обучения, такие как CLIP, ограничены обработкой лишь двух модальностей, что снижает качество представлений в сложных сценариях. Это создает значительный информационный разрыв, когда необходимо анализировать несколько типов данных одновременно.

Решение от Нью-Йоркского университета

Исследователи из Нью-Йоркского университета представили Симиле — инновационную модель контрастного обучения, которая преодолевает эти ограничения. Она захватывает зависимости между несколькими модальностями без сложных настроек.

Преимущества Симиле

Симиле использует общую корреляцию, что позволяет обрабатывать любое количество модальностей. Это создает единое представление, не требуя сложных архитектурных изменений. Модель также сохраняет важную совместную информацию, что позволяет ей хорошо работать даже при отсутствии данных из нескольких модальностей.

Методология и результаты

Симиле применяет новый контрастный объект, который использует мультилинейный внутренний продукт для измерения сходства между несколькими типами данных. Это позволяет модели захватывать больше информации, чем просто парные данные. В тестах Симиле показала высокую точность, значительно превосходя традиционные модели.