Как Vision Transformers понимают отношения объектов: двухступенчатый подход к визуальному рассуждению

Проблемы Vision Transformers и их решения

Несмотря на успех Vision Transformers (ViTs) в задачах классификации и генерации изображений, они сталкиваются с трудностями в решении абстрактных задач, связанных с отношениями между объектами. Основная проблема заключается в их неспособности точно выполнять визуальные реляционные задачи, такие как определение, одинаковы ли два объекта или различны.

Исследование ViTs

Команда исследователей из Брауновского университета, Нью-Йоркского университета и Стэнфорда изучает, как ViTs обрабатывают и представляют визуальные отношения. Они провели исследование, сосредоточившись на задаче определения идентичности двух визуальных объектов. Обучая ViTs на задачах “одинаковые-различные”, они заметили, что модели проходят два этапа обработки.

Этапы обработки

Первый этап — это извлечение локальных признаков объектов и их хранение в раздельном представлении, называемом перцептивным этапом. Второй этап — это реляционный этап, где эти представления объектов сравниваются для определения их свойств.

Практическое значение

Эти результаты показывают, что ViTs могут учиться представлять абстрактные отношения, что открывает возможности для более универсальных и гибких ИИ-моделей. Однако недостатки на любом из этапов могут помешать модели научиться обобщать визуальные задачи.

Технические выводы

Исследование предоставляет понимание того, как ViTs обрабатывают визуальные отношения через двухступенчатый механизм. На перцептивном этапе модель выделяет признаки объектов, такие как цвет и форма. В экспериментах с задачами “одинаковые-различные” модели успешно разделяют атрибуты объектов, что облегчает выполнение реляционных операций на следующих этапах.

Заключение

Результаты исследования подчеркивают важность решения проблем как перцептивного, так и реляционного характера в ViTs, чтобы обеспечить их способность обобщать знания в новых контекстах. Это открывает путь для будущих исследований, направленных на улучшение реляционных возможностей ViTs.

Как ИИ может помочь вашей компании

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), рассмотрите следующие шаги:

Проанализируйте, как ИИ может изменить вашу работу и где возможно применение автоматизации.
Определите ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ.
Выберите подходящее ИИ-решение, учитывая множество доступных вариантов.
Внедряйте ИИ постепенно: начните с малого проекта, анализируйте результаты и KPI.
На основе полученных данных расширяйте автоматизацию.