Pixel Transformer: Преодоление пространственного смещения в моделях зрения

Революция глубокого обучения в компьютерном зрении перешла от ручно созданных признаков к подходам, основанным на данных, подчеркивая потенциал уменьшения пространственных смещений. Этот сдвиг парадигмы направлен на создание более универсальных систем, которые отлично справляются с различными задачами зрения. Архитектура Transformer продемонстрировала эффективность в различных модальностях данных, но все еще сохраняет некоторые индуктивные смещения. Vision Transformer (ViT) уменьшает пространственную иерархию, но сохраняет эквивариантность трансляции и локальность через проекцию патчей и вложения позиций. Однако вызов заключается в устранении этих оставшихся индуктивных смещений для дальнейшего улучшения производительности и универсальности модели.

Преодоление пространственного смещения в моделях зрения

Предыдущие попытки решить вопрос локальности в архитектурах зрения были ограничены. Большинство современных архитектур зрения, включая те, которые направлены на упрощение индуктивных смещений, все еще сохраняют локальность в своем дизайне. Даже предшествующие глубокому обучению визуальные признаки, такие как SIFT и HOG, использовали локальные дескрипторы. Попытки устранить локальность в ConvNets, такие как замена пространственных сверточных фильтров на 1×1 фильтры, привели к снижению производительности. Другие подходы, такие как iGPT и Perceiver, исследовали обработку пикселей, но столкнулись с проблемами эффективности или не добились такой производительности, как у более простых методов.

Исследователи из FAIR, Meta AI и Университета Амстердама вызывают традиционное убеждение в том, что локальность является фундаментальным индуктивным смещением для задач зрения. Они утверждают, что обработка отдельных пикселей как токенов для Transformer и использование изучаемых вложений позиций приводит к лучшей производительности, чем у традиционных подходов, таких как ViT. Они называют этот подход “Pixel Transformer” (PiT) и демонстрируют его эффективность в различных задачах, включая надзорную классификацию, самообучение и генерацию изображений с моделями диффузии. Интересно, что PiT превосходит базовые модели, оснащенные локальными индуктивными смещениями. Однако исследователи признают, что, хотя локальность может быть необязательной, она все еще полезна для практических соображений, таких как вычислительная эффективность. Это исследование передает убедительное сообщение о том, что локальность не является неотъемлемым индуктивным смещением для проектирования моделей.

Подробнее ознакомьтесь с документом. Вся заслуга за это исследование принадлежит исследователям этого проекта.

Как внедрить ИИ в ваш бизнес

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Pixel Transformer: Challenging Locality Bias in Vision Models.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на Telegram.

Попробуйте ИИ ассистент в продажах здесь. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru