LowFormer: Эффективная модель для компьютерного зрения, оптимизирующая пропускную способность и задержку для мобильных и периферийных устройств без потери точности
В компьютерном зрении архитектуры базовых моделей играют решающую роль в задачах распознавания изображений, обнаружения объектов и семантической сегментации. Они извлекают локальные и глобальные особенности изображений, что позволяет машинам понимать сложные образцы. Традиционно сверточные слои были основным компонентом этих моделей, но недавние достижения включают механизмы внимания, улучшающие способность модели улавливать как локальные детали, так и глобальный контекст. Свертки фокусируются на региональной информации, а механизмы внимания позволяют широкому пониманию изображения, что приводит к более точным прогнозам.
В моделях компьютерного зрения улучшение вычислительной эффективности при сохранении или улучшении точности остается актуальной проблемой. Многие модели используют операции умножения-накопления для измерения эффективности. Однако этот подход не учитывает критические факторы, такие как расходы на доступ к памяти и степень параллелизма, которые значительно влияют на реальную производительность модели. Для решения этой проблемы современные модели должны учитывать фактическое время выполнения и пропускную способность, а не только теоретические метрики эффективности, такие как операции умножения-накопления.
В связи с этим возникает необходимость в методах, которые позволят найти баланс между эффективностью и точностью. Появилось несколько методов, направленных на решение этой проблемы. Однако многие существующие модели сталкиваются с проблемами производительности из-за высоких расходов на доступ к памяти или неоптимального использования параллельных вычислений. Исследователи университета Удине, Италия, представили новую семейство эффективных базовых сетей под названием LowFormer, чтобы решить эти вызовы.
LowFormer демонстрирует значительные улучшения производительности по сравнению с существующими моделями. Например, вариант LowFormer-B0 достигает в 2 раза большей пропускной способности по сравнению с MobileOne-S2, одновременно снижая задержку на 15% на GPU. Модель LowFormer-B3, обладающая наибольшей сложностью, обеспечивает почти в 3 раза большую пропускную способность на GPU по сравнению с FAT-B3, снижая задержку на 55%. При этом модель сохраняет высокую точность, обладая топ-1 точностью 83,64% на ImageNet-1K, превосходя другие эффективные базовые модели.
LowFormer также обещает в приложениях краевых вычислений. Его аппаратная эффективность подтверждена на различных платформах, включая мобильные GPU и процессоры ARM. Например, LowFormer-B1 превосходит MobileOne-S4 на 0.5% по топ-1 точности, обеспечивая при этом на 32% меньшую задержку на мобильном GPU и на 59% меньшую задержку на процессоре ARM.
В заключение, LowFormer решает ключевую проблему оптимизации базовых моделей для эффективности аппаратного обеспечения без ущерба точности. Модель фокусируется на фактических метриках выполнения, таких как пропускная способность и задержка, а не только на теоретических метриках, что делает ее ценным инструментом для высокопроизводительных и ресурсоограниченных сред.
