«`html
Исследование устойчивости: большие ядерные сверточные нейронные сети в сравнении с сверточными нейронными сетями CNN и трансформерами видения ViT
Для успешного внедрения моделей глубокого обучения в реальные приложения необходима их устойчивость. Модели видео-трансформеров (ViTs) показали сильную устойчивость и выдающуюся производительность в различных задачах обработки изображений с момента своего появления в 2020 году, превосходя традиционные сверточные нейронные сети (CNN). Недавние достижения в области крупных ядерных сверток возродили интерес к сверточным нейронным сетям, показывая, что они могут соответствовать или превзойти производительность моделей ViT. Тем не менее, устойчивость крупных ядерных сетей до сих пор не была определена. Данное исследование исследует, являются ли крупные ядерные сети устойчивыми по своей природе, как их устойчивость сравнивается с CNN и ViT, и какие факторы способствуют их устойчивости.
Оценка устойчивости крупных ядерных сверточных сетей
Исследователи из Университета Шанхайского Жао Тун, Meituan и нескольких китайских университетов всесторонне оценили устойчивость крупных ядерных сверточных сетей (convents) по сравнению с традиционными CNN и ViTs на шести комплексных наборах данных. Их эксперименты показали, что крупные ядерные сети проявляют замечательную устойчивость, иногда даже превосходя ViTs. Через серию из девяти экспериментов они выявили уникальные свойства, такие как инвариантность к заслонке, внимание к ядру и частотные характеристики, которые способствуют этой устойчивости. Это исследование бросает вызов распространенному мнению о том, что самовнимание необходимо для достижения сильной устойчивости, указывая на то, что традиционные CNN могут достичь сопоставимого уровня устойчивости и призывают к дальнейшему развитию крупных ядерных сетей.
Крупные ядерные сверточные сети имеют давние корни в моделях глубокого обучения, но они были затмены малыми ядрами, такими как VGG-Net и ResNet. Недавно модели, такие как ConvNeXt и RepLKNet, возродили интерес к крупным ядрам, улучшая производительность, особенно в последующих задачах. Тем не менее, их устойчивость до сих пор нуждается в изучении. Исследование закрывает этот пробел, оценивая устойчивость крупных ядерных сетей через различные эксперименты. ViTs известны своей сильной устойчивостью в задачах обработки изображений. Предыдущие исследования показали, что ViTs превосходят CNN в устойчивости, вдохновляя дальнейшие исследования. Это исследование сравнивает устойчивость крупных ядерных сетей с ViTs и CNN, предоставляя новые идеи.
Исследование исследует, насколько крупные ядерные сети устойчивы и как их устойчивость сравнивается с традиционными CNN и ViTs. С использованием модели RepLKNet в качестве основной модели были проведены эксперименты на шести бенчмарках устойчивости. Модели, такие как ResNet-50, BiT и ViT, использовались для сравнения. Результаты показывают, что RepLKNet превосходит традиционные CNN и ViTs в различных тестах на устойчивость, включая естественные адверсивные вызовы, общие искажения и адаптацию к домену. RepLKNet демонстрирует превосходную устойчивость, особенно в сценариях заслонки и зависимости от фона, выделяя потенциал крупных ядерных сверточных сетей в задачах устойчивого обучения.
Крупные ядерные сверточные нейронные сети проявляют устойчивую производительность благодаря своей инвариантности к заслонке и вниманию к ядру. Эксперименты показывают, что эти сети лучше справляются с высокой заслонкой, адверсивными атаками, модельными возмущениями и частотными шумами, чем традиционные модели, такие как ResNet и ViT. Они поддерживают производительность даже при удалении слоев или подвержении шуму на основе частот. Устойчивость в значительной степени обусловлена большим размером ядра, поскольку замена больших ядер на меньшие значительно ухудшает производительность. Эта устойчивость улучшается с увеличением размера ядра, что показывает последовательное улучшение в различных бенчмарках и подтверждает важность больших ядер в конструкции сверточных сетей.
Хотя наша эмпирический анализ настойчиво поддерживает устойчивость крупных ядерных сверточных сетей, исследование признает необходимость более прямых теоретических доказательств, учитывая сложную природу глубокого обучения. Более того, вычислительные ограничения ограничили нашу возможность проводить эксперименты с ядрами на ImageNet-21K, сосредотачиваясь вместо этого на ImageNet-1K. Тем не менее, наши исследования подтверждают значительную устойчивость крупных ядерных сверточных сетей на шести стандартных наборах данных, сопровождаемую тщательным количественным и качественным анализом. Эти идеи проливают свет на факторы, лежащие в основе их устойчивости, указывая на перспективы для развития и применения крупных ядерных сверточных сетей в будущих исследованиях и практическом использовании.
Посмотрите статью и Github. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему субреддиту по машинному обучению с более чем 46 тысячами подписчиков.
Пост Исследование устойчивости: большие ядерные сверточные нейронные сети в сравнении с сверточными нейронными сетями CNN и трансформерами видения ViT впервые появился на MarkTechPost.
Использование искусственного интеллекта для развития бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, обратите внимание на решения, предложенные нами.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определите, какие ключевые показатели эффективности (KPI) вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На основе полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на нашем Telegram-канале.
Попробуйте наш ИИ ассистент в продажах. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru
«`
