Новый метод атаки MALT (Mesoscopic Almost Linearity Targeting) в области искусственного интеллекта

Атаки-адверсарии – это попытки обмануть модель машинного обучения, заставив ее сделать неправильное предсказание. Они работают путем создания слегка измененных версий реальных данных (например, изображений), которые человек не заметил бы как различия, но вызывают ошибочную классификацию модели. Нейронные сети известны своей уязвимостью к атакам-адверсарам, что вызывает опасения относительно надежности и безопасности систем машинного обучения в критических приложениях, таких как классификация изображений. Например, системы распознавания лиц, используемые для целей безопасности, могут быть обмануты атаками-адверсарами, позволяя несанкционированный доступ.

Решение проблемы атак-адверсаров

Исследователи из Института науки Вейцмана, Израиль, и Центра науки о данных Нью-Йоркского университета представили MALT (Mesoscopic Almost Linearity Targeting) для решения проблемы атак-адверсаров на нейронные сети, которые используют уязвимости в моделях машинного обучения. MALT – это новый метод атак-адверсаров, вдохновленный гипотезой о том, что нейронные сети проявляют почти линейное поведение на мезоскопическом уровне. В отличие от традиционных методов, которые полагаются исключительно на уверенность модели, MALT переупорядочивает потенциальные целевые классы на основе нормализованных градиентов, стремясь идентифицировать классы с минимальными модификациями, необходимыми для неправильной классификации.

MALT использует принцип “мезоскопической почти линейности” для эффективной генерации атак-адверсаров для моделей машинного обучения. Этот принцип предполагает, что для небольших изменений во входных данных поведение модели можно приблизить к линейному. MALT использует техники оценки градиента, чтобы понять, как небольшие изменения во входных данных повлияют на выход модели. Это помогает определить, какие пиксели или характеристики изображения изменить, чтобы достичь желаемой неправильной классификации. Кроме того, MALT использует итерационный процесс оптимизации, начиная с начальной модификации входных данных, а затем уточняя эти изменения на основе информации о градиенте. Этот процесс продолжается до тех пор, пока модель уверенно классифицирует данные как целевой класс.

Преимущества MALT

В заключение, исследование представляет значительное совершенствование методов атак-адверсаров путем введения более эффективной стратегии целевого нападения. MALT сосредотачивается на небольших локальных модификациях данных, что уменьшает сложность процесса оптимизации по сравнению с методами, исследующими более широкий спектр изменений. MALT демонстрирует значительные преимущества по сравнению с существующими методами атак-адверсаров, особенно с точки зрения скорости и эффективности.

Если вы заинтересованы в партнерском сотрудничестве (контент/реклама/новостная рассылка), заполните эту форму.

Попробуйте ИИ ассистент в продажах здесь. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.