WildGuard: Инструмент модерации мультицелевого использования для оценки безопасности взаимодействия пользователя с LLM
Обеспечение безопасности и модерации взаимодействия пользователя с современными языковыми моделями (LLM) представляет собой важное вызов в области искусственного интеллекта. Несоблюдение соответствующих мер безопасности может привести к созданию вредного контента, подверженности злоумышленным действиям (взломам) и недостаточному отклонению неприемлемых запросов. Эффективные инструменты модерации необходимы для выявления злонамеренных намерений, выявления рисков безопасности и оценки уровня отказов моделей, обеспечивая тем самым доверие и применимость в чувствительных областях, таких как здравоохранение, финансы и социальные медиа.
Ограничения существующих методов модерации взаимодействия с LLM
Существующие методы модерации взаимодействия с LLM включают инструменты, такие как Llama-Guard и различные другие модели открытого исходного кода. Однако у них есть несколько ограничений: они затрудняют эффективное обнаружение злоумышленных взломов, менее эффективны в обнаружении отказов и часто полагаются на дорогостоящие и нестатические решения на основе API, такие как GPT-4. Эти методы также лишены комплексных наборов данных для обучения, охватывающих широкий спектр категорий рисков, что ограничивает их применимость и производительность в реальных сценариях, где злоумышленные и добросовестные запросы являются обычными.
Новый подход: WILDGUARD
Команда исследователей из Allen Institute for AI, University of Washington и Seoul National University предлагает WILDGUARD, новый легкий инструмент модерации, разработанный для преодоления ограничений существующих методов. WILDGUARD выделяется тем, что предоставляет комплексное решение для выявления злонамеренных запросов, обнаружения рисков безопасности и оценки уровня отказов моделей. Инновация заключается в создании WILDGUARDMIX, крупного сбалансированного набора данных для мультизадачной модерации безопасности, включающего 92 000 размеченных примеров. Этот набор данных включает как прямые, так и злоумышленные запросы в паре с отказами и согласием, охватывая 13 категорий рисков. Подход WILDGUARD основан на мультизадачном обучении для улучшения его возможностей модерации, достигая передовой производительности в модерации безопасности открытого исходного кода.
Превосходство WILDGUARD
WILDGUARD демонстрирует превосходную производительность во всех задачах модерации, превосходя существующие инструменты открытого исходного кода и часто соответствуя или превосходя GPT-4 в различных бенчмарках. Ключевые метрики включают улучшение обнаружения отказов до 26,4% и идентификации вредности запросов до 3,9%. WILDGUARD достигает F1-оценки 94,7% в обнаружении вредности ответов и 92,8% в обнаружении отказов, значительно превосходя другие модели, такие как Llama-Guard2 и Aegis-Guard. Эти результаты подчеркивают эффективность и надежность WILDGUARD в обработке как злоумышленных, так и добросовестных сценариев запросов, утверждая его как надежный и высокоэффективный инструмент модерации безопасности.
Заключение
WILDGUARD представляет собой значительный прогресс в области модерации безопасности LLM, решая критические проблемы с помощью комплексного решения с открытым исходным кодом. Вклад включает в себя введение WILDGUARDMIX, надежного набора данных для обучения и оценки, а также разработку WILDGUARD, передового инструмента модерации. Эта работа имеет потенциал улучшить безопасность и надежность LLM, открывая путь для их более широкого применения в чувствительных и высокоставных областях.
