Уязвимости в автоматических тестах LLM: необходимость усиления мер против мошенничества

Уязвимости автоматических бенчмарков LLM: необходимость в сильных античит-механизмах

Автоматические бенчмарки, такие как AlpacaEval 2.0, Arena-Hard-Auto и MTBench, становятся популярными для оценки языковых моделей (LLM) благодаря своей доступности и масштабируемости по сравнению с человеческой оценкой. Эти бенчмарки используют автоаннотаторы на основе LLM, которые хорошо соответствуют человеческим предпочтениям, обеспечивая своевременную оценку новых моделей.

Проблемы с манипуляцией

Однако высокие показатели выигрышей на этих бенчмарках могут быть манипулированы изменением длины или стиля вывода. Это вызывает опасения, что недобросовестные пользователи могут использовать эти бенчмарки для повышения рекламного эффекта и введения в заблуждение относительно реальной производительности моделей.

Оценка открытых текстов

Оценка генерации открытых текстов является сложной задачей, так как требуется один правильный вывод. Человеческая оценка надежна, но дорогостоящая и трудоемкая, поэтому LLM часто используются в качестве оценщиков для таких задач, как обратная связь по ИИ, резюмирование и обнаружение галлюцинаций.

Атаки на оценки LLM

Недавние бенчмарки, такие как G-eval и AlpacaEval, используют LLM для эффективной оценки производительности модели. Тем не менее, возникают адверсариальные атаки на оценки, позволяющие манипулировать результатами с помощью нерелевантных подсказок или оптимизированных последовательностей. Несмотря на наличие защитных механизмов, таких как переписывание подсказок, недобросовестные пользователи продолжают находить способы использовать эти уязвимости.

Методы манипуляции

Исследователи из Sea AI Lab и Сингапурского университета управления продемонстрировали, что даже «нулевая модель», генерирующая нерелевантные ответы, может манипулировать автоматическими бенчмарками LLM, достигая высоких показателей выигрыша. Эти результаты подчеркивают необходимость разработки механизмов противодействия мошенничеству для обеспечения надежности автоматических бенчмарков LLM.

Стратегии мошенничества

Изучены два основных метода мошенничества: структурированные мошеннические ответы и адверсариальные префиксы, которые генерируются случайным образом. Эти техники показали, что механизмы оценки можно легко обмануть, что подчеркивает уязвимости в системах бенчмарков LLM.

Эффективность моделей

Обширные исследования показали, что модели Llama-3-Instruct (8B, 70B параметров) продемонстрировали возможности оценки на уровне человека, сравнимые с ChatGPT и GPT-4. Эти результаты подчеркивают, что даже незначительные изменения могут значительно повысить показатели выигрыша.

Заключение

Исследование показывает, что даже «нулевые модели» могут использовать уязвимости автоматических бенчмарков и достигать высоких показателей выигрыша. Эти бенчмарки, хотя и являются экономически эффективными, подвержены манипуляциям. Необходимы сильные механизмы противодействия мошенничеству для обеспечения достоверности оценок моделей.