Новое исследование Google DeepMind раскрывает уязвимость, которая может утечка пользовательских запросов в модели MoE.

Проблемы конфиденциальности в моделях MoE

Модели MoE (Mixture of Experts) сталкиваются с серьезными проблемами конфиденциальности. Они оптимизируют работу больших языковых моделей (LLM), активируя лишь часть своих параметров. Однако это делает их уязвимыми для извлечения данных злоумышленниками.

Уязвимости и риски

Текущие модели MoE используют выборочную маршрутизацию токенов, что улучшает эффективность, но создает уязвимости. Решения по маршрутизации зависят от пакетов данных, что позволяет злоумышленникам получать доступ к приватной информации. Основная проблема заключается в том, что токены обрабатываются детерминированно, что не гарантирует независимость между пакетами.

Методы защиты

Исследователи Google DeepMind разработали метод атаки MoE Tiebreak Leakage Attack, который использует уязвимости маршрутизации для извлечения пользовательских запросов. Этот метод включает три ключевых компонента:

Угадывание токенов: Злоумышленник проверяет возможные токены, сопоставляя их с запросом жертвы.
Управление емкостью экспертов: Используются последовательности для контроля маршрутизации токенов к нужным экспертам.
Анализ маршрутов: Сравнение выходных данных из различных пакетов для проверки правильности угаданных токенов.

Результаты экспериментов

Эксперименты показали, что метод MoE Tiebreak Leakage Attack был очень эффективным: удалось восстановить 4,833 из 4,838 токенов с точностью более 99.9%. Это подчеркивает необходимость учета вопросов конфиденциальности при оптимизации моделей.