Механистическое разучивание: новый метод ИИ для локализации и редактирования компонентов модели, связанных с механизмами фактической памяти.

Механистическое “разучивание”: новый метод ИИ

Большие языковые модели (БЯМ) иногда обучаются тому, что мы не хотим, чтобы они знали. Важно находить способы удаления или корректировки таких знаний, чтобы ИИ оставался точным и под контролем. Однако редактирование или “разучивание” конкретных знаний в этих моделях – задача сложная.

Проблемы редактирования знаний

Существующие методы редактирования знаний часто затрагивают другую информацию, что может ухудшить общие возможности модели. Изменения могут быть недолговечными, и модели могут снова “запомнить” нежелательные данные.

Предложение нового подхода

Исследователи из Университета Мэриленда, Технологического института Джорджии, Университета Бристоля и Google DeepMind предлагают механистическое “разучивание”. Этот метод использует механистическую интерпретируемость для локализации и редактирования конкретных компонентов модели, связанных с механизмами фактического воспоминания.

Преимущества механистического “разучивания”

Метод делает редактирование более надежным и снижает нежелательные побочные эффекты. Он направлен на определенные части моделей, что позволяет эффективнее удалять скрытые знания с минимальными изменениями в модели.

Эксперименты и результаты

Исследователи провели эксперименты на двух наборах данных: Sports Facts и CounterFact. Они успешно изменили данные о спортсменах и факты, используя методы, такие как отслеживание вывода и локализация фактов. Результаты показали, что ручная локализация приводит к более высокой точности и надежности.

Заключение

Предложенный метод механистического “разучивания” открывает новые горизонты для надежного удаления знаний в БЯМ, улучшая эффективность и устойчивость процесса.