Достижение баланса в пожизненном обучении: подход памяти WISE
LLM-модели демонстрируют важные черты искусственного общего интеллекта, однако они подвержены ошибкам вроде галлюцинаций, предвзятости и фактических неточностей. На данный момент внедрение LLM-моделей сопряжено с вызовами, такими как постоянное развитие знаний и необходимость оперативного устранения ошибок в процессе эксплуатации.
Практические решения и ценность
Для решения этих проблем был разработан метод WISE, который представляет собой двухпараметрическую схему памяти, объединяющую предварительно обученные знания и отредактированные знания. При этом происходит эффективное разделение правок на отдельные подпространства параметров, что позволяет предотвращать конфликты перед их объединением в общую память.
WISE демонстрирует превосходную производительность по сравнению с существующими методами как в сфере вопросно-ответных систем, так и в сфере предотвращения галлюцинаций. Он превосходит конкурентов, особенно при длительных последовательных правках, достигая значительного улучшения стабильности и эффективного управления последовательными правками.
Это исследование выявляет вызовы одновременного достижения надежности, обобщения и локальности в текущих подходах к редактированию моделей на протяжении жизни, а также показывает, что метод WISE обещает достижение высоких показателей производительности на различных наборах данных и моделях LLM.
