Интерфейс воплощенного агента: структура ИИ для оценки крупных языковых моделей при принятии решений.

Оценка больших языковых моделей (LLM) в принятии решений

Большие языковые модели (LLM) необходимо оценивать в контексте реализованного принятия решений, то есть их способности выполнять задачи как в цифровой, так и в физической среде. Несмотря на многочисленные исследования и применения LLM, существует недостаток знаний об их реальных возможностях.

Проблемы текущих методов оценки

Современные методы оценки сосредоточены на единственном показателе успешности выполнения задачи. Это не позволяет выявить конкретные недостатки и проблемы в процессе принятия решений. Без этой информации сложно адаптировать LLM для определенных задач, что ограничивает их применение.

Решение: Стандартный интерфейс для агентств

Стандартный интерфейс для агентств разработан для решения этих проблем. Он стандартизирует входные и выходные данные модулей, использующих LLM для принятия решений, и формализует различные типы задач. Вот три основных улучшения:

1. Интеграция различных задач

Интерфейс позволяет объединять задачи, включая временные цели, требующие последовательного выполнения действий, и состояния, где агент должен достичь определенного условия. Это упрощает оценку LLM в разных областях.

2. Основные модули принятия решений

Четыре ключевых модуля включают:

Интерпретация целей: понимание намерений инструкции.
Декомпозиция подцелей: разделение сложных задач на более простые шаги.
Секвенирование действий: определение правильной последовательности выполнения действий.
Моделирование переходов: прогнозирование изменений в окружении после каждого действия.

3. Полные метрики оценки

Интерфейс предлагает различные метрики, которые помогают выявить ошибки в процессе принятия решений, например:

Ошибки галлюцинации: создание объектов или действий, которых нет в реальности.
Ошибки применимости: несоответствие действий, например, забывание открыть чашку перед наливанием жидкости.
Ошибки в декомпозиции: пропущенные или лишние шаги, неправильная последовательность действий.

Преимущества интерфейса

Интерфейс для агентств предлагает обширный подход к оценке LLM в задачах, связанных с искусственным интеллектом. Он помогает выявить сильные и слабые стороны LLM, разбивая задачи на более мелкие и тщательно их анализируя. Это позволяет эффективно применять LLM в сложных ситуациях, максимально используя их потенциал.