Научный агент: строгая оценка ИИ для языковых агентов в научных открытиях

Научные агенты и их возможности

Большие языковые модели (LLMs) стали мощными инструментами, способными выполнять сложные задачи, включая рассуждения и генерацию кода. Это привело к интересу к разработке языковых агентов на основе LLM для автоматизации научных исследований.

Цели и вызовы

Цель состоит в создании автоматизированных систем, которые могут управлять всем процессом исследования — от генерации идей до написания статей. Однако это сталкивается с вызовами, такими как необходимость в надежных способностях рассуждения и эффективном использовании инструментов.

ScienceAgentBench: Оценка языковых агентов

Исследователи из различных университетов разработали ScienceAgentBench — надежный стандарт для оценки языковых агентов в научных исследованиях. Этот стандарт основывается на трех принципах:

Научная подлинность
Строгая оценка
Многоуровневый контроль качества

Структура задач

ScienceAgentBench включает 102 задачи из 44 рецензируемых публикаций, охватывающих четыре научные дисциплины. Каждая задача формулируется как проблема генерации кода, требующая от агентов создания исполняемых программ на Python.

Результаты оценки

Оценка языковых агентов на ScienceAgentBench показала, что модель Claude-3.5-Sonnet достигла наилучших результатов, решив 34.3% задач с использованием экспертных знаний. Это значительно выше, чем результаты других методов.

Выводы

Несмотря на достижения, текущие языковые агенты все еще испытывают трудности с комплексными задачами, особенно в специализированных областях, таких как биоинформатика и вычислительная химия.