«`html
Agent Q: Новая система искусственного интеллекта для автономного улучшения веб-агентов с ограниченным участием человека — с улучшением на 340% по сравнению с базовой нулевой производительностью LLama 3
Большие языковые модели (LLM) достигли значительных успехов в области искусственного интеллекта, революционизируя обработку естественного языка и взаимодействие. Однако даже самые сложные LLM, такие как LLaMa 3, сталкиваются с существенными вызовами при выполнении многошагового рассуждения и принятия решений в динамичных, интерактивных средах. Традиционные методики обучения, полагающиеся на статические наборы данных, должны подготовить эти модели к реальным приложениям, особенно в веб-навигации, где важна адаптивность и сложные рассуждения.
Практические решения и ценность:
Исследователи MultiOn представили Agent Q — инновационного автономного веб-агента, разработанного для решения этих вызовов. Построенный на основе LLaMa 3, Agent Q объединяет передовые техники поиска, самокритику и обучение с подкреплением, трансформируя способы навигации и взаимодействия LLM с веб-средой. Путем расширения границ автономных агентов, Agent Q устанавливает новый стандарт для прикладных приложений искусственного интеллекта в реальном мире.
Традиционные подходы к обучению LLM для динамических задач обычно включают надзорную донастройку на отобранных наборах данных. Хотя эти методы эффективны в контролируемых сценариях, они часто должны улучшаться в сложных средах, требующих многошагового рассуждения и адаптивного обучения.
Agent Q — передовая структура, разработанная для преодоления этих вызовов путем интеграции передовых техник поиска, механизмов самокритики и обучения с подкреплением. В отличие от традиционных методов, полагающихся на надзорную донастройку, Agent Q использует комбинацию управляемого поиска в стиле Monte Carlo Tree Search (MCTS) и варианта алгоритма прямой оптимизации предпочтений (DPO) вне политики. Этот подход позволяет агентам LLM учиться на успешных и неуспешных траекториях, значительно улучшая их обобщающие способности в сложных задачах многократного рассуждения.
Инновационная архитектура Agent Q состоит из нескольких ключевых компонентов, улучшающих его производительность в интерактивных средах. Управляемый MCTS играет ключевую роль, автономно исследуя различные действия и веб-страницы, эффективно балансируя исследование и эксплуатацию. Этот метод генерирует разнообразные и оптимальные траектории, необходимые для обучения надежных агентов. Кроме того, механизм самокритики обеспечивает обратную связь в реальном времени на каждом этапе принятия решения, позволяя агенту уточнять свой процесс рассуждения. Этот цикл обратной связи особенно важен для задач с длинным горизонтом, где скудные вознаграждения могут затруднить обучение. Кроме того, алгоритм DPO настраивает модель путем создания пар предпочтений из данных, сгенерированных во время MCTS, что позволяет агенту эффективно учиться как на успешных, так и на неоптимальных действиях.
Результаты применения Agent Q в реальных сценариях ничуть не менее впечатляющи. В серии экспериментов по бронированию на OpenTable Agent Q улучшил базовую производительность LLaMa 3 на 340% всего за один день автономного сбора данных, увеличив показатель успеха с 18,6% до поразительных 81,7%. С дальнейшим онлайн-поиском этот показатель успеха вырос до 95,4%. Эти впечатляющие результаты подчеркивают способность Agent Q автономно улучшаться и адаптироваться, устанавливая новый стандарт для автономных веб-агентов.
В заключение, Agent Q представляет собой гигантский скачок в развитии автономных веб-агентов. Решая ограничения традиционных методик обучения LLM, Agent Q представляет новую структуру, объединяющую передовые техники поиска, самокритику и обучение с подкреплением. Этот подход улучшает способности принятия решений агента и позволяет ему непрерывно улучшаться в реальных динамических средах. С впечатляющей производительностью и потенциалом для дальнейшего развития, Agent Q устанавливает новый стандарт для автономной веб-навигации, проложив путь для более интеллектуальных и адаптивных агентов искусственного интеллекта.
«`
