OpenWebVoyager: Создание мультимодальных веб-агентов через итеративное исследование, обратную связь и оптимизацию

OpenWebVoyager: Инновации в многомодальной веб-навигации

Создание автономных агентов, способных ориентироваться в сложных веб-средах, представляет собой множество вызовов, особенно когда эти агенты обрабатывают как текстовую, так и визуальную информацию. Традиционно такие агенты ограничены синтетическими текстовыми средами, что сужает их применение в реальных задачах веб-навигации.

Проблема многомодальной интерпретации

Основная проблема заключается в том, что агенты должны уметь интерпретировать многомодальный контент без явных сигналов обратной связи. Это одна из самых сложных задач в ИИ.

Решение от OpenWebVoyager

Исследователи из Zhejiang University, Tencent AI Lab и Westlake University представили OpenWebVoyager — открытый фреймворк, который поддерживает непрерывные циклы самооптимизации в реальных веб-средах. Система использует обучение с подражанием, где агенты учатся базовым навыкам навигации, подражая взаимодействиям с веб-страницами. Затем их производительность улучшается через исследование новых задач и обратную связь.

Преимущества OpenWebVoyager

Многомодальная обработка: Использует модель Idefics2-8b-instruct для обработки изображений и текста.
Циклы оптимизации: Постоянно оценивает и улучшает производительность агентов.
Высокая эффективность: Увеличение успешности выполнения задач с 19.9% до 25.8% после итераций.

Практическое применение

OpenWebVoyager позволяет создавать автономные веб-агенты, которые адаптируются к разнообразным условиям без необходимости обширного переобучения. Это имеет важное значение для таких областей, как электронная коммерция и информационный поиск.