“`html

Использование Windows Agent Arena (WAA) для улучшения бизнеса с помощью искусственного интеллекта

Искусственный интеллект (ИИ) продвигается в разработке агентов, способных выполнять сложные задачи на цифровых платформах. Эти агенты, часто работающие на основе больших языковых моделей (LLM), имеют потенциал значительно повысить производительность человека, автоматизируя задачи в операционных системах. AI-агенты, способные воспринимать, планировать и действовать в средах, таких как операционная система Windows (OS), предлагают огромную ценность как для личных, так и профессиональных задач, которые все чаще перемещаются в цифровую среду. Возможность этих агентов взаимодействовать через ряд приложений и интерфейсов означает, что они могут выполнять задачи, которые обычно требуют контроля человека, в конечном итоге нацеливаясь на более эффективное взаимодействие человека с компьютером.

Проблема и практические решения

Одной из значительных проблем в разработке таких агентов является точная оценка их производительности в условиях, максимально отражающих реальные условия. В то время как они эффективны в конкретных областях, таких как навигация в Интернете или выполнение текстовых задач, большинство существующих бенчмарков не улавливают сложность и разнообразие задач, с которыми реальные пользователи ежедневно сталкиваются на платформах, таких как Windows. Для устранения этой проблемы необходимы инструменты, способные тестировать возможности агентов в более динамичных, многоэтапных задачах в различных областях с высокой масштабируемостью. Кроме того, текущие инструменты не могут эффективно параллелизировать задачи, что приводит к тому, что полные оценки занимают несколько дней, а не минут.

Для решения этих проблем были разработаны несколько бенчмарков, включая OSWorld, который в основном фокусируется на задачах, связанных с Linux. В то время как эти платформы предоставляют полезные исследования производительности агентов, они плохо масштабируются для мультимодальных сред, таких как Windows. Другие фреймворки, такие как WebLinx и Mind2Web, оценивают возможности агентов в веб-средах, но им не хватает глубины для всестороннего тестирования поведения агентов в более сложных рабочих процессах на основе OS. Эти ограничения подчеркивают необходимость бенчмарка, который бы охватывал полный спектр взаимодействия человека с компьютером в широко используемой ОС, такой как Windows, обеспечивая при этом быструю оценку через облачную параллелизацию.

Исследователи из Microsoft, Карнеги-Меллонского университета и Университета Колумбии представили WindowsAgentArena, комплексный и воспроизводимый бенчмарк, специально разработанный для оценки AI-агентов в среде Windows OS. Этот инновационный инструмент позволяет агентам работать в реальной операционной системе Windows, взаимодействуя с приложениями, инструментами и веб-браузерами, воссоздавая задачи, которые обычно выполняют человеческие пользователи. Используя масштабируемую облачную инфраструктуру Azure, платформа может параллелизировать оценки, позволяя провести полный бенчмарк всего за 20 минут, в отличие от оценок, занимающих несколько дней при использовании более ранних методов. Эта параллелизация увеличивает скорость оценок и обеспечивает более реалистичное поведение агентов, позволяя им одновременно взаимодействовать с различными инструментами и средами.

Практическое применение

Бенчмарк включает более 154 разнообразных задач, охватывающих несколько областей, включая редактирование документов, веб-браузинг, управление системой, программирование и потребление медиа-контента. Эти задачи тщательно разработаны для отражения повседневных рабочих процессов в Windows, при этом агентам требуется выполнять многоэтапные задачи, такие как создание ярлыков документов, навигация по файловым системам и настройка параметров в сложных приложениях, таких как VSCode и LibreOffice Calc. WindowsAgentArena также вводит новый критерий оценки, который вознаграждает агентов на основе выполнения задач, а не просто следования записанным заранее человеческим демонстрациям, что позволяет более гибкое и реалистичное выполнение задач. Бенчмарк может легко интегрироваться с контейнерами Docker, обеспечивая безопасную среду для тестирования и позволяя исследователям масштабировать свои оценки на нескольких агентах.

Для демонстрации эффективности WindowsAgentArena исследователи разработали нового мультимодального AI-агента под названием Navi. Navi предназначен для автономной работы в операционной системе Windows, используя комбинацию цепочки мыслей и мультимодального восприятия для выполнения задач. Исследователи протестировали Navi на бенчмарке WindowsAgentArena, где агент достиг успеха в 19,5%, что значительно ниже, чем 74,5% успеха, достигнутого независимыми людьми. Хотя эта производительность подчеркивает сложности AI-агентов в повторении эффективности, характерной для человека, она также подчеркивает потенциал для улучшения по мере развития этих технологий. Navi также продемонстрировал высокую производительность во вторичном веб-бенчмарке Mind2Web, дополнительно подтверждая его адаптивность в различных средах.

Методы, используемые для улучшения производительности Navi, заслуживают внимания. Агент полагается на визуальные маркеры и техники обработки экрана, такие как Set-of-Marks (SoMs), для понимания и взаимодействия с графическими аспектами экрана. Эти SoMs позволяют агенту точно идентифицировать кнопки, значки и текстовые поля, что делает его более эффективным в выполнении задач, которые включают несколько этапов или требуют детальной навигации по экрану. Navi получает выгоду от разбора дерева UIA, метода, извлекающего видимые элементы из дерева Windows UI Automation, обеспечивая более точное взаимодействие агента.

Заключение

WindowsAgentArena является значительным прорывом в оценке AI-агентов в реальных средах операционных систем. Он решает ограничения предыдущих бенчмарков, предлагая масштабируемую, воспроизводимую и реалистичную платформу тестирования, позволяющую проводить быстрые, параллельные оценки агентов в экосистеме Windows OS. Благодаря разнообразию задач и инновационным метрикам оценки этот бенчмарк предоставляет исследователям и разработчикам инструменты для расширения границ развития AI-агентов. Производительность Navi, хотя и пока не соответствует эффективности человека, демонстрирует потенциал бенчмарка в ускорении прогресса в исследованиях мультимодальных агентов. Его передовые техники восприятия, такие как SoMs и разбор UIA, дополнительно готовят почву для более способных и эффективных AI-агентов в будущем.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru

“`