AutoDroid-V2: Автоматизация управления мобильным интерфейсом с помощью малых языковых моделей

Большие языковые модели (LLM) и модели зрения языка (VLM) значительно изменили автоматизацию управления мобильными устройствами с помощью естественных команд. Это предлагает решения для сложных задач пользователей.

Проблемы традиционных методов

Традиционный метод «пошаговых GUI-агентов» сталкивается с серьезными проблемами, так как требует мощных облачных моделей, таких как GPT-4. Это поднимает вопросы о безопасности и конфиденциальности, а также увеличивает потребление трафика и затраты на серверную инфраструктуру, что затрудняет масштабное развертывание.

Ключевые преимущества AutoDroid-V2

Исследователи из Тsinghua University предложили AutoDroid-V2, который использует скриптовый подход для создания и выполнения многоэтапных скриптов на основе инструкций пользователя. Он решает два главных ограничения традиционных подходов:

• Эффективность: Генерация одного скрипта для серии действий снижает частоту запросов и потребление ресурсов.
• Способности: Скриптовые агенты зависят от кодирования, что уже проявило эффективность в существующих исследованиях.

Архитектура AutoDroid-V2

Система состоит из двух этапов: офлайн и онлайн. На офлайн-этапе создается документ приложения, который служит основой для генерации скриптов. Во время онлайн-этапа специальный локальный LLM генерирует многоэтапный скрипт, который выполняется интерпретатором.

Результаты и достижения

AutoDroid-V2 продемонстрировала значительные улучшения, достигнув высокой степени завершенности задач и значительного снижения вычислительных затрат. Тестирование показало стабильные результаты с коэффициентом успешности от 44.6% до 54.4%.

Заключение

AutoDroid-V2 представляет собой значительный шаг вперед в автоматизации мобильных задач. Система обеспечивает высокую точность, сопоставимую с облачными решениями, при этом сохраняя уровень конфиденциальности. Однако она сталкивается с ограничениями при работе с приложениями, не имеющими структурированных текстовых представлений интерфейса.

Практические рекомендации для внедрения ИИ

Если вы хотите развивать свою компанию с помощью ИИ:

• Проанализируйте, как ИИ может улучшить вашу работу.
• Определите, какие KPI вы хотите улучшить.
• Выберите подходящее решение и постепенно внедряйте ИИ.
• Основывайтесь на данных и опыте для расширения автоматизации.

Для получения советов по внедрению ИИ, свяжитесь с нами.