“`html

Применение DigiRL: Новый автономный метод обучения управляющих агентов с использованием обучения с подкреплением

Исследования в области моделей зрение-язык (VLM) продемонстрировали впечатляющие способности к здравому смыслу, рассуждению и обобщению. Это означает, что разработка полностью независимого цифрового помощника с использованием естественного языка, способного выполнять повседневные компьютерные задачи, является возможной. Однако лучшие способности рассуждения и здравого смысла не автоматически приводят к интеллектуальному поведению помощника. Искусственные интеллект-ассистенты используются для выполнения задач, рационального поведения и восстановления после ошибок, а не просто для предоставления правдоподобных ответов на основе предварительно обученных данных.

Практические решения и ценность

Для преобразования способностей предварительного обучения в практические “агенты” ИИ требуется метод. Даже лучшие модели VLM, такие как GPT-4V и Gemini 1.5 Pro, все еще испытывают трудности в выполнении правильных действий при выполнении задач на устройствах.

В данной статье обсуждаются три существующих метода. Первый метод – обучение мульти-модальных цифровых агентов, которые сталкиваются с вызовами, такими как управление устройством, выполняемое непосредственно на уровне пикселей в пространстве действий на основе координат, а также стохастический и непредсказуемый характер экосистем устройств и интернета.

Второй метод – среды для агентов управления устройствами. Эти среды предназначены для оценки и предлагают ограниченный набор задач в полностью детерминированных и стационарных условиях.

Последний метод – Обучение с подкреплением (RL) для LLM/VLM, где исследования с RL для моделей основных данных сосредоточены на задачах однократного обращения, таких как оптимизация предпочтений, но оптимизация однократного взаимодействия на основе экспертных демонстраций может привести к неоптимальным стратегиям для многошаговых проблем.

Исследователи из Университета Калифорнии в Беркли, UIUC и Google DeepMind представили DigiRL (RL для цифровых агентов), новый автономный метод RL для обучения агентов управления устройствами. Результирующий агент достигает передовой производительности по нескольким задачам управления устройствами Android. Процесс обучения включает две фазы: сначала начальная фаза автономного RL для инициализации агента с использованием существующих данных, а затем фаза автономного RL из офлайн в онлайн, которая используется для настройки модели, полученной из офлайн RL, на онлайн-данных.

Исследователи провели эксперименты для оценки производительности DigiRL в решении сложных проблем управления устройствами Android. Важно понять, имеет ли DigiRL потенциал создавать агентов, которые могут эффективно учиться через автономное взаимодействие, сохраняя при этом возможность использовать офлайн-данные для обучения.

Агент, обученный с использованием DigiRL, был протестирован на различных задачах из набора данных Android in the Wild (AitW) с использованием реальных эмуляторов устройств Android. Агент достиг улучшения на 28,7% по сравнению с существующими передовыми агентами (увеличение успешности с 38,5% до 67,2%) 18B CogAgent. Он также превзошел предыдущий лучший метод автономного обучения на основе фильтрованного клонирования поведения на более чем 9%. Более того, несмотря на то, что у агента было всего 1,3 миллиарда параметров, он продемонстрировал более высокую производительность, чем продвинутые модели, такие как GPT-4V и Gemini 1.5 Pro (17,7% успешных задач). Это делает его первым агентом, достигшим передовой производительности в управлении устройствами с использованием автономного подхода RL из офлайн в онлайн.

В заключение, исследователи предложили DigiRL, новый автономный подход RL для обучения агентов управления устройствами, который устанавливает новую передовую производительность по нескольким задачам управления устройствами Android из AitW. Для этого была разработана масштабируемая и параллельная среда Android с надежным универсальным оценщиком на основе VLM для быстрого сбора онлайн-данных. Агент, обученный с использованием DigiRL, достиг улучшения на 28,7% по сравнению с существующими передовыми агентами 18B CogAgent. Однако обучение было ограничено задачами из набора данных AitW, а не всеми возможными задачами устройств. Поэтому в будущем планируется проведение исследований алгоритмов и расширение пространства задач, что сделает DigiRL базовым алгоритмом.

Практическое применение ИИ

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте DigiRL: A Novel Autonomous Reinforcement Learning RL Method to Train Device-Control Agents.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь с ключевыми показателями эффективности (KPI), которые вы хотите улучшить с помощью ИИ.

Подберите подходящее решение – сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI. На основе полученных данных и опыта расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram.

Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.

“`