Автоматизация рабочих процессов обучения с подкреплением с использованием моделей видео-языков: к автономному овладению робототехническими задачами
Недавние достижения в использовании крупных моделей видео-языков (VLM) и моделей языка (LLM) значительно повлияли на обучение с подкреплением (RL) и робототехнику. Эти модели продемонстрировали свою полезность в обучении политик роботов, высокоуровневом рассуждении и автоматизации создания функций вознаграждения для обучения политик. Этот прогресс заметно сократил необходимость в знаниях, специфичных для области, обычно требуемых от исследователей RL.
Значение
Развитие автоматизированного подхода, способного интегрировать различные этапы в рабочий процесс RL, позволяет снизить необходимость человеческого вмешательства на всем этапе процесса.
Практические решения
Использование LLM-агентов в области научных и инженерных разработок для автоматизации задач программирования и анализа научных данных показывает потенциал моделей LLM в автоматизации сложных процессов в физических средах. Однако основной вызов заключается в разработке интегрированных систем, способных автоматизировать всю экспериментальную рабочую среду, особенно в обучении с подкреплением для робототехники.
Новая архитектура агента от DeepMind предлагает инновационный подход к автоматизации ключевых аспектов рабочего процесса RL с использованием VLM для выполнения типичных задач, обычно выполняемых человеческими экспериментаторами. Этот подход позволяет автоматизировать создание учебных программ для обучения и представляет одно из первых предложений системы, использующей VLM на протяжении всего цикла RL.
Прототип этой системы, использующий стандартную модель Gemini без дополнительной настройки, демонстрирует практический подход к интеграции VLM в рабочий процесс RL, позволяя автоматизировать предложение задач, их декомпозицию и выполнение в симулированной робототехнической среде.
Исследователи оценили свой подход с помощью симулированной задачи робототехнического манипулирования в MuJoCo, что продемонстрировало возможности системы в предложении новых задач, декомпозиции и анализе процесса обучения.
Заключение
Предложенная инновационная архитектура агента для обучения с подкреплением с использованием VLM показала потенциал в автоматическом приобретении и овладении новыми навыками автономными агентами. Она представляет значительный шаг в направлении более автономных и эффективных систем обучения с подкреплением в робототехнике.
Подробности исследования можно изучить в соответствующей статье.
