Комбинируя автоматическое планирование и управление человеком, этот метод позволяет роботам овладеть навыками более эффективно. Интересно, какая будет следующая ступень эволюции робототехники? 🤖✨
HITL-TAMP: новый подход к обучению роботов сложным навыкам манипуляции с использованием гибридной стратегии автоматического планирования и управления человеком
Обучение роботов сложным навыкам манипуляции путем наблюдения за демонстрациями человека показало многообещающие результаты. Однако предоставление обширных демонстраций манипуляции требует много времени и затрат, что затрудняет масштабирование этой парадигмы для операций в реальном мире с длительным горизонтом. Однако не все аспекты задачи равнозначны.
Новое исследование компании NVIDIA и Грузинского технологического института исследует подходы к улучшению систем планирования задач и движений (TAMP), которые показали особенно эффективные результаты в решении проблем с широким спектром возможных будущих исходов. Исследуя все возможные комбинации ограниченного набора примитивных навыков, подходы TAMP могут планировать поведение для различных многошаговых задач манипуляции. Каждый навык традиционно разрабатывается вручную, но закрытие пружинного крышечного устройства или вставка штока в отверстие – это два примера задач, которые чрезвычайно сложно моделировать эффективно. Вместо этого команда использует телеприсутствие человека с обратной связью для включения только необходимых навыков, оставляя остальное на автоматизацию. Эти возможности основаны на телеприсутствии человека во время сбора данных и на политике, выученной из собранных данных во время выполнения. Интеграция систем TAMP с телеприсутствием человека связана с существенными технологическими преградами, и особое внимание следует уделять обеспечению плавного перехода между ними.
Для преодоления этих препятствий они предлагают систему Human-in-the-Loop Task and Motion Planning (HITL-TAMP), которая интегрирует TAMP и телеприсутствие человека в дополняющем стиле. Механизм управления с использованием TAMP, используемый устройством, позволяет собирать демонстрации, переключаясь между системой TAMP и телеприсутствием человека. Важно, что система TAMP предлагает человеку участвовать только в определенных точках рабочего плана, чтобы он мог управлять флотом роботов, асинхронно взаимодействуя с одной сессией демонстрации за раз. Эта техника значительно повышает производительность сбора данных. Она снижает усилия, необходимые для сбора огромных наборов данных для задач с длительным горизонтом и контактными взаимодействиями, требуя демонстраций человека только тогда, когда они действительно нужны. Для обучения стратегии с использованием данных человека, они интегрируют свою систему сбора данных с фреймворком имитационного обучения. Они показывают, что в отношении данных, необходимых для обучения задачи роботу, времени, затрачиваемого на обучение задачи, и успешности обученных политик, это приводит к более высокой производительности по сравнению с сбором демонстраций человека для всей задачи.
Исследователи протестировали HITL-TAMP сравнительно с обычной системой телеприсутствия с участием 15 участников. С использованием их метода пользователи могли одновременно получать более чем в три раза больше демонстраций. Всего 10 минут данных от неопытного телеприсутствия можно использовать для обучения агентов с более чем 75% успешности. HITL-TAMP часто создает практически идеальных агентов, собирая 2,1 тысячи демонстраций для 12 задач с контактными взаимодействиями и длительным горизонтом, таких как приготовление кофе в реальном мире.
По сравнению с сбором демонстраций человека для всей работы, эффективность сбора данных и обучения политики в HITL-TAMP значительно увеличивается за счет комбинации TAMP и телеприсутствия.
Источник: MarkTechPost
Если вам нужны рекомендации по управлению ИИ в бизнесе, свяжитесь с нами по адресу hello@flycode.ru. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал t.me/flycodetelegramru.
Посмотрите на практический пример решения на основе ИИ: бот для продаж от flycode.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте flycode.ru
