«`html
Исследование в области автономных систем:
Исследование автономных систем направлено на улучшение возможностей автономных агентов для эффективного исследования сложных сред. Это включает использование передовых алгоритмов и масштабных заранее обученных моделей для улучшения принятия решений и стратегий исследования агентов. Цель — создать системы, способные навигировать и принимать решения в средах, где заранее определенные правила и ручное вмешательство оказываются недостаточными.
Основные вызовы в области искусственного интеллекта и автономных систем:
Один из значительных вызовов в области искусственного интеллекта и автономных систем — обеспечение возможности агентов исследовать и понимать сложные среды. Традиционные методы исследования зачастую полагаются на ручно разработанные эвристики, которые занимают много времени и ограничены в своем применении. Существующие методы нуждаются в помощи в задачах, требующих глубокого исследования в течение продолжительных периодов, что делает их неэффективными для решения сложных проблемных сценариев.
Практические решения и ценность:
Исследования включают в себя алгоритм Go-Explore, который архивирует обнаруженные состояния для итеративного исследования, но полагается на ручно разработанные эвристики. Модели-основы (Foundation models, FMs), такие как GPT-4, продемонстрировали общие возможности в рассуждении и понимании, и были задействованы в задачах принятия решений. ReAct и Reflexion повышают производительность агента, подталкивая к рассуждениям и извлекая уроки из прошлых ошибок. Фреймворки Tree of Thoughts и Graph of Thoughts расширяют пути решения через структурированное рассуждение. Stream of Search интегрирует языковые модели с классическими алгоритмами поиска для улучшенного исследования.
Исследователи из Университета Британской Колумбии, Института Вектор и Канадского AI-председателя CIFAR представили Intelligent Go-Explore (IGE). Этот новый подход заменяет ручно разработанные эвристики интеллектом гигантских заранее обученных моделей-основ. Эти модели обеспечивают возможность обнаружения перспективных состояний и действий интуитивно, подобно человеку. Интеграция моделей-основ позволяет IGE работать в средах, где сложно или невозможно определить эвристику, тем самым расширяя спектр проблем, которые могут быть эффективно решены.
IGE интегрирует модели-основ во все этапы алгоритма Go-Explore. Процесс начинается с того, что модель-основ оценивает текущее состояние и выбирает наиболее перспективное из архива. Затем модель определяет лучшие действия из этого состояния с целью обнаружения новых и интересных состояний. Этот итеративный процесс включает в себя непрерывное обновление архива моделью вновь обнаруженных состояний, которые считаются интересными. Модели-основ придают гибкое, человекоподобное суждение алгоритму, что позволяет более адаптивно и случайным образом обнаруживать состояния во время исследования.
Производительность IGE была оценена в различных задачах, требующих поиска и исследования на основе языка. В игре 24, IGE достиг 100% успеха, на 70,8% быстрее, чем лучший базовый уровень, демонстрируя свою эффективность в решении сложных математических задач. В BabyAI-Text, сложной задаче сети с инструкциями на языке, IGE превзошел предыдущий уровень производительности с порядками меньшим количеством выборок, подчеркивая свою эффективность в обработке частичной наблюдаемости и сложных инструкций. В TextWorld, богатой текстовой игровой среде, IGE продемонстрировал свою уникальную способность к успешному выполнению задач с долгим горизонтом исследования, в которых предыдущие передовые агенты, такие как Reflexion, потерпели неудачу.
В общем, Intelligent Go-Explore значительно улучшает исследование в сложных средах путем интеграции адаптивного интеллекта моделей-основ. Этот подход повышает эффективность и открывает новые возможности для создания более способных и универсальных автономных агентов. Метод решает ограничения традиционных методов исследования на основе эвристик, предоставляя надежное решение для широкого спектра приложений.
«`
