«`html
Применение искусственного интеллекта (ИИ) в практических задачах
Естественная обработка языка (NLP) включает использование алгоритмов для понимания и генерации человеческого языка. Это подразделение искусственного интеллекта, направленное на сближение человеческой коммуникации и понимания компьютером. NLP охватывает перевод языка, анализ настроений и генерацию языка, предоставляя важные инструменты для технологических достижений и взаимодействия человека с компьютером. Окончательная цель NLP заключается в том, чтобы позволить машинам выполнять различные задачи, связанные с языком, с профессионализмом, подобным человеческому, что делает его неотъемлемой частью современных исследований и приложений в области искусственного интеллекта.
Проблема и практические решения
В сфере искусственного интеллекта все еще существует критическая проблема планирования задач с использованием больших языковых моделей (LLMs). Несмотря на значительные успехи в NLP, способности этих моделей к планированию должны догнать человеческую производительность. Этот разрыв в производительности критичен, поскольку планирование является сложной задачей, которая включает принятие решений и организацию действий для достижения конкретных целей, что является фундаментальными аспектами многих прикладных задач. Эффективное планирование существенно для деятельности, варьирующейся от ежедневного расписания до стратегических бизнес-решений, что подчеркивает важность улучшения способностей LLMs к планированию.
В настоящее время планирование в области искусственного интеллекта интенсивно изучается в робототехнике и автоматизированных системах с использованием алгоритмов, которые опираются на предопределенные языки, такие как PDDL (Язык определения области планирования) и ASP (Язык программирования множеств ответов). Эти методы часто требуют экспертных знаний для настройки и не выражены естественным языком, что ограничивает их доступность и применимость в реальных сценариях. Недавние усилия пытались адаптировать LLMs для планирования задач, но эти подходы нуждаются в более реалистичных бенчмарках и улавливают сложности реальных сценариев. Таким образом, существует необходимость в бенчмарках, отражающих практические задачи планирования.
Новый бенчмарк NATURAL PLAN
Команда исследователей из Google DeepMind представила NATURAL PLAN — новый бенчмарк, разработанный для оценки способностей LLMs в планировании в контексте естественного языка. Этот бенчмарк фокусируется на трех основных задачах: планирование поездки, планирование встречи и планирование в календаре. Набор данных предоставляет реальную информацию из таких инструментов, как Google Flights, Google Maps и Google Calendar, с целью симуляции реалистических планировочных задач без необходимости использования инструментов. NATURAL PLAN разделяет использование инструментов от задачи рассуждения, предоставляя выходные данные из этих инструментов в качестве контекста, что помогает сосредоточить оценку на способностях моделей к планированию.
NATURAL PLAN тщательно разработан для оценки того, насколько хорошо LLMs могут справляться с сложными планировочными задачами, описанными на естественном языке. Для планирования поездки задача заключается в планировании маршрута при заданных ограничениях, таких как посещение нескольких городов в течение установленного периода времени с использованием только прямых рейсов. Планирование встречи требует планирования встреч при различных ограничениях, включая времена поездок и доступность участников. Планирование в календаре фокусируется на организации рабочих встреч на основе существующих расписаний и ограничений. Построение набора данных включает синтетическое создание задач с использованием реальных данных от инструментов Google и добавление ограничений для обеспечения единственного правильного решения. Такой подход обеспечивает надежный и реалистичный бенчмарк для оценки способностей LLMs к планированию.
Результаты исследования
Оценка показала, что текущие передовые модели, такие как GPT-4 и Gemini 1.5 Pro, сталкиваются с серьезными трудностями в задачах NATURAL PLAN. В планировании поездки GPT-4 достигла успеха в 31,1%, в то время как Gemini 1.5 Pro достигла 34,8%. Производительность значительно снижалась с увеличением сложности задачи, модели показывали результаты ниже 5% при планировании поездок с участием десяти городов. GPT-4 достигла точности в 47,0% при планировании встреч, в то время как Gemini 1.5 Pro достигла 39,1%. В планировании в календаре Gemini 1.5 Pro превзошел другие модели с успешностью в 48,9%. Эти результаты подчеркивают сложность планирования на естественном языке и необходимость улучшения методов, что подчеркивает значимость исследовательских результатов.
Исследователи также провели различные эксперименты, чтобы лучше понять ограничения и преимущества моделей. Они обнаружили, что производительность моделей снижается с увеличением сложности задачи, таких как большее количество городов, людей или дней встреч. Кроме того, модели показали худшие результаты в сценариях обобщения от сложного к простому по сравнению с простым к сложному, что указывает на проблемы в обучении на сложных примерах. Эксперименты с самокоррекцией показали, что подача моделям сигналов для выявления и исправления их ошибок часто приводила к снижению производительности, особенно в более сильных моделях, таких как GPT-4 и Gemini 1.5 Pro. Однако эксперименты с возможностями работы с длинным контекстом демонстрировали надежду, причем Gemini 1.5 Pro показал стабильное улучшение с большим количеством примеров в контексте, достигая до 39,9% точности в планировании поездки с 800 примерами.
Заключение и перспективы
Исследование подчеркивает значительный разрыв в способностях планирования текущих LLMs при решении сложных задач реального мира. Однако оно также проливает свет на потенциал LLMs, предлагая лучик надежды на будущее. NATURAL PLAN предоставляет ценный бенчмарк для оценки и улучшения этих способностей. Результаты свидетельствуют о том, что хотя у LLMs есть потенциал для улучшения, они обещают. Для преодоления разрыва в производительности по сравнению с человеческими планировщиками необходимы существенные улучшения. Эти достижения могут революционизировать практическое применение LLMs в различных областях, делая их более эффективными и надежными инструментами для планирования задач.
«`
