Решения искусственного интеллекта для вашего бизнеса
Большие языковые модели (LLMs) показали свой потенциал во многих задачах обработки естественного языка (NLP), таких как суммаризация и ответы на вопросы с использованием подходов с нулевым и несколькими примерами. Однако простое подсказывание недостаточно для того, чтобы LLMs могли работать как агенты, способные навигировать в окружающей среде для решения сложных и многоэтапных задач.
Для самоусовершенствующихся LLMs были предложены различные методы, включая самопрояснение, где учитель и ученик — одни и те же модели. Агенты самоусовершенствующихся LLM показывают, как могут быть решены сложные задачи робототехники путем самостоятельного обучения и улучшения.
Практическое применение
Новые техники, представленные исследователями из Университета Пенсильвании, ExtensityAI, Йоханнеса Кеплера в Линце и NXAI, позволяют агентам LLM решать сложные и многоэтапные задачи с использованием самоусовершенствования. Для понимания влияния самоусовершенствования вводятся два вспомогательных показателя: оценка приобретенных и потерянных возможностей агента и расширение оценки VERTEX для измерения качества траекторий агента различной длины.
Результаты эксперимента
Эксперимент показал, что модели могут самоусовершенствоваться в задачах веб-агента и улучшать общую производительность с использованием самой эффективной смеси, решив 18 задач правильно с относительным улучшением 31%.
Также результаты показывают, что самоусовершенствующиеся агенты могут приобретать новые возможности с помощью самоусовершенствования, теряя при этом некоторые способности. Для улучшения показателя возможности две смеси подверглись тонкой настройке и показали на 5 возможностей больше, чем базовая модель агента, с относительным улучшением 24%.
Выводы
Исследователи представили новые методы, позволяющие агентам LLM решать сложные и многоэтапные задачи путем самоусовершенствования. Самоусовершенствование помогает улучшить производительность моделей агентов и приобрести новые возможности с минимальным ухудшением качества траекторий, обеспечивая эти преимущества.
Однако в данной статье существуют ограничения в техниках тонкой настройки для самоусовершенствования. Их производительность улучшается путем укрепления правильных действий и решений базовой модели, однако эти методы могут дополнительно укреплять неправильные действия и предубеждения базовой модели. Это ограничение может быть уменьшено с помощью человеческого или наблюдаемого фильтра.
Помощь во внедрении ИИ
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram
Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
