Раскрытие скрытых затрат передовых агентов искусственного интеллекта
В последнее время наблюдается значительное развитие агентов искусственного интеллекта. Однако одна цель – точность – доминировала в оценке и является важной для развития агентов. Согласно недавнему исследованию из Принстонского университета, фокус только на точности приводит к излишней сложности и затратам на работу агентов. Команда предлагает изменить парадигму оценки, учитывая затраты, где точность и затраты оптимизируются вместе.
Практические решения и ценность
Стандартные метрики оценки эффективности агентов на работе долгое время использовались в оценке агентов. Стремление к увеличению точности через более сложные модели является распространенной тенденцией. Однако потребности вычислений этих моделей могут мешать их использованию в реальном мире, даже если они показывают хорошие результаты на тестах.
Команда указывает на недостатки существующей системы оценки. Во-первых, существует риск того, что агенты, разработанные с переизбыточным уклоном в точности, не будут применимы в реальных ситуациях из-за высоких вычислительных затрат. Во-вторых, существует разрыв между разработчиками моделей и разработчиками, занимающимися внедрением. Разработчики моделей фокусируются на точности модели, в то время как разработчики внедрения более заинтересованы в затратах на запуск агента в производстве.
Исследователи предлагают парадигму оценки, учитывающую затраты на решение этих проблем. Представляя затраты и точность агентов как границу Парето, открывается новая возможность для проектирования агентов: одновременное максимизирование затрат и точности, что может привести к агентам с более низкими затратами без ущерба для точности.
Общие расходы на управление агентом включают как постоянные, так и переменные затраты. Оптимизируя гиперпараметры агента для определенной задачи, возникают постоянные затраты. Запуск агента вызывает переменные расходы, пропорциональные количеству входных и выходных токенов. Переменные затраты становятся все более важными с увеличением использования агента.
Команда предлагает балансировку постоянных и переменных затрат путем совместной оптимизации. Они могут снизить переменные затраты на запуск агента, инвестируя в единовременную оптимизацию проектирования агента. Если пользователи хотят экономить на запуске агента без ущерба для точности, можно провести обрезку модели и аппаратное ускорение.
Модифицированная версия DSPy фреймворка тестировалась на HotPotQA для демонстрации эффективности совместной оптимизации. Команда использовала HotPotQA, чтобы найти несколько примеров, которые могут быть использованы с агентом, снижающим затраты, сохраняя точность. Они утверждают, что совместная оптимизация открывает огромное пространство в проектировании агентов.
Команда также тестирует эффективность многошагового вопросно-ответного агента DSPy с различными дизайнами. Они использовали ColBERTv2 для выполнения запроса на основе HotPotQA в качестве стратегии поиска. Результаты показывают значительное снижение переменных затрат при сохранении точности.
Важно пересмотреть подход к бенчмаркам агентов. Текущие бенчмарки часто приводят к агентам, которые проявляют хорошие результаты на тестах, но испытывают трудности в реальных сценариях. Рассмотрение факторов, таких как изменения в распределении и требования разработчиков, позволит создавать более практичные и эффективные бенчмарки, обусловливая необходимость этого изменения.
По мере того, как агенты искусственного интеллекта становятся более сложными, важность оценок безопасности не может быть недооценена. Это исследование подчеркивает важную роль существующих рамок в регулировании агентов ИИ.
Работа команды позволяет оценивать стоимостную эффективность возможных рисков, что помогает обнаруживать и предотвращать возможные проблемы безопасности. В связи с этим, создатели бенчмарков безопасности ИИ должны включать оценку затрат. Это работа предлагает изменить способ оценки агентов, смещая фокус исследователей с точности на учет затрат.
Подробнее ознакомьтесь с исследованием. Вся заслуга за это исследование принадлежит его авторам. Также не забудьте подписаться на нашу ленту в Twitter.
Присоединяйтесь к нашему Telegram каналу и группе в LinkedIn.
Если вам нравится наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему сообществу в SubReddit с более чем 46 тысячами участников.
Попробуйте ИИ ассистент в продажах от Flycode.ru. Этот ассистент помогает отвечать на вопросы клиентов, генерировать контент и снижать нагрузку на первую линию продаж. Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
