Исследователи OpenAI представили MLE-bench: новый стандарт для оценки работы ИИ в машинном обучении.

Введение в MLE-bench

Модели машинного обучения (ML) достигли хороших результатов в различных задачах программирования, но существует пробел в эффективной оценке возможностей AI-агентов в области ML-инженерии. Существующие бенчмарки в основном оценивают изолированные навыки программирования, не учитывая способность выполнять сложные ML задачи, такие как подготовка данных, обучение моделей и отладка.

Представление MLE-bench

Чтобы заполнить этот пробел, исследователи OpenAI разработали MLE-bench, всесторонний бенчмарк, который оценивает AI-агентов по широкому спектру задач ML-инженерии, вдохновленных реальными сценариями. MLE-bench состоит из 75 конкурсов по ML, полученных с Kaggle. Конкурсы охватывают различные области, такие как обработка естественного языка, компьютерное зрение и обработка сигналов.

Преимущества MLE-bench

Оценка всех аспектов: MLE-bench позволяет оценивать навыки AI-агентов от подготовки данных до оценки результатов.
Сравнение с человеческим опытом: Метрики производительности людей собираются из открытых таблиц лидеров Kaggle, что позволяет проводить сравнения.
Практические задачи: Все задачи представляют собой реальные инженерные вызовы, что делает бенчмарк актуальным и реалистичным.

Структура и детали MLE-bench

Каждый из 75 конкурсов состоит из описания проблемы, набора данных, локальных инструментов для оценки и кода для оценивания производительности агента. Подходы к оценке включают стандартные метрики, такие как средняя ошибка и другие специфические функции потерь.

Результаты экспериментов и анализ производительности

Оценка различных моделей AI на MLE-bench показала интересные результаты. Модель o1-preview от OpenAI с использованием AIDE показала лучшие результаты, получив медали в 16,9% конкурсов. Производительность заметно улучшалась с повторными попытками, что подчеркивает важность многократного анализа решений.

Ключевые наблюдения:

Дополнительные ресурсы, такие как время вычислений и оборудование, значительно влияли на результаты.
Модели показывали лучшие результаты при возможности итеративной работы над решениями.

Заключение и будущее направления

MLE-bench представляет собой значительный шаг вперед в оценке возможностей AI-агентов в области ML-инженерии, сосредотачиваясь на всесторонних показателях производительности. Он предлагает надежную основу для исследования и понимания потенциала AI в выполнении практических задач ML. Открытый исходный код MLE-bench позволит исследователям и разработчикам добавлять новые задачи и улучшать существующие методы.