Исследователи Alibaba Qwen представили ProcessBench: новый стандарт для оценки способности выявления ошибок в математическом мышлении.

Исследования в области языковых моделей

Недавние исследования показывают, что языковые модели достигли значительных успехов в сложных задачах, таких как математика и программирование. Однако они все еще сталкиваются с трудностями при решении особенно сложных проблем.

Проблемы оценки и новые подходы

Существующие методы оценки имеют серьезные ограничения. Некоторые задачи становятся менее сложными для продвинутых моделей, а другие предлагают лишь бинарные оценки без подробных аннотаций ошибок. Это подчеркивает необходимость более глубоких и комплексных методов оценки.

Новые бенчмарки для оценки моделей

Появились несколько наборов данных для оценки процессов рассуждения языковых моделей:

CriticBench – оценивает способности моделей критиковать решения и исправлять ошибки.
MathCheck – использует набор данных GSM8K для создания решений с намеренными ошибками.
PRM800K – предоставляет аннотации для проверки правильности шагов рассуждения.

PROCESSBENCH от команды Qwen и Alibaba

Исследователи представили PROCESSBENCH, новый бенчмарк для оценки способности языковых моделей выявлять ошибки в математическом рассуждении. Он включает:

Сложные математические задачи.
Разнообразие решений.
Комплексную оценку.

Бенчмарк состоит из 3,400 тестовых случаев, каждый из которых аннотирован экспертами для обеспечения высокого качества данных.

Методы и результаты оценки

Исследование показало, что существующие модели имеют трудности с обобщением на более сложные задачи. Это подчеркивает необходимость более надежных стратегий идентификации ошибок.