AutoBencher: Метрически ориентированный подход ИИ к созданию новых наборов данных для языковых моделей
Эта статья рассматривает проблему эффективной оценки языковых моделей (LMs). Оценка является ключевой для оценки возможностей модели, отслеживания научного прогресса и выбора модели. Традиционные бенчмарки часто не выявляют новые тенденции в производительности и иногда слишком просты для продвинутых моделей, предоставляя мало места для роста. Исследование выделяет три ключевых желаемых свойства, которых часто не хватает существующим бенчмаркам: значимость (тестирование практически важных возможностей), новизна (выявление ранее неизвестных тенденций в производительности) и сложность (предъявление вызовов существующим моделям).
Текущие методы оценки языковых моделей
Включают в себя создание бенчмарков, тестирующих конкретные возможности, такие как математическое мышление или понимание академических предметов. Предыдущие работы создали высококачественные бенчмарки, руководствуясь значимостью и сложностью. Хотя эти бенчмарки ценны, они часто демонстрируют сходные тенденции производительности различных моделей, ограничивая их способность выявлять уникальные сильные и слабые стороны.
AutoBencher: новый инструмент для создания бенчмарков
Предлагает автоматическое создание наборов данных, удовлетворяющих трем желаемым свойствам: значимости, новизны и сложности. AutoBencher использует языковую модель для поиска и создания наборов данных из привилегированных источников информации. Этот подход позволяет создавать более сложные и информативные бенчмарки по сравнению с существующими. Например, AutoBencher может выявлять пробелы в знаниях LM, которые не учитываются текущими бенчмарками, такие как различия в производительности по менее распространенным темам, например, Пермскому вымиранию или Фордизму.
Преимущества AutoBencher
AutoBencher работает, используя языковую модель для предложения тем оценки в широкой области (например, история) и создания небольших наборов данных для каждой темы, используя надежные источники, такие как Википедия. Инструмент оценивает каждый набор данных на основе его значимости, новизны и сложности, выбирая лучшие для включения в бенчмарк. Этот итеративный и адаптивный процесс позволяет инструменту улучшать генерацию наборов данных для непрерывной максимизации желаемых свойств.
Кроме того, AutoBencher использует адаптивный поиск, где траектория прошлых сгенерированных бенчмарков используется для улучшения сложности предлагаемых тем. Это позволяет AutoBencher идентифицировать и выбирать темы, которые одновременно максимизируют новизну и сложность, при условии значимости, указанной пользователем.
Для обеспечения высококачественных наборов данных AutoBencher включает привилегированную информацию, к которой оцениваемые LMs не имеют доступа, такие как подробные документы или конкретные данные, относящиеся к теме. Эта привилегированная информация помогает создавать точные и сложные вопросы. Результаты показывают, что бенчмарки, созданные AutoBencher, в среднем на 27% более новые и на 22% более сложные, чем существующие бенчмарки, созданные людьми. Инструмент был использован для создания наборов данных в различных областях, включая математику, историю, науку, экономику и мультиязычие, выявляя новые тенденции и пробелы в производительности моделей.
Заключение
Проблема эффективной оценки языковых моделей критична для их развития и оценки возможностей. AutoBencher предлагает многообещающее решение, автоматизируя создание значимых, новых и сложных бенчмарков, тем самым предоставляя более всестороннюю и сложную систему оценки для языковых моделей. Авторы демонстрируют эффективность своего подхода, создавая разнообразные бенчмарки, выявляющие ранее неизвестные тенденции производительности в различных языковых моделях, предоставляя ценные идеи для руководства будущим развитием и выбором моделей. Этот подход выявляет существующие пробелы в знаниях моделей и прокладывает путь для будущих улучшений.
Проверьте статью и GitHub. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 46k+ ML SubReddit.
Попробуйте ИИ ассистент в продажах здесь. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
