Новый рейтинг Open LLM Leaderboard 2: более сложные тесты, справедливая оценка и улучшенное взаимодействие с сообществом для оценки языковых моделей

 Hugging Face Releases Open LLM Leaderboard 2: A Major Upgrade Featuring Tougher Benchmarks, Fairer Scoring, and Enhanced Community Collaboration for Evaluating Language Models

«`html

Объявление о выпуске Open LLM Leaderboard v2 от Hugging Face: новые возможности и практические решения

Недавно Hugging Face объявила о выпуске Open LLM Leaderboard v2, существенного обновления, направленного на решение проблем и ограничений предыдущей версии. Новый Leaderboard вводит более строгие бенчмарки, улучшенные методы оценки и более справедливую систему оценки, обещая оживить конкурентную среду для языковых моделей.

Решение проблемы насыщения бенчмарков

Оригинальный Open LLM Leaderboard стал ключевым ресурсом в сообществе машинного обучения, привлекая более 2 миллионов уникальных посетителей и 300 000 активных пользователей ежемесячно. Однако, увеличение производительности моделей привело к насыщению бенчмарков. Модели начали достигать базовой человеческой производительности на бенчмарках, таких как HellaSwag, MMLU и ARC, что снизило их эффективность. Кроме того, некоторые модели проявили признаки контаминации, так как были обучены на данных, аналогичных бенчмаркам, что подорвало целостность их оценок.

Введение новых бенчмарков

Для решения этих проблем Open LLM Leaderboard v2 представляет шесть новых бенчмарков, охватывающих различные возможности моделей:

  • MMLU-Pro: улучшенная версия набора данных MMLU с десятью вариантами ответов вместо четырех, требующая более глубокого мышления и экспертного обзора для уменьшения шума.
  • GPQA (Google-Proof Q&A Benchmark): высоко сложный набор знаний, разработанный экспертами в области, с механизмами защиты от контаминации.
  • MuSR (Multistep Soft Reasoning): набор алгоритмически созданных сложных задач, включая детективные и оптимизационные задачи, для проверки умения рассуждать и анализировать контекст на большом протяжении.
  • MATH (Mathematics Aptitude Test of Heuristics, Level 5 subset): задачи соревнований уровня старшей школы, сосредоточенные на самых сложных вопросах.
  • IFEval (Instruction Following Evaluation): проверка способности моделей следовать явным инструкциям с использованием строгих метрик.
  • BBH (Big Bench Hard): подмножество из 23 сложных задач из набора данных BigBench, охватывающих многошаговую арифметику, алгоритмическое рассуждение и понимание языка.

Более справедливые рейтинги с нормализованными оценками

Значительное изменение в новом Leaderboard — использование нормализованных оценок для ранжирования моделей. Ранее сырые оценки суммировались, что могло искажать производительность из-за различной сложности бенчмарков. Теперь оценки нормализуются между случайной базовой линией (0 баллов) и максимально возможным баллом (100 баллов). Этот подход обеспечивает более справедливое сравнение различных бенчмарков, предотвращая перекос влияния отдельного бенчмарка на окончательное ранжирование.

Например, в бенчмарке с двумя вариантами ответов на вопрос, случайная базовая линия получила бы 50 баллов. Эта сырая оценка будет нормализована до 0, выравнивая оценки между бенчмарками и предоставляя более четкую картину производительности модели.

Улучшенная воспроизводимость и интерфейс

Hugging Face обновила набор оценок в сотрудничестве с EleutherAI для улучшения воспроизводимости. Обновления включают поддержку дельта-весов (тонкая настройка/адаптация LoRA), новую систему регистрации, совместимую с Leaderboard, и использование чат-шаблонов для оценки. Кроме того, были проведены ручные проверки всех реализаций для обеспечения согласованности и точности. Интерфейс также значительно улучшен. Благодаря команде Gradio, в частности, Фредди Болтону, новый компонент Leaderboard загружает данные на стороне клиента, делая поиск и выбор столбцов мгновенными. Это улучшение предоставляет пользователям более быстрый и безупречный опыт.

Приоритет моделей, важных для сообщества

Новый Leaderboard вводит категорию «выбор хранителя», выделяя высококачественные модели из различных источников, включая крупные компании, стартапы, коллективы и отдельных участников. Этот подборный список направлен на включение передовых LLM и приоритизацию оценок наиболее полезных моделей для сообщества.

Голосование за актуальность модели

Была внедрена система голосования для управления большим объемом представленных моделей. Члены сообщества могут голосовать за предпочтительные модели, и те, которые получат больше голосов, будут приоритизированы для оценки. Эта система обеспечивает оценку наиболее ожидаемых моделей в первую очередь, отражая интересы сообщества.

В заключение, Open LLM Leaderboard v2 от Hugging Face представляет собой значительный вех в оценке языковых моделей. Благодаря более сложным бенчмаркам, более справедливой системе оценки и улучшенной воспроизводимости, он направлен на расширение границ развития моделей и предоставление более надежных исследований возможностей модели. Команда Hugging Face оптимистично смотрит в будущее, ожидая продолжения инноваций и улучшений с оценкой большего количества моделей на этом новом, более строгом Leaderboard.

«`

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Itinai.com it company office background blured photography by 5fd12c31 5208 4b8e aafe 893f47620ac9 1

    Критические уязвимости безопасности в Протоколе Контекста Модели (MCP)

    Практические бизнес-решения для устранения уязвимостей MCP Модельный контекстный протокол (MCP) предлагает значительные преимущества, но также несет в себе риски безопасности. Вот как можно улучшить бизнес и реальную жизнь, устраняя эти уязвимости. 1. Устранение…

  • Itinai.com it company office background blured photography by 969e10ee 2e3d 4795 981a bb3a54b45014 0

    Улучшение эффективности поиска с помощью обучения с подкреплением в рамках SEM от Ant Group

    Оптимизация использования инструментов и эффективности рассуждений в ИИ Понимание проблемы Недавние разработки в области больших языковых моделей (LLMs) продемонстрировали их способность выполнять сложные задачи рассуждения и использовать внешние инструменты, такие как поисковые системы.…

  • Itinai.com it company office background blured photography by 4eb35f19 7615 468b aeb9 1b0429702b67 1

    Улучшение принятия решений в бизнесе с помощью обучения с подкреплением

    Практические бизнес-решения Недавние достижения в области искусственного интеллекта открывают новые возможности для бизнеса. Вот как можно использовать их для улучшения бизнес-результатов: 1. Определение возможностей автоматизации Ищите процессы, которые можно автоматизировать с помощью ИИ,…

  • Itinai.com it company office background blured photography by 431ba571 009a 4ead 8847 7d3b7a613a24 1

    Создание Интеллектуальной Системы Вопрос-Ответ на Основе AI

    Создание Эффективной Системы Вопрос-Ответ Эта инструкция описывает шаги по созданию мощной системы вопрос-ответ, используя комбинацию передовых технологий. Интеграция API Tavily Search, Chroma, Google Gemini LLM и фреймворка LangChain позволит компаниям улучшить взаимодействие с…

  • Itinai.com it company office background blured photography by 41bad236 c948 453e 803a 7165a764e0bf 1

    Оптимизация программной инженерии с помощью языковых моделей

    Оптимизация программной инженерии с помощью языковых моделей Введение в языковые модели Современные достижения в области языковых моделей (LM) показывают их потенциал для автоматизации сложных задач в различных областях, включая программную инженерию. Эти модели…

  • Itinai.com it company office background blured photography by 4eb35f19 7615 468b aeb9 1b0429702b67 2

    AWS Strands Agents SDK: Упрощение разработки ИИ-агентов

    AWS Strands Agents SDK: Преобразование бизнеса с помощью ИИ Amazon Web Services (AWS) открыла доступ к Strands Agents SDK, который упрощает разработку ИИ-агентов. Это решение делает ИИ доступным для различных отраслей, позволяя разработчикам…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 3

    LightLab: Революция в управлении освещением изображений с помощью ИИ

    Введение в LightLab: Новый метод ИИ для управления освещением изображений Исследователи Google в сотрудничестве с несколькими университетами разработали LightLab, передовой метод ИИ, который позволяет точно управлять освещением в изображениях. Это новшество решает проблемы…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 2

    DeepSeek-V3: Революция в языковом моделировании с повышенной эффективностью

    Оптимизация языкового моделирования с помощью DeepSeek-AI Модели, такие как DeepSeek-V3, предлагают инновационные решения для повышения эффективности бизнеса. Вот как они могут улучшить бизнес-процессы и реальную жизнь: Проблемы масштабирования языковых моделей Организации сталкиваются с…

  • Itinai.com it company office background blured photography by 724d9f47 b65a 445e b4b5 b5939a7eba28 3

    Проблемы многоповоротных разговоров в ИИ: снижение производительности на 39%

    Понимание Проблем Использования Разговорного ИИ Разговорный ИИ, особенно большие языковые модели (LLMs), направлен на улучшение взаимодействия с пользователями. Однако, исследования показали значительное снижение эффективности—39%—при выполнении многоповоротных разговоров. Значение Контекста в Разговорах Разговорный ИИ…

  • Itinai.com it company office background blured photography by 431ba571 009a 4ead 8847 7d3b7a613a24 0

    Windsurf представляет SWE-1: Инновационные AI модели для разработки программного обеспечения

    Практические бизнес-решения с использованием SWE-1 Модель SWE-1 от Windsurf предлагает ряд инновационных решений для оптимизации процессов разработки программного обеспечения. Эти решения могут значительно улучшить бизнес и повседневную жизнь, обеспечивая более эффективное взаимодействие и…

  • Itinai.com it company office background blured photography by 976ad3f5 ce78 4bd8 aa05 19f4de5f5730 2

    BLIP3-o: Новый Открытый Мультимодальный Модель от Salesforce AI

    Введение в мультимодальное моделирование Мультимодальное моделирование позволяет системам интерпретировать и генерировать контент, включая визуальные и текстовые элементы. Это улучшает взаимодействие с пользователями и создает более увлекательные впечатления. Преимущества внедрения BLIP3-o Модель BLIP3-o предоставляет…

  • Itinai.com it company office background blured photography by 724d9f47 b65a 445e b4b5 b5939a7eba28 3

    OpenAI Codex: Революция в разработке программного обеспечения

    Внедрение Codex в бизнес-процессы OpenAI Codex представляет собой мощный инструмент, который может значительно улучшить процессы разработки программного обеспечения и повысить эффективность бизнеса. Вот практические решения, как использовать Codex для улучшения бизнес-результатов. Шаги по…

  • Itinai.com it company office background blured photography by 5fd12c31 5208 4b8e aafe 893f47620ac9 1

    LangGraph Multi-Agent Swarm: Библиотека для эффективных многопользовательских AI-систем

    Практические решения для бизнеса с использованием LangGraph Multi-Agent Swarm Введение LangGraph Multi-Agent Swarm — это библиотека Python для эффективного управления несколькими AI-агентами, работающими вместе как единое целое. Она предлагает решения для оптимизации бизнес-процессов,…

  • Itinai.com it company office background blured photography by a4b45723 df9d 4684 b150 bb2c5790acc8 1

    DanceGRPO: Революция в Генеративном ИИ для Визуального Создания

    Преобразование бизнеса с помощью ИИ: Рамочная структура DanceGRPO Введение в DanceGRPO Современные достижения в области генеративных моделей революционизировали создание визуального контента. Рамочная структура DanceGRPO сочетает эти достижения с человеческой обратной связью для улучшения…

  • Itinai.com it company office background blured photography by 0b545732 d29f 4839 a448 751a77ba1563 0

    Seed1.5-VL: Новая Эра Моделей Визуального и Текстового Понимания

    Практические бизнес-решения на основе Seed1.5-VL Как улучшить бизнес и реальную жизнь Seed1.5-VL предлагает множество возможностей для бизнеса, включая автоматизацию процессов, улучшение взаимодействия с клиентами и повышение эффективности анализа данных. Используя этот модель, компании…

  • Itinai.com it company office background blured photography by 969e10ee 2e3d 4795 981a bb3a54b45014 0

    Рост использования AI в бизнесе: ключевые тренды 2025 года

    Практические бизнес-решения на основе тенденций генеративного ИИ 1. Внедрение ИИ-инструментов для кодирования Использование ИИ для автоматизации процессов кодирования может значительно повысить производительность разработчиков. Инструменты, такие как Lovable и Cursor, показывают, как ИИ может…

  • Itinai.com it company office background blured photography by b78d385e b261 4424 829c 8c380ea5040f 1

    Запуск AlphaEvolve: Инновационный AI-агент для разработки и оптимизации алгоритмов

    Революция в открытии алгоритмов с AlphaEvolve AlphaEvolve от Google DeepMind предлагает новые решения для автоматизации процесса открытия алгоритмов, что значительно улучшает бизнес-процессы и научные исследования. Практические бизнес-решения AlphaEvolve может: Сократить время на разработку…

  • Itinai.com it company office background blured photography by e4139fc1 862c 4177 9de9 70fb39c5af9e 2

    Запуск Arcana и Rimecaster: Открытые инструменты ИИ для голосовых приложений

    Практические решения для бизнеса на основе Voice AI Введение в эволюцию Voice AI Современные системы Voice AI становятся более естественными и адаптированными к человеческому общению. Модели, такие как Arcana и Rimecaster, предлагают новые…