Intel Releases a Low-bit Quantized Open LLM Leaderboard for Evaluating Language Model Performance through 10 Key Benchmarks

Домен квантования больших языковых моделей (LLM) привлек внимание благодаря своему потенциалу сделать мощные технологии искусственного интеллекта более доступными, особенно в средах, где вычислительные ресурсы ограничены. Путем снижения вычислительной нагрузки, необходимой для запуска этих моделей, квантование обеспечивает возможность использования передового искусственного интеллекта в более широком спектре практических сценариев без ущерба для производительности.

Практические решения и ценность

Традиционные большие модели требуют значительных ресурсов, что препятствует их развертыванию в менее оборудованных средах. Поэтому разработка и совершенствование техник квантования, методов сжатия моделей для уменьшения вычислительных ресурсов без значительной потери точности, является критической.

Различные инструменты и бенчмарки используются для оценки эффективности различных стратегий квантования на LLM. Эти бенчмарки охватывают широкий спектр, включая задачи общего знания и рассуждения в различных областях. Они оценивают модели как в нулевых, так и в небольших сценариях, исследуя, насколько хорошо эти квантованные модели выполняют различные типы когнитивных и аналитических задач без обширной донастройки или с минимальным обучением на основе примеров, соответственно.

Исследователи из Intel представили Low-bit Quantized Open LLM Leaderboard на платформе Hugging Face. Этот рейтинг предоставляет платформу для сравнения производительности различных квантованных моделей с использованием последовательной и строгой системы оценки. Это позволяет исследователям и разработчикам более эффективно измерять прогресс в этой области и определять, какие методы квантования обеспечивают лучший баланс между эффективностью и эффективностью.

Практические применения

Методика включает в себя строгие испытания через Eleuther AI-Language Model Evaluation Harness, который проводит модели через ряд задач, разработанных для тестирования различных аспектов производительности модели. Задачи включают понимание и генерацию ответов, основанных на заданных подсказках, решение проблем в академических предметах, таких как математика и наука, и определение истин в сложных сценариях вопросов. Модели оцениваются на основе точности и достоверности их выводов по сравнению с ожидаемыми человеческими ответами.

Десять ключевых бенчмарков, используемых для оценки моделей на платформе Eleuther AI-Language Model Evaluation Harness:

• AI2 Reasoning Challenge (0-shot)
• AI2 Reasoning Easy (0-shot)
• HellaSwag (0-shot)
• MMLU (0-shot)
• TruthfulQA (0-shot)
• Winogrande (0-shot)
• PIQA (0-shot)
• Lambada_Openai (0-shot)
• OpenBookQA (0-shot)
• BoolQ (0-shot)

В заключение, эти бенчмарки коллективно тестируют широкий спектр навыков рассуждения и общих знаний в нулевых и небольших сценариях. Результаты рейтинга показывают разнообразие производительности различных моделей и задач. Модели, оптимизированные для определенных типов рассуждений или конкретных областей знаний, иногда испытывают трудности с другими когнитивными задачами, что подчеркивает компромиссы, присущие текущим методам квантования. Например, хотя некоторые модели могут преуспевать в понимании повествования, они могут плохо справляться с областями, требующими большого объема данных, такими как статистика или логическое рассуждение. Эти расхождения критически важны для направления дальнейшего проектирования моделей и улучшения подходов к обучению.