Коэффициент использования пространства квантования: новый метод посттренировочной квантования для повышения эффективности больших языковых моделей.

Оптимизация моделей с помощью постобучающей квантизации (PTQ)

Постобучающая квантизация (PTQ) направлена на уменьшение размера и увеличение скорости работы больших языковых моделей (LLM), чтобы сделать их более практичными для реального использования. Однако, сложные распределения данных во время квантизации создают значительные трудности, что может снизить точность модели.

Проблемы существующих методов PTQ

Текущие методы PTQ, такие как GPTQ и AWQ, пытаются уменьшить использование памяти, но не всегда обеспечивают полную оптимизацию точности. Методы квантизации активаций, такие как SmoothQuant и ZeroQuant, сталкиваются с проблемами из-за доминирования выбросов активаций.

Решение: Коэффициент использования пространства квантизации (QSUR)

Исследователи предложили концепцию Коэффициента использования пространства квантизации (QSUR), который измеряет, насколько эффективно распределения весов и активаций используют пространство квантизации. Это позволяет оценивать и улучшать методы PTQ.

Новая структура: OSTQuant

Предложенная структура OSTQuant сочетает ортогональные и масштабируемые преобразования для оптимизации распределений весов и активаций. Это обеспечивает эффективность вычислений и снижает переобучение без потери качества выходных данных.

Результаты применения OSTQuant

OSTQuant был протестирован на моделях LLaMA и показал высокие результаты, значительно превышая другие методы. Например, LLaMA-3-8B показал лишь небольшое снижение точности в задачах без обучения.

Преимущества использования ИИ

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, рассмотрите возможность использования методов квантизации, таких как QSUR. Определите, где можно внедрить автоматизацию и какие ключевые показатели эффективности (KPI) вы хотите улучшить.