SeedLM: Метод сжатия после обучения для эффективного кодирования и сжатия весов больших языковых моделей с использованием псевдослучайных генераторов

SeedLM: Эффективный метод сжатия весов LLM

Проблема больших языковых моделей

Большие языковые модели (LLM) имеют огромные размеры и требуют много памяти, что затрудняет их использование на устройствах с ограниченными ресурсами. Высокие требования к памяти приводят к большому потреблению энергии и увеличению времени обработки.

Решение SeedLM

Исследователи из Apple и Meta AI разработали метод SeedLM, который предлагает эффективное сжатие весов моделей без необходимости в данных для калибровки. Этот метод использует псевдослучайные генераторы для кодирования и сжатия весов, что значительно снижает потребность в памяти, сохраняя при этом эффективность вычислений.

Как работает SeedLM?

SeedLM применяет генераторы LFSR для создания псевдослучайных матриц во время обработки, что позволяет уменьшить количество обращений к памяти. Метод позволяет сжимать веса моделей, таких как Llama 3 70B, до 3-4 бит с минимальными потерями в точности.

Преимущества SeedLM

Отсутствие необходимости в данных для калибровки: SeedLM работает без дополнительных данных, что упрощает процесс сжатия.
Высокая точность: SeedLM демонстрирует высокую точность даже при низкой битовой глубине, сохраняя до 99% точности по сравнению с полными моделями.
Энергоэффективность: Метод реализован на кремниевых чипах, что делает его подходящим для задач с ограниченной памятью.

Тестирование и результаты

SeedLM был протестирован на различных моделях, включая Llama 2 и Llama 3, с параметрами до 70 миллиардов. Результаты показали, что SeedLM превосходит современные методы сжатия, особенно при использовании 3-4 бит. В тестах на FPGA SeedLM обеспечил почти 4-кратное ускорение по сравнению с базовыми моделями.

Заключение

SeedLM представляет собой эффективное решение для сжатия весов LLM, что позволяет использовать большие модели на устройствах с ограниченной памятью. Этот метод упрощает процесс сжатия, сохраняя при этом высокие уровни точности и производительности.