Исследователи Intel предлагают новый подход искусственного интеллекта для более эффективного развертывания LLM на процессорах. Это может привести к улучшению производительности и оптимизации использования ЦПУ. Интересная новость в мире технологий!
Большие языковые модели (LLM) стали настоящим сенсацией в мире благодаря их впечатляющей производительности и потенциалу в различных задачах. Они известны своими способностями в генерации текста, понимании языка, резюмировании текста и многих других областях. Однако их огромный объем модельных параметров требует значительной емкости памяти и специализированного оборудования для практического использования. В связи с этим развертывание этих моделей оказывается довольно сложным.
Снижение вычислительной мощности с помощью квантования
Один из способов снижения требуемой вычислительной мощности для практического применения – использование методов квантования, то есть уменьшение точности весов и функций активации искусственной нейронной сети. Например, квантование в int8 и только весов может улучшить стоимость вычислений. Однако эти методы обычно оптимизированы для CUDA и не всегда работают на процессорах CPU.
Новый подход от исследователей Intel
Исследователи из компании Intel предложили эффективный метод развертывания LLM-моделей на процессорах CPU. Их подход поддерживает автоматическое квантование весов в int4 (низкая точность применяется только к весам модели, при этом точность функций активации остается высокой). Они также разработали специальную среду выполнения LLM, которая имеет высокооптимизированные ядра для ускорения процесса вывода на процессорах CPU.
Результаты эксперимента
В ходе инженерного эксперимента исследователи выбрали несколько популярных LLM-моделей с различными размерами параметров (от 7B до 20B). Они оценили производительность моделей в форматах FP32 и int4 на открытых наборах данных. Было обнаружено, что точность квантованной модели на выбранных наборах данных практически сравнима с точностью модели FP32. Кроме того, был проведен сравнительный анализ задержки генерации следующего токена, и было обнаружено, что среда выполнения LLM превосходит решение на базе ggml в 1,6 раза.
Выводы
Эта научно-исследовательская работа предлагает решение одной из ключевых проблем, связанных с использованием LLM-моделей на процессорах CPU. Обычно эти модели требуют специализированного оборудования, такого как графические процессоры, что делает их недоступными для многих организаций. В данной статье представлено квантование моделей в формат int4 с использованием специализированной среды выполнения LLM для эффективного вывода на процессорах CPU. Результаты эксперимента показывают преимущество перед решениями на базе ggml и точность, сравнимую с моделями FP32. Возможно, есть потенциал для дальнейшего совершенствования, и исследователи планируют усилить возможности генеративного искусственного интеллекта на персональных компьютерах, чтобы удовлетворить растущий спрос на контент, генерируемый с помощью ИИ.
Для получения рекомендаций по внедрению ИИ в бизнес, свяжитесь с нами по адресу hello@flycode.ru. Чтобы быть в курсе последних новостей об ИИ, подписывайтесь на наш Telegram-канал t.me/flycodetelegramru.
Ознакомьтесь с практическим примером решения на основе ИИ: бот для продаж от flycode.ru/aisales, созданный для автоматизации общения с клиентами круглосуточно и управления взаимодействием на всех этапах пути клиента.
Изучите, как искусственный интеллект может улучшить ваши продажи и общение с клиентами. Познакомьтесь с нашими решениями на сайте flycode.ru
