Развитие модульного развертывания искусственного интеллекта через Composition of Experts на платформе SambaNova SN40L
В области искусственного интеллекта (ИИ) использование монолитных больших языковых моделей (LLM), таких как GPT-4, является ключевым фактором в продвижении современных генеративных приложений ИИ. Однако обслуживание, обучение и развертывание этих LLM в масштабах сталкиваются с рядом сложностей, прежде всего из-за высоких затрат и сложностей. Эти проблемы усугубляются растущим неравенством вычислительной мощности и объема памяти в современных ускорителях ИИ, что приводит к узкому месту, известному как “стена памяти”. Это обстоятельство требует инновационных стратегий развертывания для того, чтобы сделать ИИ более доступным и выполнимым.
Практические преимущества модульного подхода
Подход Composition of Experts (CoE) предлагает многообещающее решение для этих проблем. Путем интеграции множества более мелких, специализированных моделей, каждая из которых имеет значительно меньше параметров, чем монолитные LLM, CoE может соответствовать или превзойти производительность более крупных моделей. Эта модульная стратегия существенно снижает сложность и стоимость обучения и развертывания систем ИИ.
Инновационное применение CoE на платформе SambaNova
Исследователи из SambaNova Systems, Inc., исследуют инновационное применение CoE путем развертывания системы Samba-CoE на устройстве SambaNova SN40L Reconfigurable Dataflow Unit (RDU). Этот коммерческий ускоритель потока данных специально разработан для применения на предприятии и обладает прорывной трехуровневой системой памяти. Эта система включает в себя распределенный SRAM на микросхеме, высокопропускную память HBM на пакете и внешнюю DDR DRAM, что улучшает операционную эффективность моделей ИИ.
Ключевым компонентом этой архитектуры является выделенная меж-RDU сеть, которая облегчает масштабирование по количеству сокетов. Эта возможность критически важна для поддержки структуры CoE, которая полагается на безшовную интеграцию и коммуникацию между множеством небольших экспертных моделей.
Конкретные результаты и преимущества
Практические выгоды развертывания CoE на платформе SambaNova явно проявляются в значительном уменьшении физического размера и операционных накладных расходов систем ИИ. В частности, 8-сокетный узел RDU уменьшает площадь машины до 19 раз и улучшает время переключения моделей на 15-31 раз. В целом система превосходит DGX H100 и DGX A100 в 3,7 и 6,6 раз соответственно.
В заключение, применение CoE на платформе SambaNova SN40L демонстрирует значительное развитие в развертывании технологий ИИ. Это позволяет преодолеть проблему “стены памяти” и демократизировать возможности передового ИИ, делая их доступными для широкого круга пользователей и приложений.
