“`html
Решение для эффективного обслуживания нескольких LLM одновременно
Большие языковые модели (LLM) приобрели значительную популярность в индустрии искусственного интеллекта, революционизируя различные приложения, такие как чаты, программирование и поиск. Однако эффективное обслуживание нескольких LLM стало критической проблемой для поставщиков конечных точек. Основная проблема заключается в значительных вычислительных требованиях этих моделей, например, для одной модели 175B LLM требуется восемь A100 (80GB) GPU для вывода.
Текущие методы и проблемы
Текущие методы, в частности, пространственное разделение, требуют улучшения в использовании ресурсов. Этот подход выделяет отдельные группы GPU для каждого LLM, что приводит к недоиспользованию из-за различной популярности моделей и скорости запросов. Следовательно, менее популярные LLM приводят к простою GPU, в то время как популярные испытывают узкие места в производительности, что подчеркивает необходимость более эффективных стратегий обслуживания.
Решение MuxServe
Исследователи из нескольких университетов представляют MuxServe, гибкий пространственно-временной мультиплексный подход для обслуживания нескольких LLM, решающий проблемы использования GPU. Система использует жадный алгоритм размещения, адаптивное планирование партий и унифицированный менеджер ресурсов для максимизации эффективности. Путем разделения GPU SM с помощью CUDA MPS MuxServe достигает эффективного пространственно-временного разделения. Этот подход приводит к увеличению пропускной способности на 1,8 раза по сравнению с существующими системами, что является значительным прорывом в эффективном обслуживании нескольких LLM.
Преимущества и результаты
MuxServe демонстрирует превосходную производительность как в синтетических, так и в реальных рабочих нагрузках. В синтетических сценариях он достигает до 1,8 раза большей пропускной способности и обрабатывает до 2,9 раз больше запросов с достижением SLO в 99% по сравнению с базовыми системами. В реальных нагрузках MuxServe превосходит пространственное разделение и временной мультиплексинг на 1,38 и 1,46 раза соответственно, обеспечивая более высокое достижение SLO при различных скоростях запросов.
Заключение
Исследование представляет MuxServe как значительный прорыв в области обслуживания LLM. Его инновационный подход к мультиплексированию LLM на основе их популярности и разделение предварительной загрузки и декодирования приводит к улучшению использования GPU. Этот метод демонстрирует существенный прирост производительности по сравнению с существующими системами, достигая более высокой пропускной способности и лучшего достижения SLO при различных сценариях рабочей нагрузки. Возможность MuxServe адаптироваться к различным размерам LLM и шаблонам запросов делает его универсальным решением для растущих потребностей в развертывании LLM. MuxServe предоставляет многообещающую платформу для эффективного и масштабируемого обслуживания LLM в условиях постоянной эволюции индустрии искусственного интеллекта.
“`
