Microsoft Released SuperBench: A Groundbreaking Proactive Validation System to Enhance Cloud AI Infrastructure Reliability and Mitigate Hidden Performance Degradations
Облачная ИИ инфраструктура крайне важна для современных технологий, обеспечивая основу для различных рабочих нагрузок и сервисов ИИ. Надежность этих инфраструктур имеет решающее значение, поскольку любая сбой может привести к широкомасштабным нарушениям, особенно в крупных распределенных системах, где рабочие нагрузки синхронизируются через множество узлов. Эта синхронизация означает, что сбой в одном узле может иметь каскадные эффекты, усиливая воздействие и вызывая значительное простаивание или ухудшение производительности. Сложность и масштаб этих систем делают жизненно важным наличие надежных механизмов для поддержания их бесперебойной работы и минимизации инцидентов, которые могли бы повлиять на качество обслуживания, предоставляемого пользователям.
Основные проблемы поддержания облака ИИ инфраструктуры
Одной из основных проблем при поддержании облачной ИИ инфраструктуры является обнаружение скрытых деградаций из-за избыточности аппаратных средств. Эти тонкие сбои, часто называемые “серыми сбоями”, не вызывают немедленных катастрофических проблем, но постепенно снижают производительность со временем. Эти проблемы особенно проблематичны, потому что их сложно обнаружить с помощью обычных инструментов мониторинга, обычно предназначенных для определения более очевидных бинарных состояний отказа. Коварство серых сбоев осложняет задачу анализа корневых причин, усложняя задачу облачным провайдерам идентификации и устранения основных проблем до их экскалации в более значительные проблемы, которые могли бы повлиять на всю систему.
SuperBench: Решение для обеспечения надежности облачной ИИ инфраструктуры
Команда исследователей из Microsoft Research и Microsoft представила SuperBench – систему проактивной валидации, разработанную для улучшения надежности облачной ИИ инфраструктуры путем решения проблемы скрытой деградации. SuperBench выполняет комплексную оценку аппаратных компонентов под реалистичными рабочими нагрузками ИИ. Система включает два основных компонента: Валидатор, который изучает критерии бенчмаркинга для идентификации дефектных компонентов, и Селектор, который оптимизирует время и область процесса валидации, чтобы обеспечить его эффективность и эффективность. SuperBench может запускать разнообразные бенчмарки, представляющие большинство реальных рабочих нагрузок ИИ, что позволяет обнаружить тонкие регрессии производительности, которые иначе могли бы остаться незамеченными.
Эффективность SuperBench
Эффективность SuperBench продемонстрирована его внедрением в производственную среду Azure, где он использовался для валидации сотен тысяч GPU. Благодаря тщательному тестированию, SuperBench показал, что он может увеличить среднее время между инцидентами (MTBI) до 22.61 раза. Путем сокращения времени, необходимого для валидации, и фокусировки на самых важных компонентах SuperBench снизил стоимость времени валидации на 92.07%, одновременно увеличив количество часов использования GPU для пользователей в 4.81 раза.
Заключение
В заключение, SuperBench, сосредотачиваясь на раннем выявлении и устранении скрытых деградаций, предлагает надежное решение для сложной задачи обеспечения непрерывной и надежной работы крупномасштабных ИИ сервисов. Способность системы идентифицировать тонкие регрессии производительности и оптимизировать процесс валидации делает его бесценным инструментом для облачных провайдеров услуг, стремящихся улучшить надежность своей ИИ инфраструктуры.
