Роль LLM, таких как ChatGPT, в научных исследованиях: интеграция масштабируемого искусственного интеллекта и высокопроизводительных вычислений для решения сложных задач и ускорения открытий в различных областях
В современном научном исследовании потенциал трансформации, который представляет собой искусственный интеллект, становится все более очевидным. Особенно это верно, когда применяются масштабируемые системы искусственного интеллекта на платформах высокопроизводительных вычислений (HPC). Это исследование масштабируемого искусственного интеллекта для науки подчеркивает необходимость интеграции больших вычислительных ресурсов с обширными наборами данных для решения сложных научных задач.
Применение и практические решения
Успех моделей искусственного интеллекта, таких как ChatGPT, подчеркивает два основных преимущества, необходимых для их эффективности: разработка архитектуры трансформера и возможность обучения на обширных объемах данных масштаба интернета.
Эти элементы заложили основу для значительных научных открытий, как это видно в усилиях, таких как моделирование черных дыр, динамика жидкости и предсказание структуры белков. Например, одно исследование использовало искусственный интеллект и высокопроизводительные вычисления для усовершенствования моделей слияния черных дыр, используя набор данных из 14 миллионов волновых форм на суперкомпьютере Summit.
Применение масштабируемого искусственного интеллекта имеет решающее значение для достижения таких научных прорывов. Различные научные проблемы требуют различных уровней вычислительного масштаба, и HPC предоставляет инфраструктуру для решения этих разнообразных требований. Это отличает ИИ для науки (AI4S) от потребительского ИИ, часто работающего с разреженными данными высокой точности из дорогостоящих экспериментов или симуляций.
Научный ИИ требует обработки специфических характеристик научных данных, включая интеграцию известных знаний области, таких как уравнения частных производных (PDE). Методы, разработанные для удовлетворения этих уникальных требований, включают физически информированные нейронные сети (PINNs), нейронные обыкновенные дифференциальные уравнения (NODEs) и универсальные дифференциальные уравнения (UDEs).
Масштабирование систем искусственного интеллекта включает как модельное, так и данных-ориентированное параллелизм. Например, обучение большой модели, такой как GPT-3, на одном графическом процессоре NVIDIA V100 займет века, но использование параллельных методов масштабирования может сократить это время до немногим более месяца на тысячах графических процессоров.
Научный ИИ отличается от потребительского ИИ своей обработкой данных и требованиями к точности. В то время как потребительские приложения могут полагаться на 8-битные целочисленные выводы, научные модели часто требуют чисел с плавающей запятой высокой точности и строгого соблюдения физических законов.
Одним из критических аспектов AI4S является учет специфических характеристик научных данных. Это включает обработку физических ограничений и интеграцию известных знаний области, таких как PDE. Мягкие штрафные ограничения, нейронные операторы и символьная регрессия – это методы, используемые в научном машинном обучении.
Эволюция ИИ для науки включает разработку гибридных рабочих процессов ИИ-симуляции, таких как когнитивные симуляции (CogSim) и цифровые двойники. Эти рабочие процессы смешивают традиционные симуляции с моделями искусственного интеллекта для улучшения точности прогнозирования и процессов принятия решений.
Несколько тенденций формируют ландшафт масштабируемого ИИ для науки. Переход к моделям смеси экспертов (MoE), которые имеют разреженные связи и, следовательно, более экономичны, набирает обороты. Ограничения трансформаторных моделей, такие как длина контекста и вычислительные расходы, возрождают интерес к линейным рекуррентным нейронным сетям (RNNs), которые обеспечивают большую эффективность для длинных токенов.
Наконец, интерпретируемость и объяснимость моделей ИИ должны быть учтены. Разработка инструментов для объяснения оснований прогнозов ИИ критически важна.
