Исследователи из Caltech, Meta FAIR и NVIDIA AI представили метод Tensor-GaLore для эффективного обучения нейронных сетей с тензорными весами высшего порядка.

Введение в Tensor-GaLore

Развитие нейронных сетей привело к значительным изменениям в таких областях, как обработка естественного языка, компьютерное зрение и научные вычисления. Однако высокая стоимость вычислений при обучении моделей остается важной проблемой. Нейронные сети используют тензоры более высокого порядка для захвата сложных взаимосвязей, что приводит к неэффективному использованию памяти.

Практическое решение

Исследователи из Caltech, Meta FAIR и NVIDIA AI разработали метод Tensor-GaLore для эффективного обучения нейронных сетей с использованием тензоров более высокого порядка. Tensor-GaLore работает непосредственно в пространстве высокопорядковых тензоров, что улучшает эффективность памяти и поддерживает приложения, такие как Fourier Neural Operators (FNOs).

Преимущества Tensor-GaLore

Эффективность памяти: Экономия до 75% памяти для состояний оптимизаторов.
Сохранение структуры: Удерживает оригинальную структуру тензоров, сохраняя пространственную и временную информацию.
Регуляризация: Помогает предотвратить переобучение.
Масштабируемость: Обновления весов и контроль активации уменьшают пиковое использование памяти.

Результаты и достижения

Tensor-GaLore показал значительные улучшения в различных задачах:

Уравнения Навье-Стокса: Снижение использования памяти оптимизатора на 76% при разрешении 1024×1024.
Проблема Дарси: Уменьшение потерь на 48% при коэффициенте ранга 0.25.
Распространение электромагнитных волн: Увеличение точности тестирования на 11%.

Заключение

Tensor-GaLore – это практическое решение для экономии памяти при обучении нейронных сетей. Оно улучшает эффективность и производительность, что делает его ценным инструментом для научных открытий с использованием ИИ.