“`html

FlashAttention-3: новый уровень скорости и точности в использовании современного оборудования и вычислений с низкой точностью

FlashAttention-3, последний релиз серии FlashAttention, разработан для устранения внутренних узких мест слоя внимания в архитектурах трансформаторов. Эти узкие места критичны для производительности больших языковых моделей (БЯМ) и приложений, требующих обработки длинного контекста.

Серия FlashAttention, включая предшественников FlashAttention и FlashAttention-2, революционизировала работу механизмов внимания на графических процессорах (GPU), минимизируя чтение и запись памяти. Большинство библиотек широко приняли это новшество для ускорения обучения и вывода трансформаторов, внося значительный вклад в драматическое увеличение длины контекста БЯМ в последние годы. Например, длина контекста выросла с 2-4 тыс. токенов в моделях, таких как GPT-3, до 128 тыс. токенов в GPT-4 и даже до 1 миллиона токенов в моделях, таких как Llama 3.

Выборочные оптимизации для улучшения скорости внимания на Hopper GPU

Одной из ключевых особенностей FlashAttention-3 является способность использовать асинхронность Tensor Cores и TMA для перекрытия вычислений и перемещения данных. Это позволяет FlashAttention-3 значительно увеличить скорость вычислений и точность за счет уменьшения ошибки квантования при помощи несогласованной обработки.

FlashAttention-3 1,5-2 раза быстрее, чем FlashAttention-2 с использованием FP16, достигая до 740 TFLOPS, что составляет 75% от теоретически максимальной производительности FLOP на H100 GPU. С использованием FP8 FlashAttention-3 достигает близко к 1,2 PFLOPS, что представляет собой значительный скачок в производительности с 2,6 раза меньшей ошибкой по сравнению с базовым вниманием FP8.

Использование библиотеки CUTLASS NVIDIA

Эти успехи основаны на использовании библиотеки CUTLASS NVIDIA, предоставляющей мощные абстракции, позволяющие FlashAttention-3 использовать возможности Hopper GPU. Путем переписывания FlashAttention для интеграции этих новых функций Dao AI Lab разблокировал значительные приросты эффективности, позволяя новым моделям расширить возможности, такие как увеличение длины контекста и улучшение скорости вывода.

Парадигмальный сдвиг в применении механизмов внимания в БЯМ

Релиз FlashAttention-3 представляет собой парадигмальный сдвиг в проектировании и реализации механизмов внимания в больших языковых моделях. Dao AI Lab продемонстрировала, как целенаправленные оптимизации могут привести к значительному улучшению производительности путем тесного соответствия алгоритмических инноваций с аппаратными достижениями.

“`