Hao AI Lab publie des noyaux d'attention FP4 pour B300 avec une accélération de 1,69x

Hao AI Lab a introduit un nouvel ensemble de noyaux d'attention FP4 conçus pour l'architecture Blackwell B300. Ces noyaux optimisés offrent des améliorations de performance, atteignant jusqu'à une accélération de 1,69x par rapport à FlashAttention-4 (FA4).

La publication se concentre sur l'amélioration de l'efficacité computationnelle pour les grands modèles de langage fonctionnant sur le matériel le plus récent de NVIDIA grâce à des techniques de précision en virgule flottante spécialisées.