Hao AI Lab выпускает FP4 ядра внимания для B300 с ускорением в 1.69 раза

Hao AI Lab представила новый набор ядер внимания FP4, разработанных для архитектуры Blackwell B300. Эти оптимизированные ядра обеспечивают улучшение производительности, достигая ускорения до 1.69x по сравнению с FlashAttention-4 (FA4).

Выпуск сосредоточен на повышении вычислительной эффективности больших языковых моделей, работающих на новейшем оборудовании NVIDIA, благодаря специализированным техникам плавающей точки.