Un correctif au backend CUDA de llama.cpp résout un crash dans la prédiction multi-jeton (MTP) sur les GPU pré-Ampere en ajoutant des vérifications de capacité robustes. La mise à jour garantit que le BF16 n'est utilisé que lorsqu'il est pris en charge, avec un retour à FP16 ou FP32 pour les architectures plus anciennes comme Kepler.

  • Corrige les crashes cuBLAS causés par une sélection incorrecte du calcul BF16 sur un matériel non pris en charge.
  • Implémente une chaîne de repli : BF16 si pris en charge, FP16 si rapide, sinon FP32.
  • Testé avec Qwen3.6 35B A3B q4xl sur quatre GPU Tesla K40c (Kepler).
  • Les performances avec MTP activé ont atteint ~25 tok/s par rapport à ~22 tok/s en version standard et ~17.5 tok/s avec MTP désactivé.

Ce changement permet au décodage MTP de fonctionner correctement sur les cartes plus anciennes sans affecter les GPU plus récents.