Le projet turboquant a publié la version 0.3.0, qui inclut un correctif de trois lignes corrigeant un problème de précision de longue date dans le code CUDA de llama.cpp affectant les GPU Tesla P100.
- La correction étend une exemption existante pour l'architecture sm_61 afin d'inclure sm_60 (Pascal P100), forçant ainsi un calcul fp16 correct au lieu du chemin buggé précédent.
- Les tests sur Qwen3.6-27B ont montré que la divergence KL médiane s'est améliorée de 0,0023 à 0,000001, avec une concordance des tokens principaux passant de 96,5 % à 99,9 %.
- Les benchmarks de performance indiquent que la vitesse de décodage a augmenté d'environ 1,4 %, tandis que le préremplissage (prefill) est resté identique dans les limites du bruit.
- Le correctif a été vérifié comme n'ayant aucun effet sur d'autres architectures telles que Volta, Ampere ou Blackwell, qui utilisent des noyaux différents.
Cette mise à jour améliore considérablement la précision et la valeur des Tesla P100 pour l'inférence de LLM locaux, en adressant un bug qui dégradait auparavant la qualité de sortie sans offrir d'avantages de performance.