El proyecto turboquant ha lanzado la versión 0.3.0, que incluye un parche de tres líneas que corrige un problema de precisión de larga data en el código CUDA de llama.cpp que afecta a las GPUs Tesla P100.

  • La corrección extiende una exención existente para la arquitectura sm_61 para incluir sm_60 (Pascal P100), forzando el uso de matemáticas fp16 correctas en lugar del camino defectuoso anterior.
  • Las pruebas de rendimiento en Qwen3.6-27B mostraron que la divergencia KL mediana mejoró de 0.0023 a 0.000001, con el acuerdo de top-token aumentando de 96.5% a 99.9%.
  • Las pruebas de rendimiento indican que la velocidad de decodificación aumentó aproximadamente un 1.4%, mientras que el prefill permaneció idéntico dentro del ruido.
  • Se ha verificado que el parche tiene cero efecto en otras arquitecturas como Volta, Ampere o Blackwell, que utilizan diferentes núcleos.

Esta actualización mejora significativamente la precisión y el valor de las Tesla P100 para la inferencia de LLM local, abordando un error que anteriormente degradaba la calidad de salida sin proporcionar beneficios de rendimiento.