O projeto turboquant lançou a versão 0.3.0, que inclui um patch de três linhas corrigindo um problema de precisão de longa data no código CUDA do llama.cpp que afeta as GPUs Tesla P100.

  • A correção estende uma isenção existente para a arquitetura sm_61 para incluir sm_60 (Pascal P100), forçando o uso da matemática fp16 correta em vez do caminho defeituoso anterior.
  • Testes de benchmark no Qwen3.6-27B mostraram que a divergência KL mediana melhorou de 0.0023 para 0.000001, com o acordo de top-token subindo de 96.5% para 99.9%.
  • Os benchmarks de desempenho indicam que a velocidade de decodificação aumentou aproximadamente 1.4%, enquanto o prefill permaneceu idêntico dentro do ruído.
  • O patch foi verificado para ter zero efeito em outras arquiteturas como Volta, Ampere ou Blackwell, que usam kernels diferentes.

Esta atualização melhora significativamente a precisão e o valor das Tesla P100 para inferência de LLM local, abordando um bug que anteriormente degradava a qualidade de saída sem fornecer benefícios de desempenho.