turboquant プロジェクトはバージョン 0.3.0 をリリースしました。これには、Tesla P100 GPU に影響を与える llama.cpp の CUDA コードにおける長年の精度問題を修正する 3 行のパッチが含まれています。

  • この修正は、sm_61 アーキテクチャに対する既存の例外を sm_60 (Pascal P100) に拡張し、以前のバグのあるパスではなく正しい fp16 計算を強制します。
  • Qwen3.6-27B でのベンチマークでは、中央値 KL ダイバージェンスが 0.0023 から 0.000001 に改善し、トップトークンの一致率が 96.5% から 99.9% に上昇しました。
  • パフォーマンスベンチマークによると、デコード速度は約 1.4% 増加しましたが、prefill はノイズの範囲内で同等でした。
  • このパッチは、異なるカーネルを使用する Volta、Ampere、Blackwell などの他のアーキテクチャには影響がないことが確認されています。

このアップデートにより、以前は出力品質を低下させながらもパフォーマンス上の利点を提供しなかったバグが修正され、ローカル LLM 推論における Tesla P100 の精度と価値が大幅に向上しました。