llama.cppのCUDAバックエンドへのパッチは、堅牢な機能チェックを追加することで、Ampere以前のGPUにおけるマルチトークン予測（MTP）のクラッシュを修正します。この更新により、BF16はサポートされている場合のみ使用され、Keplerのような古いアーキテクチャではFP16またはFP32にフォールバックします。

  • 非対応ハードウェアでの誤ったBF16計算選択によって引き起こされるcuBLASのクラッシュを修正。
  • フォールバックチェーンを実装：サポートされていればBF16、高速であればFP16、それ以外はFP32。
  • Qwen3.6 35B A3B q4xlを使用して4つのTesla K40c（Kepler）GPUでテスト済み。
  • MTP有効時のパフォーマンスは約25 tok/sで、標準の約22 tok/sおよびMTP無効時の約17.5 tok/sと比較。

この変更により、新しいGPUに影響を与えることなく、古いカードでもMTPデコーディングが正しく機能するようになります。