llama.cppプロジェクトはビルドb10181をリリースしました。このビルドには、ggml-cudaにおける修正が含まれており、ブロックごとの共有メモリが48 KiB未満のGPUで行列乗算量子化（MMQ）を無効にします。

  • 修正により、`ggml_cuda_should_use_mmq()`内にガードが追加され、MMQタイルを選択する前に共有メモリの予算が確認されるようになりました。
  • メモリが不足しているデバイスは、プリフィル時にBLASパスにフォールバックし、コアダンプを回避しつつトークン生成パフォーマンスを維持します。
  • この変更は、特定のMUSA QY1デバイスだけでなく、ブロックごとの共有メモリが48 KiB未満と報告するすべてのCUDAデバイスに適用されます。

この更新により、共有メモリが限られた古いまたは特殊なハードウェアでのクラッシュを防ぎ、互換性のあるBLASバックエンドを自動的に使用することで安定した推論を保証します。