llama.cpp b10255リリースは、Q4_0–Q8_0量子化フォーマットとFP32を含む非FP16キーバリュー（KV）キャッシュをサポートするために、oneDNN SDPAパスを拡張します。この更新により、K/Vテンソルを処理前にデバイス上でデ量子化または密集FP16に変換することで、融合型 systolic カーネルがネイティブFP16パスと同一に実行可能になります。

  • サポートされるKVタイプにはQ4_0、Q4_1、Q5_0、Q5_1、Q8_0、F32が含まれます。一方、変換カーネルの欠如によりBF16およびIQタイプは除外されます。
  • 非FP16サポートは、prefillフェーズ中にK >= 1024かつQ >= 32という要件によって制御されます。
  • このリリースには、無条件のwait_and_throw動作を保証するストリーム同期修正が含まれ、V_is_K_viewエイリアシングを削除してKとVが常に別々のバッファにデ量子化されるようにします。
  • macOS、Linux、Windows、Android、openEuler向けのバイナリが提供され、CPU、GPU（CUDA、Vulkan、ROCm、OpenCL）、およびSYCLやOpenVINOのような特殊なバックエンド全体で利用可能です。