llama.cpp b10831リリースは、Vulkanバックエンド向けにTQ1_0量子化サポートを導入し、行列乗算、mat-vec、逆量子化、get_rowsなどの操作を可能にします。この更新では、Metalバックエンドも修正され、サポートされていないTQ1_0操作を適切に拒否し、CPU実行へのフォールバックが保証されます。

  • Vulkan実装は、レジスタの問題を回避するためにTQ1_0の3の累乗を32ビット定数にパックします。
  • types.glslの共有デコードヘルパーが、さまざまなシェーダーファイル間で重複していたロジックを置き換えます。
  • スタンドアロン逆量子化シェーダーのワークグループ分母計算におけるバグが修正されました。
  • Metalバックエンドは、既存のNVFP4処理に合わせて、GET_ROWSおよびmat-mulに対してTQ1_0を拒否するようになりました。
  • テストケースが削減され、コメントがASCIIに標準化されました。

Vulkanの変更点はAMD gfx1151で検証され、関連するすべてのバックエンド操作がテストをパスしました。