llama.cpp プロジェクトはビルド b10517 をリリースし、フラッシュアテンション (FA) 脱量子化パスに Vulkan 固有の改善をいくつか導入しました。主な変更点には、coopmat1 で q8_0 KV を一度脱量子化する、coopmat2 で FA 脱量子化パスをスキップする、Intel Xe1 を FA 脱量子化パスから除外するなどが含まれます。

  • FA scratch が maxStorageBufferRange を超えた場合、Vulkan は中止するのではなくフォールバックするようになりました。
  • リリースでは FA 脱量子化パスに特定の KV-cache レイアウトが必要です。
  • FA パスのパーミュテーションチェックが厳格になり、prealloc_x_need_sync のタイミングが修正されました。
  • 連続割り当てされた K/V FA シナリオのテストが追加されました。

このアップデートは、メモリ管理とハードウェア互換性のエッジケースに対処することで、Vulkan ユーザーの安定性とパフォーマンスを向上させます。