llama.cpp プロジェクトは、デコーディング中のグラフ形状の変化によって引き起こされるクラッシュに対処するビルド b11306 をリリースしました。このアップデートは、特定のスケジューリング制約下での再割り当て失敗を防ぐために `causal_attn` フラグの処理を変更します。

  • デバイスデコーディング後、`causal_attn` は ubatch の半分に対してオフに切り替えられ、残りの部分で再度オンに切り替えられて、一貫したノード数が確保されます。
  • この変更により、グラフが変更されないサイズで再割り当てされるのを防ぎ、以前は `GGML_SCHED_NO_REALLOC` がアクティブな場合に実行が中止されていた問題を解決します。
  • この修正はデコーディングアーキテクチャに適用されますが、エンコードアーキテクチャではスキップされます。

今回のリリースには、macOS（Apple Silicon および Intel）、iOS、Linux（CPU、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Snapdragon）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0）、および openEuler 用のバイナリが含まれています。