llama.cppプロジェクトは、計算グラフ内での入力テンソルの収集方法を修正したビルドb11254をリリースしました。従来、`graph_inputs`はグラフ分割中に設定されていたため、異なる入力を消費するバッチ間で切り替えると、誤ったバックエンドIDの比較が発生し、スケジューラの再予約が強制されるという問題が生じていました。

  • この変更により、グラフの入力リーフすべてから分割後に入力が収集され、構成が入力の存在の有無にのみ依存することが保証されます。
  • これにより、スケジューラがより小さい入力サイズ（例：`n_outputs = 0`）を記録し、後で`GGML_SCHED_DEBUG_REALLOC`経由で中止するのを防ぎます。
  • このリリースでは、macOS（Apple SiliconおよびIntel）、iOS、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon）、Android、Windows（CPU、OpenCL、CUDA、Vulkan、OpenVINO、SYCL、ROCm）、openEuler向けのバイナリが提供されています。

この修正により、入力順序の変更によって引き起こされる不要なグラフ再構成を排除し、パイプライン並列化シナリオでの実行の安定性が向上しました。