llama.cpp プロジェクトはビルド b11375 をリリースし、非連続の ubatch セルが GGML_SCHED_NO_REALLOC フラグが設定されている場合に中止を引き起こすグラフ再割り当てを強制する重大な問題を解決しました。
- 修正では循環状態を一度収集し、予約が各分割をカバーするようにし、最悪ケースの予約サイズが十分であることを保証します。
- 単一の get_rows が n_rs の状態を収集し、ubatch と追加の状態はこの単一割り当てのビューとして扱われます。
- mamba ssm_scan などのカスタムゲッターは、単一シーケンス ubatch のための状態コピーを避けるために2番目の状態から取得します。
- ホストオーバーヘッドを変更しないように、ビューはグラフごとに一度構築されます。
この変更により、メモリ再割り当ての制約による中止を防ぎ、制約のあるスケジューリング環境での安定した実行が保証されます。