llama.cpp プロジェクトはビルド b10782 をリリースし、マルチGPU環境におけるCUDAバックエンドの重大な問題を解決しました。このアップデートにより、各スプリットごとの並列ストリームが許可され、複数のデバイス間でCUDAグラフ最適化が正しく実行可能になります。
- 作成時にアクティブだったGPUにCUDAイベントが誤ってバインドされ、マルチGPUグラフ最適化がスキップされるバグを修正しました。
- `ggml_cuda_set_device` を介して明示的なデバイス設定を実装し、各デバイスに対して正しいスプリットに最適化が適用されるようにしました。
- この修正は `GGML_CUDA_GRAPH_OPT=1` が有効な場合のみ適用されます。デフォルトの動作は変更されていません。
この変更により、グラフ最適化がスキップされるのではなく各スプリットで一度実行され、マルチGPU推論がCUDAアクセラレーションを適切に利用できるようになります。