llama.cppプロジェクトはビルドb9974をリリースしました。これにはCUDAビルドの重要な修正が含まれています。この更新により、GPUメモリの情報を照会する際に、空きメモリがゼロまたは限られているデバイスで発生していた致命的なクラッシュを防ぎます。

  • cudaMemGetInfo()のクラッシュを修正し、エラーを致命的でないものとし、影響を受けたデバイスに合計/空きメモリとして0を割り当てます。
  • 空きメモリがないデバイスへのレイヤー配置を試みるfitアルゴリズムを防ぎ、起動時や'-dev none'使用時にハードクラッシュを回避します。

macOS Apple Silicon (arm64)のビルドが利用可能ですが、KleidiAIのサポートはこのプラットフォームでは無効になっています。

Ubuntu x64およびarm64 (CPU)、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16向けのLinuxバイナリが提供されています。

Android arm64 (CPU)のビルドが含まれています。

WindowsバイナリにはCPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIPが含まれます。

openEulerのサポートは部分的に無効化されており、x86およびaarch64アーキテクチャ向けの特定のビルドが利用可能です。

この変更により、GPUメモリリソースが枯渇または利用できないシステムでもllama.cppが安定して動作し、予期せず終了するのではなく、そのような状況を適切に処理できるようになります。