llama.cpp b9974: 사용 가능한 메모리가 없는 장치에서 메모리 쿼리 시 CUDA 크래시 수정

llama.cpp 프로젝트는 빌드 b9974를 출시했으며, 여기에는 CUDA 빌드에 대한 중요한 수정 사항이 포함되어 있습니다. 이 업데이트는 GPU 메모리 정보를 조회할 때 사용 가능한 메모리가 0이거나 제한된 장치에서 발생하던 치명적인 크래시를 방지합니다.

• cudaMemGetInfo()의 크래시를 수정하여 오류를 치명적이지 않게 만들고, 영향을 받은 장치에 총/사용 가능한 메모리를 0으로 할당합니다.
• 사용 가능한 메모리가 없는 장치에 레이어를 배치하려고 시도하는 fit 알고리즘을 방지하여 시작 시 또는 '-dev none' 사용 중 하드 크래시를 피합니다.

macOS Apple Silicon (arm64) 빌드가 제공되며, KleidiAI 지원은 이 플랫폼에서 비활성화됩니다.

Ubuntu x64 및 arm64 (CPU), Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16용 Linux 바이너리가 제공됩니다.

Android arm64 (CPU) 빌드가 포함되어 있습니다.

Windows 바이너리에는 CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP가 포함됩니다.

openEuler 지원은 부분적으로 비활성화되었으며, x86 및 aarch64 아키텍처용 특정 빌드가 제공됩니다.

이 변경으로 인해 GPU 메모리 리소스가 고갈되거나 사용할 수 없는 시스템에서도 llama.cpp가 안정적으로 작동하며, 예기치 않게 종료되는 대신 이러한 상황을 우아하게 처리할 수 있습니다.