llama.cpp 프로젝트가 버전 b9925를 출시했으며, 이 릴리스에는 CUDA 백엔드에 대한 특정 업데이트가 포함되어 있습니다. 이번 릴리스에서는 GPU 커널 커버리지의 격차를 해소하기 위해 f16에서 f16으로의 GGML_OP_SET_ROWS 연산에 대한 지원을 추가했습니다.

  • macOS Apple Silicon 및 Intel 바이너리가 제공되며, Apple Silicon에서는 KleidiAI가 명시적으로 비활성화됩니다.
  • Linux 빌드에는 CPU(x64, arm64, s390x)와 Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16을 포함한 다양한 가속기가 포함됩니다.
  • Windows 릴리스에는 CPU, OpenCL Adreno, Vulkan, HIP, OpenVINO, SYCL 및 CUDA 12/13 변형이 포함됩니다.
  • 모바일 배포를 위해 Android arm64(CPU) 및 iOS XCFramework 바이너리가 제공됩니다.
  • openEuler 지원은 부분적으로 비활성화되었으며, ACL Graph를 사용하는 x86 및 aarch64 아키텍처에 대한 특정 빌드가 유지됩니다.

이 업데이트는 CUDA 장치에서 누락된 set rows 연산을 활성화하고 주요 운영 체제 및 GPU 벤더 전반에 걸쳐 사전 컴파일된 바이너리를 제공함으로써 llama.cpp 사용자의 더 넓은 하드웨어 호환성을 보장합니다.