llama.cpp 프로젝트가 빌드 b10043을 출시하며 CUDA Virtual Devices에 대한 지원을 도입했습니다. 이 업데이트는 가상 장치가 사용될 때 NCCL 경로를 비활성화하고 코드 리팩토링과 레이블이 지정된 가상 장치 설명을 포함합니다.

  • 백엔드에 CUDA Virtual Devices 지원이 추가되었습니다.
  • 가상 장치가 사용되면 NCCL 통신 경로가 비활성화됩니다.
  • 가상 장치에 설명에 레이블이 지정되었으며 GPUx2 서버 CI 작업이 추가되었습니다.
  • macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), openEuler용 바이너리가 제공됩니다.

이 릴리스는 사용자가 CUDA Virtual Devices를 사용하는 시스템에서 llama.cpp를 실행할 수 있도록 하며 광범위한 하드웨어 아키텍처 및 운영 체제와의 호환성을 유지합니다.