llama.cpp 프로젝트가 빌드 b10017을 출시했으며, 여기에는 SYCL 백엔드에 대한 특정 업데이트가 포함되었습니다. 이 변경으로 Unified Shared Memory (USM) 시스템 할당의 최소 버퍼 크기 임계값이 1 GiB에서 4 GiB로 증가했습니다.
- 이 조정은 사용 가능한 VRAM보다 큰 모델 가중치를 사용하여 장치 메모리를 오버커밋하는 실제 실험에 기반합니다. 예를 들어, B70에서 Qwen3.5-35B-A3B-Q8을 실행하는 경우입니다.
- USM 시스템 할당을 더 잘 추적하기 위해 디버그 메시지도 추가되었습니다.
- 이번 릴리스에는 macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), openEuler용 바이너리가 제공됩니다.
이 수정은 SYCL 호환 하드웨어에서 사용 가능한 VRAM을 초과하는 대형 모델을 처리할 때 안정성을 개선하는 것을 목표로 합니다.