llama.cpp 프로젝트는 Intel의 Xe2 아키텍처를 위한 특정 최적화를 포함하는 버전 b10670을 출시했습니다. 이 업데이트는 양자화된 키-값(KV) 디코드 작업을 BMG 하드웨어에 대해 TILE 백엔드 전용으로 라우팅하며, 다른 아키텍처에서는 검증될 때까지 VEC 백엔드를 유지합니다.
- 양자화된 KV 디코드가 이제 Xe2(BMG)에서 TILE로 방향 지정됩니다.
- 다른 아키텍처는 검증을 기다리는 동안 VEC 백엔드를 계속 사용합니다.
- macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL FP32/FP16), Android, Windows(CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) 및 openEuler에 대한 바이너리가 제공됩니다.
이 변경은 특정 Intel 하드웨어 세대의 메모리 접근 패턴을 최적화합니다.