El proyecto llama.cpp lanzó la versión b10670, que incluye una optimización específica para la arquitectura Xe2 de Intel. La actualización dirige la operación de decodificación de claves y valores (KV) cuantizados exclusivamente al backend TILE para hardware BMG, manteniendo el backend VEC en otras arquitecturas hasta que sean validadas.
- La decodificación KV cuantizada ahora se dirige a TILE en Xe2 (BMG).
- Otras arquitecturas continúan utilizando el backend VEC pendientes de validación.
- Se proporcionan binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.14, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) y openEuler.
Este cambio optimiza los patrones de acceso a la memoria para generaciones específicas de hardware Intel.