github llama.cpp · ahora mismo · inference

llama.cpp b10734 habilita la API de tensores Metal 4.0 en M5+/A19+

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10734, que incluye una actualización para habilitar la API de tensores Metal 4.0 para dispositivos con chips M5+ o A19+.

Solicita la versión de lenguaje Metal 4.0 para la API de tensores.
Carga los núcleos de la API de tensores desde una metallib separada.
Corrige el orden de compilación de la metallib para los núcleos de la API de tensores.
Añade una prueba de regresión de la API de tensores con external-metallib.

Esta versión proporciona binarios para macOS, iOS, Linux, Windows, Android y openEuler a través de varios backends de hardware que incluyen CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL y OpenCL.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

ExLlamaV3 añade descarga a la CPU para expertos MoE y nuevos modelos GLM-5.3-Flash, Qwen3.8-Flash

Turboderp ha lanzado actualizaciones significativas para ExLlamaV3, introduciendo capacidades de descarga a la CPU para expertos de Mixture of Experts (MoE). La actualización también incluye soporte para los recién lanzados modelos GLM-5.3-Flash y Qwen3.8-Flash.

github llama.cpp · hace 18 h · 2 vistas

llama.cpp b10724 optimiza la restauración del estado de kv-cache para reducir las copias de 1.3M a 224

El proyecto llama.cpp lanzó la compilación b10724, que mejora significativamente el rendimiento de la restauración de celdas KV cache no contiguas mediante lecturas scatter agrupadas por ejecución continua.

github llama.cpp · hace 20 h · 3 vistas

llama.cpp b10721 corrige el fallo de WebGPU y añade soporte para CUDA 13.4 en Windows

El proyecto llama.cpp ha lanzado la compilación b10721, que incluye una corrección crítica para el backend de WebGPU y amplía el soporte de hardware en Windows.

github llama.cpp · hace 22 h · 9 vistas

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 1 d · 4 vistas

llama.cpp b10715 fusiona el codificador DFlash en la inyección de caché KV

El proyecto llama.cpp lanzó la compilación b10715, que incluye una optimización clave en la implementación de DFlash. El codificador DFlash ahora se fusiona directamente en el proceso de inyección del caché KV durante la decodificación.