github llama.cpp · hace 1 h · inference

llama.cpp b10213 añade soporte para cuantización de caché kv rotado

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10213, introduciendo soporte para la cuantización del caché de clave-valor rotado. Esta actualización está disponible en una amplia gama de plataformas y aceleradores de hardware.

macOS Apple Silicon (arm64) e Intel (x64)
iOS a través de XCFramework
Linux Ubuntu x64 y arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 y arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 y aarch64 (ACL Graph)

El lanzamiento incluye binarios para la aplicación principal, así como un paquete de interfaz de usuario separado.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10212 carga tensores MTP solo cuando se usan

El proyecto llama.cpp lanzó la versión b10212, que incluye un cambio para cargar los tensores de Multi-Token Prediction (MTP) solo si realmente se utilizan. Esta actualización asegura que los tensores MTP se omitan durante la carga en los modelos restantes que admiten la función pero no la requieren.

github llama.cpp · hace 3 h

llama.cpp b10210 corrige los tokens aceptados durante la repetición de tokens borrador

El proyecto llama.cpp ha lanzado la versión b10210, que incluye una corrección a la lógica del servidor para manejar los tokens aceptados cuando se requiere la repetición de tokens borrador.

github llama.cpp · hace 4 h

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 6 h

llama.cpp b10207 añade soporte SYCL para tipos faltantes en cpy

El proyecto llama.cpp ha lanzado la versión b10207, que incluye un pull request para añadir soporte SYCL a tipos de datos previamente no soportados en la operación cpy.

github llama.cpp · hace 7 h

llama.cpp b10206 aplica los mismos tipos de caché K y V para modelos DeepSeek V4 y MLA

El proyecto llama.cpp ha lanzado la versión b10206, que introduce cambios específicos en cómo se manejan los cachés de clave-valor en los mecanismos de atención. La actualización asegura que los tipos de caché K y V permanezcan consistentes para los modelos DeepSeek V4.