github llama.cpp · hace 1 h · inference

llama.cpp b10210 corrige los tokens aceptados durante la repetición de tokens borrador

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10210, que incluye una corrección a la lógica del servidor para manejar los tokens aceptados cuando se requiere la repetición de tokens borrador.

Corrige los tokens aceptados en el componente del servidor cuando se necesita la repetición de tokens borrador.
Proporciona binarios precompilados para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64/arm64/s390x con CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
Incluye un paquete de lanzamiento con interfaz de usuario.

Esta actualización asegura un manejo preciso de los tokens en escenarios de decodificación especulativa en todas las plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10212 carga tensores MTP solo cuando se usan

El proyecto llama.cpp lanzó la versión b10212, que incluye un cambio para cargar los tensores de Multi-Token Prediction (MTP) solo si realmente se utilizan. Esta actualización asegura que los tensores MTP se omitan durante la carga en los modelos restantes que admiten la función pero no la requieren.

github llama.cpp · hace 2 h

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 4 h

llama.cpp b10207 añade soporte SYCL para tipos faltantes en cpy

El proyecto llama.cpp ha lanzado la versión b10207, que incluye un pull request para añadir soporte SYCL a tipos de datos previamente no soportados en la operación cpy.

github llama.cpp · hace 6 h

llama.cpp b10206 aplica los mismos tipos de caché K y V para modelos DeepSeek V4 y MLA

El proyecto llama.cpp ha lanzado la versión b10206, que introduce cambios específicos en cómo se manejan los cachés de clave-valor en los mecanismos de atención. La actualización asegura que los tipos de caché K y V permanezcan consistentes para los modelos DeepSeek V4.

github llama.cpp · hace 8 h

Lanzamiento de llama.cpp b10202 con fusión SYCL RMS_NORM

El proyecto llama.cpp ha lanzado la versión b10202, introduciendo una optimización SYCL que fusiona las operaciones RMS_NORM y MUL.