github llama.cpp · hace 1 h · inference

llama.cpp b10251 añade soporte MTP para GLM-4.7-Flash

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10251, que introduce soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.7-Flash.

Esta versión incluye binarios para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x con CPU, Vulkan, ROCm 7.2, OpenVINO y backends SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler (ACL Graph).

La compilación KleidiAI de macOS Apple Silicon ha sido deshabilitada en esta versión.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10238 añade soporte para MTP en Qwen3-Next

El proyecto llama.cpp lanzó la compilación b10238, que introduce soporte para Multi-Token Prediction (MTP) en la familia de modelos Qwen3-Next. Esta actualización incluye cambios específicos de implementación para manejar capas MTP y correcciones relacionadas con la verificación de tipos de Python dentro del código base.

github llama.cpp · hace 20 h · 5 vistas

llama.cpp b10237 añade soporte para MTP en DeepSeek V3.2

El proyecto llama.cpp lanzó la compilación b10237, que introduce soporte para Predicción de Múltiples Tókenes (MTP) para el modelo DeepSeek V3.2.

github llama.cpp · hace 1 d · 7 vistas

llama.cpp b10232 implementa hiperconexiones de DeepSeek V4 en Metal

El proyecto llama.cpp lanzó la compilación b10232, que introduce soporte para las hiperconexiones de DeepSeek V4 a través del backend de Metal. Esta actualización añade la implementación de las operaciones GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE y GGML_OP_DSV4_HC_POST.

github llama.cpp · hace 2 d · 9 vistas

llama.cpp b10219 persiste reasoning_content en el historial de chat

El proyecto llama.cpp lanzó la versión b10219, que incluye una corrección para la CLI que permite persistir el contenido del razonamiento dentro del historial de chat. Anteriormente, aunque `llama-cli` recopilaba el razonamiento del stream para su visualización, solo almacenaba el contenido del asistente en los mensajes, lo que impedía que la bandera `--reasoning-preserve` reinyectara los pensamientos previos en turnos posteriores.

github llama.cpp · hace 3 d · 8 vistas

llama.cpp b10213 añade soporte para cuantización de caché kv rotado

El proyecto llama.cpp ha lanzado la versión b10213, introduciendo soporte para la cuantización del caché de clave-valor rotado. Esta actualización está disponible en una amplia gama de plataformas y aceleradores de hardware.