github llama.cpp · hace 2 h · inference

llama.cpp b10237 añade soporte para MTP en DeepSeek V3.2

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10237, que introduce soporte para Predicción de Múltiples Tókenes (MTP) para el modelo DeepSeek V3.2.

La actualización habilita las capacidades de MTP específicamente para DeepSeek V3.2 dentro del marco llama.
La lógica de descubrimiento del tipo de modelo se ajustó para que las capas de MTP no necesiten ser incluidas explícitamente durante el proceso de detección.
Se proporcionan binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) y openEuler.

Esta versión permite a los usuarios aprovechar MTP con DeepSeek V3.2 en una amplia gama de arquitecturas de hardware y sistemas operativos.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10238 añade soporte para MTP en Qwen3-Next

El proyecto llama.cpp lanzó la compilación b10238, que introduce soporte para Multi-Token Prediction (MTP) en la familia de modelos Qwen3-Next. Esta actualización incluye cambios específicos de implementación para manejar capas MTP y correcciones relacionadas con la verificación de tipos de Python dentro del código base.

github llama.cpp · hace 14 h · 7 vistas

llama.cpp b10232 implementa hiperconexiones de DeepSeek V4 en Metal

El proyecto llama.cpp lanzó la compilación b10232, que introduce soporte para las hiperconexiones de DeepSeek V4 a través del backend de Metal. Esta actualización añade la implementación de las operaciones GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE y GGML_OP_DSV4_HC_POST.

github llama.cpp · hace 2 d · 9 vistas

llama.cpp b10219 persiste reasoning_content en el historial de chat

El proyecto llama.cpp lanzó la versión b10219, que incluye una corrección para la CLI que permite persistir el contenido del razonamiento dentro del historial de chat. Anteriormente, aunque `llama-cli` recopilaba el razonamiento del stream para su visualización, solo almacenaba el contenido del asistente en los mensajes, lo que impedía que la bandera `--reasoning-preserve` reinyectara los pensamientos previos en turnos posteriores.

github llama.cpp · hace 3 d · 8 vistas

llama.cpp b10213 añade soporte para cuantización de caché kv rotado

El proyecto llama.cpp ha lanzado la versión b10213, introduciendo soporte para la cuantización del caché de clave-valor rotado. Esta actualización está disponible en una amplia gama de plataformas y aceleradores de hardware.

github llama.cpp · hace 3 d · 3 vistas

llama.cpp b10212 carga tensores MTP solo cuando se usan

El proyecto llama.cpp lanzó la versión b10212, que incluye un cambio para cargar los tensores de Multi-Token Prediction (MTP) solo si realmente se utilizan. Esta actualización asegura que los tensores MTP se omitan durante la carga en los modelos restantes que admiten la función pero no la requieren.