github llama.cpp · hace 1 h · inference

llama.cpp b10298 añade función de guardado/carga de fragmentos para mtmd

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.

Añadida funcionalidad de guardado/carga de fragmentos al módulo mtmd.
Incluidas pequeñas correcciones de código y adiciones de pruebas.
Renombradas las constantes internas de _MAX a _COUNT.

El lanzamiento proporciona binarios para macOS, Linux, Windows, Android y openEuler en varios backends de hardware incluyendo CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL y HIP.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.

github llama.cpp · hace 2 d

llama.cpp b10259 permite el reordenamiento de tensores durante la carga

El proyecto llama.cpp ha lanzado la compilación b10259, que introduce la capacidad de permitir el reordenamiento de tensores durante el proceso de carga.

github llama.cpp · hace 3 d · 2 vistas

llama.cpp b10254 añade la plantilla DeepSeek V4 Flash 0731 y actualiza las plantillas V4

El proyecto llama.cpp lanzó la versión b10254, introduciendo una nueva plantilla de chat para el modelo DeepSeek V4 Flash 0731 junto con actualizaciones a las plantillas existentes de DeepSeek V4.

github llama.cpp · hace 3 d

llama.cpp b10251 añade soporte MTP para GLM-4.7-Flash

El proyecto llama.cpp ha lanzado la compilación b10251, que introduce soporte de Predicción Multi-Tokens (MTP) para el modelo GLM-4.7-Flash.

github llama.cpp · hace 4 d

llama.cpp b10238 añade soporte para MTP en Qwen3-Next

El proyecto llama.cpp lanzó la compilación b10238, que introduce soporte para Multi-Token Prediction (MTP) en la familia de modelos Qwen3-Next. Esta actualización incluye cambios específicos de implementación para manejar capas MTP y correcciones relacionadas con la verificación de tipos de Python dentro del código base.