github llama.cpp · hace 1 h · inference

llama.cpp b10307 corrige el análisis de NVFP4 en SYCL

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.

La actualización corrige la conversión de valores de escala desde E4M3 con signo a sin signo, ya que NVFP4 almacena estos factores en bytes UE4M3 individuales.
Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
También se proporciona una compilación con interfaz de usuario para uso general.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10298 añade función de guardado/carga de fragmentos para mtmd

El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.

github llama.cpp · hace 3 d

llama.cpp b10298 añade función de guardado/carga de fragmentos para mtmd

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

llama.cpp b10259 permite el reordenamiento de tensores durante la carga

llama.cpp b10254 añade la plantilla DeepSeek V4 Flash 0731 y actualiza las plantillas V4

llama.cpp b10251 añade soporte MTP para GLM-4.7-Flash