github llama.cpp · hace 1 h · inference

llama.cpp b10327 corrige el recuento de hilos/bloques en el kernel de copia cuantizada

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10327, que incluye una corrección para el recuento de hilos y bloques en los lanzamientos del kernel de copia cuantizada en CUDA. Esta actualización aborda un problema identificado en el pull request #26731.

El lanzamiento añade pruebas para casos de copia con recuento de bloques desigual para garantizar la corrección.
Los binarios están disponibles para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) y openEuler.
También se proporciona un XCFramework para iOS y una compilación de UI independiente.

Este lanzamiento asegura la ejecución estable de operaciones de copia cuantizada en hardware CUDA en una amplia gama de plataformas compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b10313 añade un programador LRU al servidor

El proyecto llama.cpp ha lanzado la versión b10313, que introduce un programador de Uso Reciente Menos (LRU) para su componente de servidor. Esta actualización incluye manejo de coalescencia de solicitudes y correcciones para casos de transmisión.

github llama.cpp · hace 15 h

Liberación de llama.cpp b10312 con corrección del servidor para modelos ocupados

El proyecto llama.cpp ha liberado la versión b10312, que incluye una actualización específica al componente del servidor. El cambio clave aborda un problema en el que los modelos ocupados estaban siendo expulsados del enrutador.

github llama.cpp · hace 17 h

llama.cpp b10307 corrige el análisis de NVFP4 en SYCL

El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.

github llama.cpp · hace 1 d

llama.cpp b10298 añade función de guardado/carga de fragmentos para mtmd

El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.

github llama.cpp · hace 3 d · 1 vista

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.