github llama.cpp · hace 1 h · inference

llama.cpp b10313 añade un programador LRU al servidor

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10313, que introduce un programador de Uso Reciente Menos (LRU) para su componente de servidor. Esta actualización incluye manejo de coalescencia de solicitudes y correcciones para casos de transmisión.

El servidor ahora admite un programador LRU para gestionar conexiones.
Se ha implementado la lógica de coalescencia de solicitudes para manejar las salidas de la cola de espera.
Se han añadido pruebas para verificar el nuevo comportamiento de programación.
Se ha corregido un error que afectaba al caso de transmisión.

Este lanzamiento proporciona binarios actualizados para macOS, Linux, Windows, Android e iOS a través de varios backends de hardware, incluyendo CPU, CUDA, Vulkan, ROCm y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

Liberación de llama.cpp b10312 con corrección del servidor para modelos ocupados

El proyecto llama.cpp ha liberado la versión b10312, que incluye una actualización específica al componente del servidor. El cambio clave aborda un problema en el que los modelos ocupados estaban siendo expulsados del enrutador.

github llama.cpp · hace 5 h

llama.cpp b10307 corrige el análisis de NVFP4 en SYCL

El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.

github llama.cpp · hace 20 h

llama.cpp b10298 añade función de guardado/carga de fragmentos para mtmd

El proyecto llama.cpp ha lanzado la compilación b10298, que introduce una nueva función de guardado y carga de fragmentos para el módulo mtmd. Esta actualización también incluye limpieza de código y pruebas adicionales.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b10282 añade contadores de spec-decode al endpoint /metrics

El proyecto llama.cpp ha lanzado la versión b10282, que introduce nuevas capacidades de monitoreo para la decodificación especulativa. El servidor ahora incluye contadores de spec-decode en su endpoint /metrics, permitiendo a los usuarios rastrear las métricas de rendimiento relacionadas con esta función.

github llama.cpp · hace 3 d

llama.cpp b10259 permite el reordenamiento de tensores durante la carga

El proyecto llama.cpp ha lanzado la compilación b10259, que introduce la capacidad de permitir el reordenamiento de tensores durante el proceso de carga.