github llama.cpp · hace 1 h · inference

llama.cpp b10311 corrige la duplicación del flujo de texto de Qwen3-TTS

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10311, que incluye una corrección para la tubería Qwen3-TTS. La actualización resuelve un problema donde el modelo leía dos veces la enunciación de entrada durante la generación.

Corrige un error en la superposición de prellenado no en streaming que causaba que el flujo de texto se alimentara nuevamente durante la generación de Qwen3-TTS.
Corrige el estado oculto del texto final para colapsar a una sola fila tts_pad, coincidiendo con el diseño del prellenado.
Proporciona binarios para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) y openEuler.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10313 añade un programador LRU al servidor

El proyecto llama.cpp ha lanzado la versión b10313, que introduce un programador de Uso Reciente Menos (LRU) para su componente de servidor. Esta actualización incluye manejo de coalescencia de solicitudes y correcciones para casos de transmisión.

github llama.cpp · hace 1 h En vivo

Liberación de llama.cpp b10312 con corrección del servidor para modelos ocupados

El proyecto llama.cpp ha liberado la versión b10312, que incluye una actualización específica al componente del servidor. El cambio clave aborda un problema en el que los modelos ocupados estaban siendo expulsados del enrutador.

github llama.cpp · hace 4 h

llama.cpp b10307 corrige el análisis de NVFP4 en SYCL

El proyecto llama.cpp lanzó la versión b10307, que incluye una corrección para el código GPU de SYCL que permite analizar correctamente los factores de escala UE4M3 utilizados en la cuantización NVFP4.

github llama.cpp · hace 5 h

llama.cpp b10305 añade soporte SYCL para operaciones DSv4

El proyecto llama.cpp ha lanzado la compilación b10305, que introduce soporte para operaciones específicas de DSv4 dentro del backend SYCL. Esta actualización incluye la implementación de los operadores LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST y DSV4_HC_PRE.

github llama.cpp · hace 5 h

llama.cpp b10306 añade ruta plana de GLU SYCL y consolida kernels

La versión b10306 de llama.cpp introduce optimizaciones de rendimiento para el backend SYCL, específicamente dirigidas a las operaciones de Unidad Lineal con Puerta (GLU). La actualización añade una ruta rápida contigua para las operaciones GLU fusionadas y consolida kernels previamente distintos para compartir un lanzador común.