github llama.cpp · hace 4 d · inference

llama.cpp b11223 permite RANK pooling batch splitting para rerankers de LLM causales

Traducido del English → Español

El servidor llama.cpp ahora permite RANK pooling batch splitting para rerankers de LLM causales como Qwen3 y Qwen3-VL, resolviendo limitaciones anteriores que rompían el reranking de documentos largos y multimodales.

Anteriormente, el servidor rechazaba entradas de RANK-pooling mayores que n_ubatch, forzando todos los tokens en un único batch físico.
La corrección expone llama_get_causal_attn y llama_model_is_causal para verificar dinámicamente los tipos de atención en lugar de codificar las comprobaciones de arquitectura.
can_split() ahora permite chunked prefill para RANK pooling cuando el contexto es causal, eliminando la lógica duplicada en el constructor del grafo.

Este cambio permite un procesamiento eficiente de documentos largos y entradas multimodales aprovechando las capacidades de chunked prefill inherentes a los modelos causales.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11309 optimiza ALLREDUCE de Hexagon con modo scatter seguro

El proyecto llama.cpp lanzó la versión b11309, que incluye una optimización clave para el backend de Hexagon. Esta actualización añade soporte para el modo scatter seguro a la operación ALLREDUCE, buscando mejorar el rendimiento y la estabilidad en dispositivos Qualcomm Snapdragon.

github llama.cpp · hace 1 d · 8 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b11266 carga la matriz A de F32 2 a la vez para Vulkan en Intel

El proyecto llama.cpp lanzó la compilación b11266, que incluye una optimización de Vulkan que carga las matrices A de F32 dos elementos a la vez cuando están alineadas en 2. Este cambio aborda problemas de rendimiento en hardware de Intel donde cargar flotantes uno por uno es ineficiente, y también corrige una validación faltante para la alineación de `a_offset` en el parche original.

github llama.cpp · hace 2 d · 1 vista

llama.cpp b11265 corrige la selección de tiles de matmul MOE en Vulkan

La versión llama.cpp b11265 incluye una corrección para el manejo de modelos Mixture of Experts (MoE) por parte del backend de Vulkan. La actualización corrige cómo `mat_mul_id` selecciona los tiles de multiplicación de matrices, abordando un problema de rendimiento donde los trabajadores quedaban inactivos durante el envío.

github llama.cpp · hace 3 d · 4 vistas

llama.cpp b11238 añade ggml_pad_ext para relleno a la izquierda y omite los taps de DFlash2

El proyecto llama.cpp lanzó la compilación b11238, introduciendo una implementación unificada de relleno a la izquierda mediante la nueva función `ggml_pad_ext`. Este cambio consolida los métodos anteriores utilizados por codificadores de audio como Parakeet, LFM2-Audio, Granite Speech y Gemma 4, asegurando incrustaciones bit a bit idénticas para Gemma 4 mientras simplifica el soporte del backend.