github llama.cpp · hace 2 d · inference

llama.cpp b11227 optimiza el cambio de causal_attn para una inferencia visual más rápida

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11227, que incluye optimizaciones de rendimiento específicamente dirigidas al manejo del indicador `causal_attn` durante el procesamiento multimodal.

El programador ya no reserva memoria nuevamente al cambiar `causal_attn`, eliminando pases costosos que anteriormente ralentizaban las entradas visuales para modelos como Gemma.
La forma de sesgo del indexador qwen4exp ahora es independiente de `causal_attn`, evitando fallos de realocación de búfer bajo las restricciones de `GGML_SCHED_NO_REALLOC`.
Las pruebas en llama-server con gemma-4-26B-A4B muestran reducciones significativas de latencia, como una aceleración de 7.61x para 24 imágenes en RTX 4090 y hasta 3.40x en H200 con configuraciones de contexto grande.

Estos cambios mejoran la velocidad de inferencia para entradas de múltiples imágenes y video sin alterar la salida generada o el comportamiento de reconstrucción del grafo.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency Local inference

Leer original

llama.cpp b11298 añade soporte para dflash en la conversión y extracción de características

El proyecto llama.cpp ha lanzado la compilación b11298, que introduce soporte para el formato dflash. Esta actualización permite tanto la conversión de modelos a este formato como la posterior capacidad de extracción de características.

github llama.cpp · hace 7 h · 2 vistas

llama.cpp b11284 corrige GET_ROWS de OpenVINO en vistas de pesos cuantizados

El proyecto llama.cpp lanzó la compilación b11284, que incluye una corrección para el backend de OpenVINO con el fin de manejar correctamente las operaciones GET_ROWS en vistas de pesos cuantizados.

github llama.cpp · hace 11 h · 2 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 13 h · 2 vistas

llama.cpp b11272 optimiza la operación de concatenación Hexagon

El proyecto llama.cpp lanzó la compilación b11272, que incluye optimizaciones para el backend Hexagon. El cambio principal se centra en optimizar la operación de concatenación para mejorar el rendimiento en hardware Qualcomm Snapdragon.

github llama.cpp · hace 1 d · 7 vistas

llama.cpp b11260 añade soporte para FP32 GELU_ERF y GEGLU_ERF

El proyecto llama.cpp ha lanzado la versión b11260, introduciendo soporte para las funciones de activación FP32 GELU_ERF y GEGLU_ERF en el backend Hexagon. Esta actualización también incluye optimizaciones para reducir la presión de registros dentro de los núcleos asociados.