github llama.cpp · hace 2 d · inference

llama.cpp habilita GEMM xmem y evita f32 en mosaico en GPUs Adreno

Traducido del English → Español

El proyecto llama.cpp ha actualizado su backend OpenCL para mejorar el rendimiento de la multiplicación de matrices en dos generaciones de GPUs Adreno. Los cambios se centran principalmente en la generación X2E al establecer por defecto la ruta GEMM xmem F16xF32 y optimizar el manejo para la generación A7X.

Establecer por defecto el GEMM xmem F16xF32 de Adreno como habilitado para dispositivos X2E, que anteriormente requería una variable de entorno explícita.
Evitar el GEMM f32 en mosaico en el compilador Adreno A7X mediante el enrutamiento de operaciones por lotes a un kernel por fila para evitar problemas de desbordamiento de registros.
La optimización xmem proporciona una aceleración de aproximadamente el 25% en la fase de prellenado para gpt-oss-20b en dispositivos Adreno X2-90, mientras que el bypass de A7X produce una mejora de alrededor del 9% en gemma-3n-E4B.

Estas optimizaciones abordan ineficiencias específicas del compilador en silicio Adreno más antiguo y más nuevo, reduciendo el tiempo de GPU dedicado a kernels de matmul lentos durante las fases de prellenado del modelo.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artículos relacionados

github llama.cpp · hace 2 h

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 3 d · 9 vistas

llama.cpp b10670 dirige la decodificación KV cuantizada a TILE en Xe2 (BMG)

El proyecto llama.cpp lanzó la versión b10670, que incluye una optimización específica para la arquitectura Xe2 de Intel. La actualización dirige la operación de decodificación de claves y valores (KV) cuantizados exclusivamente al backend TILE para hardware BMG, manteniendo el backend VEC en otras arquitecturas hasta que sean validadas.

github llama.cpp · hace 4 d · 23 vistas

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 4 d · 15 vistas

llama.cpp b10653 añade TENSOR_READ_LAZY para la carga de modelos

El proyecto llama.cpp ha lanzado la compilación b10653, introduciendo la función TENSOR_READ_LAZY en su cargador de modelos. Este cambio incluye la adición de la función TENSOR_GET_ROW_LAZY y una bandera correspondiente --tensor-read-lazy en la línea de comandos.

github llama.cpp · hace 10 d · 12 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.