github llama.cpp · hace 2 h · inference

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

CUDA: Se extendió la fusión MOE a specdec, eliminando la restricción de un solo token para las fusiones anteriores de MOE glu y topk-router.
Se agregó soporte para el caso SWIGLU_CLAMP en la implementación de fusión MOE multi-token.
Se abordaron los comentarios de revisión del pull request #27621.

Esta actualización mejora el rendimiento de los modelos que utilizan decodificación especulativa al habilitar operaciones fusionadas más eficientes en las GPU NVIDIA.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp habilita GEMM xmem y evita f32 en mosaico en GPUs Adreno

El proyecto llama.cpp ha actualizado su backend OpenCL para mejorar el rendimiento de la multiplicación de matrices en dos generaciones de GPUs Adreno. Los cambios se centran principalmente en la generación X2E al establecer por defecto la ruta GEMM xmem F16xF32 y optimizar el manejo para la generación A7X.

github llama.cpp · hace 3 d · 9 vistas

llama.cpp b10670 dirige la decodificación KV cuantizada a TILE en Xe2 (BMG)

El proyecto llama.cpp lanzó la versión b10670, que incluye una optimización específica para la arquitectura Xe2 de Intel. La actualización dirige la operación de decodificación de claves y valores (KV) cuantizados exclusivamente al backend TILE para hardware BMG, manteniendo el backend VEC en otras arquitecturas hasta que sean validadas.

github llama.cpp · hace 4 d · 23 vistas

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.

github llama.cpp · hace 4 d · 15 vistas

llama.cpp b10653 añade TENSOR_READ_LAZY para la carga de modelos

El proyecto llama.cpp ha lanzado la compilación b10653, introduciendo la función TENSOR_READ_LAZY en su cargador de modelos. Este cambio incluye la adición de la función TENSOR_GET_ROW_LAZY y una bandera correspondiente --tensor-read-lazy en la línea de comandos.

github llama.cpp · hace 10 d · 12 vistas

llama.cpp b10568 usa ggml_rope_set_offset() para DeepSeek 2

El proyecto llama.cpp lanzó la compilación b10568, que actualiza el manejo de modelos para usar la función `ggml_rope_set_offset()`. Este cambio se aplica parcialmente para admitir DeepSeek 2.