github llama.cpp · hace 3 d · inference

llama.cpp b11216 añade núcleos FWHT de SYCL para anchos de bloque superiores a 512

Traducido del English → Español

La versión b11216 de llama.cpp introduce núcleos de Transformada Rápida de Walsh-Hadamard (FWHT) en el backend SYCL que admiten anchos de bloque mayores de 512. Anteriormente, los anchos más grandes recurrían a una GEMM densa con complejidad O(n^2); este cambio permite un rendimiento de O(n log n) para estos tamaños.

La nueva implementación `fwht_kernel_wide` ejecuta una fila por grupo de trabajo y utiliza memoria local y registros para optimizar las operaciones mariposa.
Admite anchos de bloque de 1024, 2048, 4096 y 8192 mediante la construcción de Kronecker/Paley.
La versión incluye binarios para macOS, Linux, Windows, Android y openEuler en los backends de CPU, GPU y NPU.
La verificación se realizó utilizando un arnés independiente en un dispositivo SYCL de CPU Intel oneAPI DPC++ 2026.1, confirmando la corrección frente a una implementación de referencia.

Esta actualización mejora la eficiencia computacional para tamaños de bloque grandes en entornos SYCL mientras mantiene la compatibilidad con las configuraciones de hardware existentes.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Artículos relacionados

github llama.cpp · hace 11 h · 2 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 21 h · 2 vistas

llama.cpp b11266 carga la matriz A de F32 2 a la vez para Vulkan en Intel

El proyecto llama.cpp lanzó la compilación b11266, que incluye una optimización de Vulkan que carga las matrices A de F32 dos elementos a la vez cuando están alineadas en 2. Este cambio aborda problemas de rendimiento en hardware de Intel donde cargar flotantes uno por uno es ineficiente, y también corrige una validación faltante para la alineación de `a_offset` en el parche original.

github llama.cpp · hace 22 h · 1 vista

llama.cpp b11265 corrige la selección de tiles de matmul MOE en Vulkan

La versión llama.cpp b11265 incluye una corrección para el manejo de modelos Mixture of Experts (MoE) por parte del backend de Vulkan. La actualización corrige cómo `mat_mul_id` selecciona los tiles de multiplicación de matrices, abordando un problema de rendimiento donde los trabajadores quedaban inactivos durante el envío.

github llama.cpp · hace 2 d · 4 vistas

llama.cpp b11238 añade ggml_pad_ext para relleno a la izquierda y omite los taps de DFlash2

El proyecto llama.cpp lanzó la compilación b11238, introduciendo una implementación unificada de relleno a la izquierda mediante la nueva función `ggml_pad_ext`. Este cambio consolida los métodos anteriores utilizados por codificadores de audio como Parakeet, LFM2-Audio, Granite Speech y Gemma 4, asegurando incrustaciones bit a bit idénticas para Gemma 4 mientras simplifica el soporte del backend.

github llama.cpp · hace 2 d · 5 vistas

llama.cpp b11232 habilita flash attention en mosaico en x86

El proyecto llama.cpp lanzó la compilación b11232, que incluye actualizaciones al backend ggml-cpu. El lanzamiento se centra en habilitar flash attention en mosaico para dimensiones de cabeza no múltiplo del vector en arquitecturas x86.