github llama.cpp · hace 3 h · inference

llama.cpp b11043 permite flash-attention HMX con head_dim=72

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b11043, que incluye un cambio en la implementación de flash-attention HMX. Esta actualización habilita el soporte para dimensiones de cabeza que no son múltiplos de 64, permitiendo específicamente configuraciones como head_dim=72 de SigLIP.

El kernel de flash-attention HMX ahora opera con DK/DV redondeados a 64 con carriles finales rellenos de ceros.
Binarios precompilados están disponibles para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android y openEuler.

Este cambio permite a los usuarios ejecutar modelos con dimensiones de cabeza no estándar en hardware compatible sin problemas de compatibilidad.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b11046 añade soporte para OpenCL al kernel flash_attn_f32_f16_bin

El proyecto llama.cpp ha lanzado la versión b11046, que introduce soporte para OpenCL en el kernel `flash_attn_f32_f16_bin`. Esta actualización también incluye funcionalidad de prellenado protegido para Flash Attention en dispositivos OpenCL.

github llama.cpp · hace 1 h · 1 vista En vivo

llama.cpp b11044 actualiza hexagon im2col y libera binarios

El proyecto llama.cpp ha lanzado la versión b11044, que incluye una actualización al backend hexagon para mejorar las operaciones image-to-column (im2col). El lanzamiento proporciona binarios precompilados para macOS, Linux, Windows, Android y openEuler en CPU, GPU y otros aceleradores de hardware.

github llama.cpp · hace 2 h · 1 vista

llama.cpp b11045 añade soporte para la operación ROLL en el backend Hexagon

El proyecto llama.cpp ha lanzado la versión b11045, que introduce soporte para la operación ROLL dentro del backend Hexagon.

github llama.cpp · hace 5 h · 1 vista

llama.cpp b11042 añade el kernel binario OpenCL A8 Q6_K

El proyecto llama.cpp ha lanzado la versión b11042, que introduce un nuevo kernel binario OpenCL para modelos A8 Q6_K no-MoE. Esta actualización también incluye correcciones de compatibilidad de disposición dentro del backend de OpenCL.

github llama.cpp · hace 9 h · 1 vista

llama.cpp b11039 añade soporte para el patrón SWA al guardador de modelos y a los cargadores

El proyecto llama.cpp lanzó la compilación b11039, que actualiza el guardador de modelos para escribir patrones de atención de ventana deslizante (SWA) y geometría MLA SWA para todos los modelos que utilizan SWA. El cambio asegura que `sliding_window_pattern` se escriba como una bandera por capa en lugar de colapsarse a un escalar, preservando la representación exacta de los datos.