github llama.cpp · hace 1 h · inference

llama.cpp b11463 acelera el prefill de GLM MLA con MKL flash attention

Traducido del English → Español

La versión llama.cpp b11463 incluye una actualización de SYCL que habilita MKL flash attention para la forma específica de Multi-Latent Attention (MLA) de GLM-4.7 Flash, que anteriormente era rechazada por el despachador.

El cambio admite la forma 576/576/512 GQA-20 F16 en la canalización MKL y maneja V cache como una vista estridada de las filas K.
Se incluyó un intento de almacenar las puntuaciones de MKL flash attention en F16 para reducir el tráfico de memoria, pero se revirtió posteriormente en esta compilación.
En un Intel Arc Pro B70, la optimización MLA mejoró el procesamiento del prompt (pp8192) de 432.80 a 1292.29 tok/s, una aceleración de 2.99x.
La versión proporciona binarios para macOS, Linux, Windows, Android y openEuler en los backends CPU, CUDA, ROCm, Vulkan, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b11413 añade atención flash dispersa de Vulkan para K/V cuantizados

La versión b11413 de llama.cpp introduce una nueva implementación de atención flash dispersa en Vulkan que soporta tensores de Clave y Valor cuantizados. Esta actualización aborda problemas de rendimiento en el método anterior de compactación, que era demasiado costoso para tareas de decodificación con ventanas de contexto grandes.

github llama.cpp · hace 7 d · 44 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 10 d · 33 vistas

llama.cpp b11207 añade soporte para GET_ROWS con mosaico Q4_0 y Q8_0 para Hexagon

El proyecto llama.cpp lanzó la compilación b11207, que introduce soporte para operaciones GET_ROWS con mosaico Q4_0 y Q8_0 en el backend de Hexagon. Esta actualización también incluye correcciones a macros, desbordamientos de registros y la tubería DMA, junto con mejoras en la lógica de selección de núcleos y la vectorización reactivada.

github llama.cpp · hace 14 d · 47 vistas

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.

github llama.cpp · hace 14 d · 53 vistas

llama.cpp b11122 extiende la fusión MMVQ GLU y añade nuevas fusiones SYCL

El proyecto llama.cpp ha lanzado la versión b11122, que incluye actualizaciones significativas para el backend SYCL. El lanzamiento extiende la fusión MMVQ GLU para soportar tipos de cuantización mixtos e introduce nuevas fusiones para las operaciones rms_norm+scale y ssm_conv+silu.