github llama.cpp · hace 3 h · inference

llama.cpp extiende el matmul MMA de pocas filas a BF16, Q2_K y otros tipos

Traducido del English → Español

El proyecto llama.cpp ha ampliado su núcleo genérico de Multiplicación Matricial (MMA) de pocas filas para admitir tipos de datos fuente adicionales, incluyendo BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 y varios tipos IQ. Esta actualización permite que el núcleo optimizado maneje cualquier tipo con un desquantizador de 16 pesos, aplicando umbrales específicos de conteo de filas en hardware M3 Ultra donde el rendimiento comienza a superar a los núcleos actuales.

El nuevo soporte cubre BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 y tipos IQ.
Los umbrales de rendimiento varían según el tipo: 5 filas para TQ2_0, 4 para BF16, 3 para MXFP4/Q2_0/Q2_K/IQ4_NL, y 2 para los demás.
Los resultados de benchmark en M3 Ultra muestran ratios de rendimiento que oscilan entre 0.23 y 1.01 dependiendo del conteo de filas y la superposición del núcleo.

Este cambio mejora la eficiencia de inferencia para un rango más amplio de formatos de cuantización aprovechando las capacidades del núcleo MMA a bajos conteos de filas.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artículos relacionados

github llama.cpp · hace 3 h · 1 vista

llama.cpp añade soporte para GLM5-Next MTP y optimiza el grafo NextN

El proyecto llama.cpp ha añadido soporte para la cabeza de predicción multi-tokeno (MTP) GLM5-Next, implementando una nueva estructura de grafo para manejar sus necesidades arquitectónicas específicas. Esta actualización incluye optimizaciones para el bloque NextN, permitiendo omitir el cómputo inactivo durante las inferencias sin cabeza y extraer correctamente las filas ocultas.

github llama.cpp · hace 7 h · 1 vista

llama.cpp b11463 acelera el prefill de GLM MLA con MKL flash attention

La versión llama.cpp b11463 incluye una actualización de SYCL que habilita MKL flash attention para la forma específica de Multi-Latent Attention (MLA) de GLM-4.7 Flash, que anteriormente era rechazada por el despachador.

github llama.cpp · hace 2 d · 27 vistas

llama.cpp b11413 añade atención flash dispersa de Vulkan para K/V cuantizados

La versión b11413 de llama.cpp introduce una nueva implementación de atención flash dispersa en Vulkan que soporta tensores de Clave y Valor cuantizados. Esta actualización aborda problemas de rendimiento en el método anterior de compactación, que era demasiado costoso para tareas de decodificación con ventanas de contexto grandes.

github llama.cpp · hace 7 d · 44 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 10 d · 33 vistas

llama.cpp b11207 añade soporte para GET_ROWS con mosaico Q4_0 y Q8_0 para Hexagon

El proyecto llama.cpp lanzó la compilación b11207, que introduce soporte para operaciones GET_ROWS con mosaico Q4_0 y Q8_0 en el backend de Hexagon. Esta actualización también incluye correcciones a macros, desbordamientos de registros y la tubería DMA, junto con mejoras en la lógica de selección de núcleos y la vectorización reactivada.