github llama.cpp · ahora mismo · inference

llama.cpp b10236 implementa el Indexador DSv4 Lightning de Metal

Traducido del English → Español

La versión llama.cpp b10236 introduce una implementación de Metal del Indexador DSv4 Lightning, compatible específicamente con entradas de 128 dimensiones y consultas y pesos F32 junto con claves y máscaras F16.

La actualización incluye núcleos en mosaico y de cola para manejar longitudes KV cerca de los límites de 8 y 64 elementos.
Los tiles K se almacenan y desquantizan en memoria de grupo de hilos F16 antes de las cargas de matriz simdgroup, compatible con formatos F32, F16, BF16 y varios formatos de cuantización.
Las pruebas muestran un mayor rendimiento de prellenado (pp512) en longitudes de secuencia de 10k, 20k y 30k tokens en comparación con versiones anteriores.

Esta optimización mejora el rendimiento de inferencia en dispositivos Apple Silicon al mejorar los patrones de acceso a memoria para el Indexador Lightning.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 5 d · 1 vista

llama.cpp b10181 desactiva MMQ en dispositivos con menos de 48 KiB de memoria compartida

El proyecto llama.cpp lanzó la compilación b10181, que incluye una corrección en ggml-cuda para desactivar la Cuantización de Multiplicación Matricial (MMQ) en GPUs con menos de 48 KiB de memoria compartida por bloque. Anteriormente, las configuraciones de MMQ asumían un mínimo de 48 KiB, lo que causaba errores fatales en dispositivos como las GPUs NVIDIA Pascal y Moore Threads MTT S70 donde el tamaño del tile superaba la memoria disponible.

media Hugging Face Forums · hace 5 d

Hugging Face corrige DynamicCache para evitar salidas incorrectas en generate()

Un error en la función `generate()` de Hugging Face provoca salidas incorrectas cuando `past_key_values` es un `DynamicCache` construido externamente. Este problema afecta a métodos de compresión de caché KV como SnapKV, H2O y KIVI que reconstruyen cachés a partir de datos de prefill. La causa raíz es la falta de propagación del contexto posicional, lo que provoca una pérdida de precisión de 10,7 puntos porcentuales en Qwen3-VL-8B.

github llama.cpp · hace 6 d · 19 vistas

llama.cpp b10165 añade soporte para iq4_nl y q1_0 a Vulkan FA

El proyecto llama.cpp ha lanzado la compilación b10165, que restaura el soporte de cuantización iq4_nl para el backend Flash Attention (FA) de Vulkan. Este cambio aborda el problema #23681 reactivando la función después de que las preocupaciones sobre el uso de memoria compartida se consideraran insignificantes.

github llama.cpp · hace 6 d

llama.cpp b10164 añade matmul SSD fragmentado para acelerar el prefill de Mamba-2

El proyecto llama.cpp lanzó la versión b10164, introduciendo una nueva implementación de multiplicación de matrices SSD fragmentada diseñada para acelerar la fase de prefill de los modelos Mamba-2.