github llama.cpp · hace 1 h · inference

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.

Enruta tensores lm_head q6_K grandes a GEMV plano en lugar de gemv_noshuffle.
Añade una condición de tamaño directa para evitar ralentizaciones con modelos como gemma-4 E2B, que tiene dimensiones [1536, 262144].
Proporciona binarios para macOS (Apple Silicon e Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, HIP) y openEuler.

Este cambio asegura que las grandes matrices de pesos se procesen eficientemente en dispositivos OpenCL sin provocar cuellos de botella de rendimiento.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10236 implementa el Indexador DSv4 Lightning de Metal

La versión llama.cpp b10236 introduce una implementación de Metal del Indexador DSv4 Lightning, compatible específicamente con entradas de 128 dimensiones y consultas y pesos F32 junto con claves y máscaras F16.

github llama.cpp · hace 3 d · 8 vistas

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 5 d · 2 vistas

llama.cpp b10181 desactiva MMQ en dispositivos con menos de 48 KiB de memoria compartida

El proyecto llama.cpp lanzó la compilación b10181, que incluye una corrección en ggml-cuda para desactivar la Cuantización de Multiplicación Matricial (MMQ) en GPUs con menos de 48 KiB de memoria compartida por bloque. Anteriormente, las configuraciones de MMQ asumían un mínimo de 48 KiB, lo que causaba errores fatales en dispositivos como las GPUs NVIDIA Pascal y Moore Threads MTT S70 donde el tamaño del tile superaba la memoria disponible.

media Hugging Face Forums · hace 5 d

Hugging Face corrige DynamicCache para evitar salidas incorrectas en generate()

Un error en la función `generate()` de Hugging Face provoca salidas incorrectas cuando `past_key_values` es un `DynamicCache` construido externamente. Este problema afecta a métodos de compresión de caché KV como SnapKV, H2O y KIVI que reconstruyen cachés a partir de datos de prefill. La causa raíz es la falta de propagación del contexto posicional, lo que provoca una pérdida de precisión de 10,7 puntos porcentuales en Qwen3-VL-8B.

github llama.cpp · hace 6 d · 19 vistas

llama.cpp b10165 añade soporte para iq4_nl y q1_0 a Vulkan FA

El proyecto llama.cpp ha lanzado la compilación b10165, que restaura el soporte de cuantización iq4_nl para el backend Flash Attention (FA) de Vulkan. Este cambio aborda el problema #23681 reactivando la función después de que las preocupaciones sobre el uso de memoria compartida se consideraran insignificantes.