github llama.cpp · ahora mismo · inference

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

Traducido del English → Español

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

Los tipos KV admitidos incluyen Q4_0, Q4_1, Q5_0, Q5_1, Q8_0 y F32, mientras que los tipos BF16 e IQ están excluidos debido a la falta de kernels de conversión.
El soporte no FP16 está condicionado por requisitos que exigen K >= 1024 y Q >= 32 durante la fase de prellenado.
La versión incluye una corrección de sincronización de flujo que garantiza un comportamiento incondicional de wait_and_throw y elimina el aliasing V_is_K_view para asegurar que K y V siempre se desquantizan a búferes separados.
Se proporcionan binarios para macOS, Linux, Windows, Android y openEuler en CPU, GPU (CUDA, Vulkan, ROCm, OpenCL) y backends especializados como SYCL y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Artículos relacionados

media r/LocalLLaMA · hace 30 d

llama.cpp usa hipBLAS para prellenado denso en GPUs gfx900

Una solicitud de extracción al repositorio llama.cpp introduce un cambio que utiliza hipBLAS para operaciones de prellenado denso en GPUs de la arquitectura AMD gfx900. Esta modificación está específicamente dirigida a hardware GPU Vega heredado, incluidos modelos como Radeon RX Vega 56/64 y la serie Radeon Pro Vega.

github llama.cpp · hace 7 h

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.

github llama.cpp · hace 1 d · 6 vistas

llama.cpp b10236 implementa el Indexador DSv4 Lightning de Metal

La versión llama.cpp b10236 introduce una implementación de Metal del Indexador DSv4 Lightning, compatible específicamente con entradas de 128 dimensiones y consultas y pesos F32 junto con claves y máscaras F16.

github llama.cpp · hace 4 d · 8 vistas

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

media r/LocalLLaMA · hace 5 d

Lucebox y AMD superan a Nvidia DGX Spark por 3.63x en DeepSeek V4 Flash

Lucebox se ha asociado con AMD para demostrar una configuración de hardware heterogénea para consumidores que supera a Nvidia DGX Spark en velocidad de inferencia. El sistema combina una GPU AMD Radeon AI PRO R9700 con un procesador Strix Halo para ejecutar el modelo completo DeepSeek V4 Flash de 284B.