github llama.cpp · hace 1 h · inference

llama.cpp b10293 añade CI de ROCm para gfx1151 y corrige la inferencia en RDNA3.5

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.

Corrige test-recurrent-state-rollback en gfx1151 permitiendo buffers de salida del host de GPU integrada en aserciones de depuración.
Restaura la corrección de inferencia en RDNA3.5 habilitando memoria unificada para evitar problemas de coherencia de GPU con pesos cargados mediante mmap.
Aborda errores de ejecución asíncrona en la ruta HIP utilizando HIP_LAUNCH_BLOCKING=1 para serializar lanzamientos de núcleos.
Omite pruebas de arquitectura jamba y subpruebas top-k en el backend HIP debido a operaciones no soportadas y salida incorrecta.

Esta actualización permite pruebas e inferencia confiables de modelos llama.cpp en hardware AMD RDNA3.5 a través de ROCm.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

github llama.cpp · hace 2 d

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.

github llama.cpp · hace 3 d · 6 vistas

llama.cpp b10236 implementa el Indexador DSv4 Lightning de Metal

La versión llama.cpp b10236 introduce una implementación de Metal del Indexador DSv4 Lightning, compatible específicamente con entradas de 128 dimensiones y consultas y pesos F32 junto con claves y máscaras F16.

github llama.cpp · hace 6 d · 8 vistas

llama.cpp b10208 añade atención flash GEMM oneMKL para procesamiento de prompts acelerado por XMX

La versión b10208 de llama.cpp introduce soporte SYCL para la atención flash GEMM de oneMKL, permitiendo la aceleración por hardware XMX para el procesamiento de prompts. Este cambio mejora significativamente la velocidad de inferencia en las GPUs Intel Arc al utilizar núcleos MKL en lugar de la ruta TILE predeterminada.

github llama.cpp · hace 8 d · 2 vistas

llama.cpp b10181 desactiva MMQ en dispositivos con menos de 48 KiB de memoria compartida

El proyecto llama.cpp lanzó la compilación b10181, que incluye una corrección en ggml-cuda para desactivar la Cuantización de Multiplicación Matricial (MMQ) en GPUs con menos de 48 KiB de memoria compartida por bloque. Anteriormente, las configuraciones de MMQ asumían un mínimo de 48 KiB, lo que causaba errores fatales en dispositivos como las GPUs NVIDIA Pascal y Moore Threads MTT S70 donde el tamaño del tile superaba la memoria disponible.