github llama.cpp · hace 1 d · inference

llama.cpp b10353 corrige resultados incorrectos silenciosos en kernels ROLL de CUDA y Metal

Traducido del English → Español

El proyecto llama.cpp lanzó la compilación b10353, que aborda un error crítico en la operación ggml_roll en los backends de CUDA y Metal. Anteriormente, los tensores fuente permutados (no contiguos) producían resultados incorrectos silenciosamente porque estos backends ignoraban la información de paso.

La corrección añade un requisito de fuente contigua a ambos kernels roll de CUDA y Metal, coincidiendo con la protección GGML_OP_ROPE existente.
Este cambio asegura que el programador vuelva a la implementación de CPU para entradas no contiguas, que maneja correctamente los pasos.
Se añadió un caso de prueba test_roll permutado para verificar la corrección.

Esta actualización previene la corrupción de datos en modelos que dependen de operaciones ROLL con layouts de memoria no estándar.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10321 corrige NORM/RMS_NORM para longitudes de fila parciales de simdgroup

El proyecto llama.cpp lanzó la versión b10321, que incluye una corrección crítica para las operaciones GGML_OP_NORM y GGML_OP_RMS_NORM en Metal. La actualización resuelve un problema donde los threadgroups con tamaños que dejaban un grupo SIMD parcial resultaban en cálculos incorrectos de media y varianza debido a sumas parciales descartadas.

github llama.cpp · hace 6 d · 5 vistas

llama.cpp b10293 añade CI de ROCm para gfx1151 y corrige la inferencia en RDNA3.5

El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.

github llama.cpp · hace 8 d · 2 vistas

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

github llama.cpp · hace 8 d · 1 vista

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.

github llama.cpp · hace 9 d · 6 vistas

llama.cpp b10236 implementa el Indexador DSv4 Lightning de Metal

La versión llama.cpp b10236 introduce una implementación de Metal del Indexador DSv4 Lightning, compatible específicamente con entradas de 128 dimensiones y consultas y pesos F32 junto con claves y máscaras F16.