github llama.cpp · ahora mismo · inference

llama.cpp b10408 añade kernel ESIMD Q3_K y mueve el control al tiempo de ejecución

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10408, que introduce un kernel DMMV Q3_K ESIMD para GPUs Intel. Este lanzamiento también incluye nuevos kernels ESIMD Q4_K y Q6_K y refactoriza la base de código para permitir el control de ESIMD en tiempo de ejecución en lugar de en tiempo de compilación.

Añade kernels ESIMD DMMV Q3_K, Q4_K y Q6_K.
Mueve el control de ESIMD de la configuración en tiempo de compilación al tiempo de ejecución.
Usa ESIMD por defecto cuando está disponible y corrige errores potenciales con este comportamiento por defecto.
Incluye directivas de desenrollado explícitas para kernels ESIMD y limpia el código del kernel.

La actualización proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, Vulkan, OpenCL, ROCm y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10353 corrige resultados incorrectos silenciosos en kernels ROLL de CUDA y Metal

El proyecto llama.cpp lanzó la compilación b10353, que aborda un error crítico en la operación ggml_roll en los backends de CUDA y Metal. Anteriormente, los tensores fuente permutados (no contiguos) producían resultados incorrectos silenciosamente porque estos backends ignoraban la información de paso.

github llama.cpp · hace 6 d · 1 vista

llama.cpp b10321 corrige NORM/RMS_NORM para longitudes de fila parciales de simdgroup

El proyecto llama.cpp lanzó la versión b10321, que incluye una corrección crítica para las operaciones GGML_OP_NORM y GGML_OP_RMS_NORM en Metal. La actualización resuelve un problema donde los threadgroups con tamaños que dejaban un grupo SIMD parcial resultaban en cálculos incorrectos de media y varianza debido a sumas parciales descartadas.

github llama.cpp · hace 7 d · 6 vistas

llama.cpp b10293 añade CI de ROCm para gfx1151 y corrige la inferencia en RDNA3.5

El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.

github llama.cpp · hace 9 d · 3 vistas

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

github llama.cpp · hace 10 d · 1 vista

llama.cpp b10246 enruta grandes lm_head q6_K a GEMV plano

El proyecto llama.cpp lanzó la versión b10246, que incluye una corrección para el rendimiento de OpenCL en configuraciones específicas de modelos. La actualización aborda un problema donde la condición de dimensión original era insuficiente para manejar grandes pesos.