github llama.cpp · ahora mismo · inference

llama.cpp b10410 elimina la promoción de tipo fp32 separada en el camino gemm non-oneDNN

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10410, que incluye un cambio de código para el backend SYCL. Esta actualización elimina la promoción de tipo fp32 separada en el camino GEMM non-oneDNN y en su lugar utiliza la promoción automática fp16.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x, Vulkan, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm 7.14) y openEuler.
El soporte de macOS Apple Silicon KleidiAI está desactivado en este lanzamiento.
El soporte de Ubuntu x64 ROCm 7.14 también está desactivado.
El componente UI está disponible como una descarga separada.

Esta actualización simplifica la implementación de SYCL GEMM al depender de la promoción automática de tipo en lugar del manejo explícito.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10408 añade kernel ESIMD Q3_K y mueve el control al tiempo de ejecución

El proyecto llama.cpp lanzó la versión b10408, que introduce un kernel DMMV Q3_K ESIMD para GPUs Intel. Este lanzamiento también incluye nuevos kernels ESIMD Q4_K y Q6_K y refactoriza la base de código para permitir el control de ESIMD en tiempo de ejecución en lugar de en tiempo de compilación.

github llama.cpp · hace 3 d

llama.cpp b10353 corrige resultados incorrectos silenciosos en kernels ROLL de CUDA y Metal

El proyecto llama.cpp lanzó la compilación b10353, que aborda un error crítico en la operación ggml_roll en los backends de CUDA y Metal. Anteriormente, los tensores fuente permutados (no contiguos) producían resultados incorrectos silenciosamente porque estos backends ignoraban la información de paso.

github llama.cpp · hace 6 d · 1 vista

llama.cpp b10321 corrige NORM/RMS_NORM para longitudes de fila parciales de simdgroup

El proyecto llama.cpp lanzó la versión b10321, que incluye una corrección crítica para las operaciones GGML_OP_NORM y GGML_OP_RMS_NORM en Metal. La actualización resuelve un problema donde los threadgroups con tamaños que dejaban un grupo SIMD parcial resultaban en cálculos incorrectos de media y varianza debido a sumas parciales descartadas.

github llama.cpp · hace 7 d · 6 vistas

llama.cpp b10293 añade CI de ROCm para gfx1151 y corrige la inferencia en RDNA3.5

El proyecto llama.cpp lanzó la compilación b10293, que incluye la integración continua de AMD ROCm para la arquitectura gfx1151 y resuelve problemas de corrección en GPUs integradas con RDNA3.5.

github llama.cpp · hace 9 d · 3 vistas

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.