github llama.cpp · hace 1 h · inference

llama.cpp b10427 fusiona operaciones FFN SYCL para una ganancia de rendimiento de hasta el 12,4 %

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10427, que incluye una optimización de rendimiento para GPUs Intel Arc a través de SYCL. La actualización implementa la fusión de las operaciones gate, up y GLU dentro de la capa de red feed-forward densa (FFN) q4_K.

Medido en un Arc Pro B70 usando llama-bench, el rendimiento aumentó un 2,8 % para qwen2.5-3B-Instruct y un 2,0 % para gemma-2-2b-it.
Las pruebas de inferencia por lotes en qwen2.5-3B mostraron ganancias significativas: +3,4 % con tamaño de lote 1, aumentando a +10,1 % con B=2, +10,7 % con B=4 y +12,4 % con B=8.

Esta versión proporciona binarios precompilados para macOS, Linux, Windows, Android y openEuler en los backends de CPU, CUDA, Vulkan, ROCm y OpenVINO.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b10413 añade la detección automática del tipo de especificación de borrador a partir de los metadatos GGUF

El proyecto llama.cpp lanzó la versión b10413, que introduce la detección automática del tipo de especificación de descodificación especulativa directamente desde los metadatos del modelo GGUF de borrador.

github llama.cpp · hace 18 h · 1 vista

llama.cpp b10410 elimina la promoción de tipo fp32 separada en el camino gemm non-oneDNN

El proyecto llama.cpp ha lanzado la versión b10410, que incluye un cambio de código para el backend SYCL. Esta actualización elimina la promoción de tipo fp32 separada en el camino GEMM non-oneDNN y en su lugar utiliza la promoción automática fp16.

github llama.cpp · hace 19 h · 4 vistas

llama.cpp b10408 añade kernel ESIMD Q3_K y mueve el control al tiempo de ejecución

El proyecto llama.cpp lanzó la versión b10408, que introduce un kernel DMMV Q3_K ESIMD para GPUs Intel. Este lanzamiento también incluye nuevos kernels ESIMD Q4_K y Q6_K y refactoriza la base de código para permitir el control de ESIMD en tiempo de ejecución en lugar de en tiempo de compilación.

github llama.cpp · hace 3 d · 6 vistas

llama.cpp b10353 corrige resultados incorrectos silenciosos en kernels ROLL de CUDA y Metal

El proyecto llama.cpp lanzó la compilación b10353, que aborda un error crítico en la operación ggml_roll en los backends de CUDA y Metal. Anteriormente, los tensores fuente permutados (no contiguos) producían resultados incorrectos silenciosamente porque estos backends ignoraban la información de paso.

github llama.cpp · hace 7 d · 8 vistas

llama.cpp b10321 corrige NORM/RMS_NORM para longitudes de fila parciales de simdgroup

El proyecto llama.cpp lanzó la versión b10321, que incluye una corrección crítica para las operaciones GGML_OP_NORM y GGML_OP_RMS_NORM en Metal. La actualización resuelve un problema donde los threadgroups con tamaños que dejaban un grupo SIMD parcial resultaban en cálculos incorrectos de media y varianza debido a sumas parciales descartadas.