github llama.cpp · hace 1 h · inference

llama.cpp b11333 añade soporte bfloat16 para WebGPU en operaciones MUL_MAT

Traducido del English → Español

El proyecto llama.cpp ha lanzado la compilación b11333, que introduce soporte bfloat16 para las operaciones MUL_MAT, MUL_MAT_ID y GET_ROWS dentro de su backend WebGPU.

Esta actualización está incluida en los binarios precompilados para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Windows, Android y openEuler. El lanzamiento proporciona compilaciones para varios aceleradores de hardware, incluyendo CUDA 12 y 13, Vulkan, ROCm 10.0, OpenVINO, SYCL y Snapdragon NPUs.

La adición de precisión bfloat16 a estas operaciones matriciales específicas de WebGPU permite un cálculo más eficiente en GPUs compatibles.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency

Leer original

llama.cpp b11335 enruta sm70 a la tabla Turing MMVQ para el rendimiento de Volta

El proyecto llama.cpp lanzó la versión b11335, que incluye una optimización CUDA para GPUs Volta. La actualización dirige la arquitectura sm_70 a la tabla nwarps existente de Turing MMVQ en lugar de caer en la configuración genérica.

github llama.cpp · hace 23 h · 5 vistas

llama.cpp b11309 optimiza ALLREDUCE de Hexagon con modo scatter seguro

El proyecto llama.cpp lanzó la versión b11309, que incluye una optimización clave para el backend de Hexagon. Esta actualización añade soporte para el modo scatter seguro a la operación ALLREDUCE, buscando mejorar el rendimiento y la estabilidad en dispositivos Qualcomm Snapdragon.

github llama.cpp · hace 2 d · 9 vistas

llama.cpp añade soporte para GLM-5.3-Flash con correcciones de k-pool y MTP

El proyecto llama.cpp ha añadido soporte inicial para la arquitectura del modelo GLM-5.3-Flash (GLM5-Next), incluyendo la migración a memoria de índice híbrido y capacidades tempranas de Multi-Token Prediction (MTP).

github llama.cpp · hace 2 d · 5 vistas

llama.cpp b11266 carga la matriz A de F32 2 a la vez para Vulkan en Intel

El proyecto llama.cpp lanzó la compilación b11266, que incluye una optimización de Vulkan que carga las matrices A de F32 dos elementos a la vez cuando están alineadas en 2. Este cambio aborda problemas de rendimiento en hardware de Intel donde cargar flotantes uno por uno es ineficiente, y también corrige una validación faltante para la alineación de `a_offset` en el parche original.

github llama.cpp · hace 2 d · 2 vistas

llama.cpp b11265 corrige la selección de tiles de matmul MOE en Vulkan

La versión llama.cpp b11265 incluye una corrección para el manejo de modelos Mixture of Experts (MoE) por parte del backend de Vulkan. La actualización corrige cómo `mat_mul_id` selecciona los tiles de multiplicación de matrices, abordando un problema de rendimiento donde los trabajadores quedaban inactivos durante el envío.