github llama.cpp · hace 4 d · inference

llama.cpp b10827 corrige la selección de empaquetado de pesos OpenCL para mul_mat q4_K y q5_K

Traducido del English → Español

El proyecto llama.cpp ha lanzado la versión b10827, que incluye una corrección para elegir correctamente el empaquetado de pesos para las operaciones de multiplicación de matrices q4_K y q5_K utilizando OpenCL.

El lanzamiento proporciona binarios para macOS (Apple Silicon e Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL), Android e iOS.
El soporte de OpenCL Adreno está disponible en Windows arm64, mientras que KleidiAI permanece deshabilitado para macOS Apple Silicon.
La actualización también incluye una nueva compilación de la interfaz de usuario y enlaces de atestación para verificación.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Leer original

llama.cpp b10840 añade desempaquetado sin ramificación Q4_K/Q5_K y prefetch L2 para CUDA

El proyecto llama.cpp lanzó la versión b10840, que introduce optimizaciones de rendimiento para inferencia en CUDA. La actualización implementa cómputo sin ramificación para los formatos de cuantización Q4_K y Q5_K para acelerar la multiplicación matriz-vector (mmvq).

github llama.cpp · hace 7 d · 21 vistas

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

lab Hugging Face Blog · hace 9 d · 13 vistas

Hugging Face lanza 207 núcleos WebGPU y una herramienta de evaluación en el navegador

Hugging Face ha lanzado @huggingface/kernels, una biblioteca para cargar y ejecutar núcleos WebGPU optimizados desde el Hub de Hugging Face, junto con una colección inicial de 207 núcleos. El lanzamiento también introduce Fleet, un conjunto de evaluación de GPU en el navegador que recopila evidencia de rendimiento y corrección de los dispositivos de los usuarios.

github llama.cpp · hace 10 d · 19 vistas

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 12 d · 19 vistas

llama.cpp habilita GEMM xmem y evita f32 en mosaico en GPUs Adreno

El proyecto llama.cpp ha actualizado su backend OpenCL para mejorar el rendimiento de la multiplicación de matrices en dos generaciones de GPUs Adreno. Los cambios se centran principalmente en la generación X2E al establecer por defecto la ruta GEMM xmem F16xF32 y optimizar el manejo para la generación A7X.