github llama.cpp · ahora mismo · inference

llama.cpp b10791 añade optimizaciones de GEMV para descodificación y lm_head cuantificado con OpenCL

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b10791, introduciendo optimizaciones significativas de OpenCL para cabezales de modelos de lenguaje cuantificados y operaciones de GEMV de descodificación. Esta actualización también incluye mejoras de GEMM en lotes medianos relevantes para la descodificación especulativa y la predicción de múltiples tokens.

Optimiza opencl quant lm_head / decode GEMV y GEMM de lote mediano para descodificación especulativa/MTP.
Protege el registro del kernel de conversión tiled_ns q4_K/q6_K para compilaciones que no sean Adreno.
Dirige la fusión de dispatch MUL_MAT+GLU de q4_K específicamente al hardware Adreno.
Requiere el diseño de pesos noshuffle en el gate de fusión GLU de q4_K.
Evita tomar la ruta GEMV mrow f16 vectorizada con pasos de fila no alineados.
Habilita decode GEMV split-K de q4_K solo donde se han medido ganancias de rendimiento.
Restringe los valores predeterminados de tiled lm_head/embed GEMV a las arquitecturas X2E/A8X.

El lanzamiento proporciona binarios para macOS, iOS, Linux, Windows, Android y openEuler a través de CPU, GPU y varios backends de aceleradores.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Artículos relacionados

lab Hugging Face Blog · hace 2 d · 6 vistas

Hugging Face lanza 207 núcleos WebGPU y una herramienta de evaluación en el navegador

Hugging Face ha lanzado @huggingface/kernels, una biblioteca para cargar y ejecutar núcleos WebGPU optimizados desde el Hub de Hugging Face, junto con una colección inicial de 207 núcleos. El lanzamiento también introduce Fleet, un conjunto de evaluación de GPU en el navegador que recopila evidencia de rendimiento y corrección de los dispositivos de los usuarios.

github llama.cpp · hace 3 d · 10 vistas

llama.cpp b10718 extiende la fusión MOE a specdec y multi-token

El proyecto llama.cpp lanzó la versión b10718, que incluye una actualización significativa en su backend CUDA. El cambio más notable es la extensión de la fusión Mixture of Experts (MOE) para admitir la decodificación especulativa (specdec), abordando limitaciones anteriores donde la fusión MOE glu y topk-router estaba restringida a procesar solo un token a la vez.

github llama.cpp · hace 5 d · 9 vistas

llama.cpp habilita GEMM xmem y evita f32 en mosaico en GPUs Adreno

El proyecto llama.cpp ha actualizado su backend OpenCL para mejorar el rendimiento de la multiplicación de matrices en dos generaciones de GPUs Adreno. Los cambios se centran principalmente en la generación X2E al establecer por defecto la ruta GEMM xmem F16xF32 y optimizar el manejo para la generación A7X.

github llama.cpp · hace 6 d · 11 vistas

llama.cpp b10670 dirige la decodificación KV cuantizada a TILE en Xe2 (BMG)

El proyecto llama.cpp lanzó la versión b10670, que incluye una optimización específica para la arquitectura Xe2 de Intel. La actualización dirige la operación de decodificación de claves y valores (KV) cuantizados exclusivamente al backend TILE para hardware BMG, manteniendo el backend VEC en otras arquitecturas hasta que sean validadas.

github llama.cpp · hace 7 d · 30 vistas

llama.cpp añade soporte para la arquitectura Qwen3.8-Flash-Next (qwen4exp)

El proyecto llama.cpp ha añadido soporte para la arquitectura del modelo Qwen3.8-Flash-Next (qwen4exp), implementando sus componentes específicos, incluidas las hiperconexiones, redes delta con compuerta, Mezcla de Expertos y embeddings de hash n-gram PLE.