github llama.cpp · ahora mismo · inference

llama.cpp corrige fallos de operadores en MTT S5000 y habilita rutas CUB

Traducido del English → Español

El proyecto llama.cpp ha lanzado una corrección para fallos de operadores y problemas de compilación en MUSA (MTT S5000), dirigido específicamente a la arquitectura PH1. Esta actualización resuelve errores críticos que causaban resultados incorrectos o tiempos de espera en este hardware.

Corrige el rendimiento de FlashAttention corrigiendo la derivación del ancho de copia de 16 bytes para objetivos sm_70+.
Habilita las rutas CUB en MUSA, eliminando límites en las operaciones ARGSORT y TOP_K.
Resuelve defectos de MMQ que causaban fallos en multiplicaciones matriciales cuantizadas cambiando a la ruta cuBLAS/dequant.
Corrige bloqueos del kernel fused TOPK_MOE asegurando que las barreras de bloque sean alcanzables para todos los warps.
Habilita el soporte del operador GATED_DELTA_NET, mejorando significativamente el rendimiento de prellenado y decodificación.

Estos cambios restauran la funcionalidad completa y mejoran el rendimiento para usuarios de MTT S5000 que ejecutan modelos como Qwen3.8-27B.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Artículos relacionados

github llama.cpp · hace 20 h · 6 vistas

llama.cpp b11160 añade matmul coopmat1 int8 para AMD RDNA3/4 y soporte IQ4_XS

El proyecto llama.cpp lanzó la versión b11160, introduciendo una implementación de matriz cooperativa int8 (coopmat1) para Vulkan en las arquitecturas AMD RDNA3 y RDNA4. Esta actualización incluye un shader dedicado que sondea los valores coopmat directamente para mejorar el rendimiento.

media Hugging Face Forums · hace 30 d · 39 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 52 d · 35 vistas

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

media r/LocalLLaMA · hace 82 d · 29 vistas

llama.cpp usa hipBLAS para prellenado denso en GPUs gfx900

Una solicitud de extracción al repositorio llama.cpp introduce un cambio que utiliza hipBLAS para operaciones de prellenado denso en GPUs de la arquitectura AMD gfx900. Esta modificación está específicamente dirigida a hardware GPU Vega heredado, incluidos modelos como Radeon RX Vega 56/64 y la serie Radeon Pro Vega.

github llama.cpp · hace 1 d · 2 vistas

llama.cpp b11158 habilita el soporte de matrices cooperativas KHR para GPUs Adreno

El proyecto llama.cpp lanzó la compilación b11158, que incluye un ajuste del soporte de matrices cooperativas KHR específicamente para GPUs Adreno a través del backend de Vulkan.