github llama.cpp · ahora mismo · inference

llama.cpp b11335 enruta sm70 a la tabla Turing MMVQ para el rendimiento de Volta

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11335, que incluye una optimización CUDA para GPUs Volta. La actualización dirige la arquitectura sm_70 a la tabla nwarps existente de Turing MMVQ en lugar de caer en la configuración genérica.

Volta (sm_70) ahora utiliza el ajuste TURING para la decodificación batch-1 de K-quant, cambiando el número de warps de 4 a 2.
Las pruebas en una Tesla V100 con Qwen3.8-27B muestran un aumento del +3.17% en el rendimiento (+1.091 t/s) con una perplejidad idéntica a nivel de bits.
El cambio se deriva del fork anyei/llamacpp-v100 y se aplica a los selectores de tabla del dispositivo y del host.

Este ajuste mejora la velocidad de inferencia en hardware Volta sin afectar la precisión del modelo.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Leer original

llama.cpp corrige fallos de operadores en MTT S5000 y habilita rutas CUB

El proyecto llama.cpp ha lanzado una corrección para fallos de operadores y problemas de compilación en MUSA (MTT S5000), dirigido específicamente a la arquitectura PH1. Esta actualización resuelve errores críticos que causaban resultados incorrectos o tiempos de espera en este hardware.

github llama.cpp · hace 7 d · 33 vistas

llama.cpp b11160 añade matmul coopmat1 int8 para AMD RDNA3/4 y soporte IQ4_XS

El proyecto llama.cpp lanzó la versión b11160, introduciendo una implementación de matriz cooperativa int8 (coopmat1) para Vulkan en las arquitecturas AMD RDNA3 y RDNA4. Esta actualización incluye un shader dedicado que sondea los valores coopmat directamente para mejorar el rendimiento.

media Hugging Face Forums · hace 37 d · 40 vistas

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 59 d · 38 vistas

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

media r/LocalLLaMA · hace 88 d · 33 vistas

llama.cpp usa hipBLAS para prellenado denso en GPUs gfx900

Una solicitud de extracción al repositorio llama.cpp introduce un cambio que utiliza hipBLAS para operaciones de prellenado denso en GPUs de la arquitectura AMD gfx900. Esta modificación está específicamente dirigida a hardware GPU Vega heredado, incluidos modelos como Radeon RX Vega 56/64 y la serie Radeon Pro Vega.