github llama.cpp · ahora mismo · inference

llama.cpp b11160 añade matmul coopmat1 int8 para AMD RDNA3/4 y soporte IQ4_XS

Traducido del English → Español

El proyecto llama.cpp lanzó la versión b11160, introduciendo una implementación de matriz cooperativa int8 (coopmat1) para Vulkan en las arquitecturas AMD RDNA3 y RDNA4. Esta actualización incluye un shader dedicado que sondea los valores coopmat directamente para mejorar el rendimiento.

Añade soporte de cuantización IQ4_XS al shader de matmul entero mul_mmq_cm1.
Implementa la aplicación de escala en línea, sumas escalares y doble buffering para el backend de Vulkan.
Soporta las cuantizaciones q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k y nvfp4.
Incluye binarios para macOS, Linux, Windows, Android y openEuler a través de los backends CPU, CUDA, ROCm, OpenVINO y SYCL.

Importancia 1/3 Confianza 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Leer original

EdgeFirst publica un pipeline en Rust para validar modelos YOLO en 20 plataformas de borde

EdgeFirst ha publicado el EdgeFirst Model Zoo en Hugging Face, que incluye los modelos YOLOv5, YOLOv8, YOLO11 y YOLO26 validados en 20 plataformas de borde distintas. La validación se basa en un único pipeline en Rust que maneja la preprocesamiento DMA sin copias, la decodificación del modelo y el post-procesamiento directamente en el hardware objetivo.

github llama.cpp · hace 51 d · 35 vistas

llama.cpp b10255 extiende oneDNN SDPA a cachés KV no FP16

La versión b10255 de llama.cpp extiende la ruta de SDPA de oneDNN para admitir cachés de clave-valor (KV) no FP16, incluidos los formatos cuantizados Q4_0–Q8_0 y FP32. Esta actualización permite que el kernel sistólico fusionado se ejecute idénticamente a la ruta nativa FP16, desquantizando o convirtiendo los tensores K/V a FP16 denso en el dispositivo antes del procesamiento.

media r/LocalLLaMA · hace 81 d · 29 vistas

llama.cpp usa hipBLAS para prellenado denso en GPUs gfx900

Una solicitud de extracción al repositorio llama.cpp introduce un cambio que utiliza hipBLAS para operaciones de prellenado denso en GPUs de la arquitectura AMD gfx900. Esta modificación está específicamente dirigida a hardware GPU Vega heredado, incluidos modelos como Radeon RX Vega 56/64 y la serie Radeon Pro Vega.

github llama.cpp · hace 4 h · 2 vistas

llama.cpp b11158 habilita el soporte de matrices cooperativas KHR para GPUs Adreno

El proyecto llama.cpp lanzó la compilación b11158, que incluye un ajuste del soporte de matrices cooperativas KHR específicamente para GPUs Adreno a través del backend de Vulkan.

github llama.cpp · hace 18 h · 3 vistas

llama.cpp v0.5.0 añade soporte para HRM-Text, aceleración de conv2d en CUDA y enlace a múltiples direcciones

El proyecto llama.cpp ha lanzado la versión 0.5.0, centrada en el rendimiento del backend, una mayor cobertura de modelos y un funcionamiento del servidor más robusto. Esta actualización introduce soporte para nuevas arquitecturas como HRM-Text (DFM Mimir 1B) y MiMo-V2.6, mientras mejora significativamente la eficiencia computacional mediante optimizaciones de CUDA y Metal.