github llama.cpp · à l'instant · inference

llama.cpp corrige les échecs d'opérateurs sur MTT S5000 et active les chemins CUB

Traduit de English → Français

Le projet llama.cpp a publié une correction pour les échecs d'opérateurs et les problèmes de compilation sur MUSA (MTT S5000), ciblant spécifiquement l'architecture PH1. Cette mise à jour résout des bugs critiques causant des résultats incorrects ou des timeouts sur ce matériel.

Corrige les performances de FlashAttention en corrigeant la dérivation de la largeur de copie de 16 octets pour les cibles sm_70+.
Active les chemins CUB sur MUSA, levant les limites sur les opérations ARGSORT et TOP_K.
Résout les défauts de MMQ causant des échecs de matmul quantifié en basculant vers le chemin cuBLAS/dequant.
Corrige les blocages du kernel fused TOPK_MOE en garantissant que les barrières de bloc sont accessibles pour tous les warps.
Active le support de l'opérateur GATED_DELTA_NET, améliorant significativement le débit de prefill et decode.

Ces modifications restaurent la fonctionnalité complète et améliorent les performances pour les utilisateurs de MTT S5000 exécutant des modèles comme Qwen3.8-27B.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 20 h · 6 vues

llama.cpp b11160 ajoute le matmul coopmat1 int8 pour AMD RDNA3/4 et le support IQ4_XS

Le projet llama.cpp a publié la version b11160, introduisant une implémentation de matrice coopérative int8 (coopmat1) pour Vulkan sur les architectures AMD RDNA3 et RDNA4. Cette mise à jour inclut un shader dédié qui sonde directement les valeurs coopmat pour améliorer les performances.

media Hugging Face Forums · il y a 30 j · 39 vues

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

github llama.cpp · il y a 52 j · 35 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

media r/LocalLLaMA · il y a 82 j · 29 vues

llama.cpp utilise hipBLAS pour le préremplissage dense sur les GPU gfx900

Une demande de tirage vers le dépôt llama.cpp introduit une modification qui utilise hipBLAS pour les opérations de préremplissage dense sur les GPU d'architecture AMD gfx900. Cette modification cible spécifiquement le matériel GPU Vega hérité, y compris des modèles comme la Radeon RX Vega 56/64 et la série Radeon Pro Vega.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b11158 active le support des matrices coopératives KHR pour les GPU Adreno

Le projet llama.cpp a publié la compilation b11158, qui inclut un ajustement du support des matrices coopératives KHR spécifiquement pour les GPU Adreno via le backend Vulkan.