github llama.cpp · à l'instant · inference

llama.cpp b11160 ajoute le matmul coopmat1 int8 pour AMD RDNA3/4 et le support IQ4_XS

Traduit de English → Français

Le projet llama.cpp a publié la version b11160, introduisant une implémentation de matrice coopérative int8 (coopmat1) pour Vulkan sur les architectures AMD RDNA3 et RDNA4. Cette mise à jour inclut un shader dédié qui sonde directement les valeurs coopmat pour améliorer les performances.

Ajoute le support de la quantification IQ4_XS au shader de matmul entier mul_mmq_cm1.
Implémente l'application d'échelle inline, les sommes scalaires et le double buffering pour le backend Vulkan.
Prend en charge les quantifications q8_0, q4_1, q5_0, q5_1, iq4_nl, mxfp4, q3_k, q4_k, q5_k, q6_k et nvfp4.
Inclut des binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, CUDA, ROCm, OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Lire l'original

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

github llama.cpp · il y a 51 j · 35 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

media r/LocalLLaMA · il y a 81 j · 29 vues

llama.cpp utilise hipBLAS pour le préremplissage dense sur les GPU gfx900

Une demande de tirage vers le dépôt llama.cpp introduit une modification qui utilise hipBLAS pour les opérations de préremplissage dense sur les GPU d'architecture AMD gfx900. Cette modification cible spécifiquement le matériel GPU Vega hérité, y compris des modèles comme la Radeon RX Vega 56/64 et la série Radeon Pro Vega.

github llama.cpp · il y a 4 h · 2 vues

llama.cpp b11158 active le support des matrices coopératives KHR pour les GPU Adreno

Le projet llama.cpp a publié la compilation b11158, qui inclut un ajustement du support des matrices coopératives KHR spécifiquement pour les GPU Adreno via le backend Vulkan.

github llama.cpp · il y a 18 h · 3 vues

llama.cpp v0.5.0 ajoute le support de HRM-Text, l'accélération CUDA conv2d et la liaison multi-adresse

Le projet llama.cpp a publié la version 0.5.0, en mettant l'accent sur les performances du backend, une couverture élargie des modèles et un fonctionnement serveur plus robuste. Cette mise à jour introduit le support de nouvelles architectures telles que HRM-Text (DFM Mimir 1B) et MiMo-V2.6, tout en améliorant considérablement l'efficacité computationnelle grâce aux optimisations CUDA et Metal.