github llama.cpp · à l'instant · inference

llama.cpp b11335 route sm70 vers la table Turing MMVQ pour les performances de Volta

Traduit de English → Français

Le projet llama.cpp a publié la version b11335, qui inclut une optimisation CUDA pour les GPU Volta. La mise à jour dirige l'architecture sm_70 vers la table nwarps Turing MMVQ existante au lieu de tomber dans la configuration générique.

Volta (sm_70) utilise désormais le réglage TURING pour le décodage batch-1 de K-quant, modifiant le nombre de warps de 4 à 2.
Les benchmarks sur une Tesla V100 avec Qwen3.8-27B montrent une augmentation du débit de +3.17% (+1.091 t/s) avec une perplexité identique au niveau des bits.
Le changement est dérivé du fork anyei/llamacpp-v100 et s'applique aux sélecteurs de table du périphérique et de l'hôte.

Cet ajustement améliore la vitesse d'inférence sur le matériel Volta sans affecter la précision du modèle.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Hardware & chips Inference efficiency

Lire l'original

llama.cpp corrige les échecs d'opérateurs sur MTT S5000 et active les chemins CUB

Le projet llama.cpp a publié une correction pour les échecs d'opérateurs et les problèmes de compilation sur MUSA (MTT S5000), ciblant spécifiquement l'architecture PH1. Cette mise à jour résout des bugs critiques causant des résultats incorrects ou des timeouts sur ce matériel.

github llama.cpp · il y a 7 j · 33 vues

llama.cpp b11160 ajoute le matmul coopmat1 int8 pour AMD RDNA3/4 et le support IQ4_XS

Le projet llama.cpp a publié la version b11160, introduisant une implémentation de matrice coopérative int8 (coopmat1) pour Vulkan sur les architectures AMD RDNA3 et RDNA4. Cette mise à jour inclut un shader dédié qui sonde directement les valeurs coopmat pour améliorer les performances.

media Hugging Face Forums · il y a 37 j · 40 vues

EdgeFirst publie un pipeline Rust validant les modèles YOLO sur 20 plateformes edge

EdgeFirst a publié le EdgeFirst Model Zoo sur Hugging Face, présentant les modèles YOLOv5, YOLOv8, YOLO11 et YOLO26 validés sur 20 plateformes edge distinctes. La validation repose sur un pipeline Rust unique qui gère le prétraitement DMA sans copie, le décodage du modèle et le post-traitement directement sur le matériel cible.

github llama.cpp · il y a 59 j · 38 vues

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

media r/LocalLLaMA · il y a 88 j · 33 vues

llama.cpp utilise hipBLAS pour le préremplissage dense sur les GPU gfx900

Une demande de tirage vers le dépôt llama.cpp introduit une modification qui utilise hipBLAS pour les opérations de préremplissage dense sur les GPU d'architecture AMD gfx900. Cette modification cible spécifiquement le matériel GPU Vega hérité, y compris des modèles comme la Radeon RX Vega 56/64 et la série Radeon Pro Vega.