github llama.cpp · il y a 2 h · inference

llama.cpp b10306 ajoute un chemin plat pour GLU SYCL et consolide les noyaux

Traduit de English → Français

La version b10306 de llama.cpp introduit des optimisations de performance pour le backend SYCL, ciblant spécifiquement les opérations Gated Linear Unit (GLU). La mise à jour ajoute un chemin rapide contigu pour les opérations GLU fusionnées et consolide les noyaux auparavant distincts pour partager un lanceur commun.

Ajoute des cas de test de performance SWIGLU couvrant 17408 colonnes avec 512 et 2048 tokens en f16 et f32.
Consolide les noyaux fusionnés-GLU en prenant l'opération comme argument, supprimant les constantes SYCL_GELU_BLOCK_SIZE et SYCL_SILU_BLOCK_SIZE inutilisées.
Implémente une dispatch de noyau plat pour les opérandes contigus où les mathématiques d'index de désentrelacement se réduisent à l'identité.
Réalise une amélioration de performance de +14% en f16 et de +4% en f32 pour GLU divisé sur un Arc Pro B70, les opérations fusionnées restant inchangées.

Ces modifications améliorent l'efficacité du backend SYCL en réduisant la duplication de code et en optimisant les motifs d'accès mémoire pour des configurations tensorielles spécifiques.

Importance 1/3 Confiance 1/3 llama.cpp Hardware & chips Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10255 étend oneDNN SDPA aux caches KV non-FP16

La version llama.cpp b10255 étend le chemin oneDNN SDPA pour prendre en charge les caches de clés-valeurs (KV) non-FP16, y compris les formats quantifiés Q4_0–Q8_0 et FP32. Cette mise à jour permet au noyau systolique fusionné de s'exécuter de manière identique au chemin natif FP16 en déquantifiant ou en convertissant les tenseurs K/V en FP16 dense sur l'appareil avant le traitement.

media r/LocalLLaMA · il y a 8 j · 1 vue

Lucebox et AMD battent Nvidia DGX Spark par 3.63x sur DeepSeek V4 Flash

Lucebox s'est associé à AMD pour démontrer une configuration matérielle hétérogène grand public qui surpasse Nvidia DGX Spark en vitesse d'inférence. Le système combine un GPU AMD Radeon AI PRO R9700 avec un processeur Strix Halo pour exécuter le modèle complet DeepSeek V4 Flash de 284B.

lab Hugging Face Blog · il y a 8 j · 2 vues

Gestion des GPU : pourquoi les GPU inactifs sont le nouvel avion au sol

L'article soutient que l'utilisation des GPU, plutôt que l'intelligence du modèle, est devenue la contrainte principale de l'IA en entreprise, établissant des parallèles avec l'utilisation des avions dans le secteur aérien où les coûts s'accumulent à l'heure indépendamment de l'utilisation.

lab Hugging Face Blog · il y a 10 j

Ai2 lance la plateforme OlmoEarth pour l'inférence géospatiale à l'échelle planétaire

Ai2 a lancé la plateforme OlmoEarth, un système d'infrastructure conçu pour faire passer les modèles de base d'observation de la Terre du réglage fin à l'inférence à grande échelle. La plateforme répond aux défis techniques liés au traitement de téraoctets de données satellitaires multimodales provenant de plusieurs fournisseurs et résolutions.

github llama.cpp · il y a 15 j · 2 vues

llama.cpp b10099 améliore la quantification NVFP4 W4A4 sur CUDA

Le projet llama.cpp a publié la version b10099, qui comprend une mise à jour significative du backend CUDA pour améliorer la quantification d'activation NVFP4 W4A4.