github llama.cpp · il y a 2 j · inference

llama.cpp active le GEMM xmem et contourne le f32 en tuiles sur les GPU Adreno

Traduit de English → Français

Le projet llama.cpp a mis à jour son backend OpenCL pour améliorer les performances de multiplication matricielle sur deux générations de GPU Adreno. Les modifications ciblent principalement la génération X2E en activant par défaut le chemin GEMM xmem F16xF32 et en optimisant la gestion pour la génération A7X.

Activation par défaut du GEMM xmem F16xF32 d'Adreno pour les appareils X2E, qui nécessitait auparavant une variable d'environnement explicite.
Contournement du GEMM f32 en tuiles sur le compilateur Adreno A7X en dirigeant les opérations par lots vers un noyau par ligne afin d'éviter les problèmes de débordement de registre.
L'optimisation xmem offre une accélération d'environ 25 % du préremplissage sur gpt-oss-20b pour les appareils Adreno X2-90, tandis que le contournement A7X procure une amélioration d'environ 9 % sur gemma-3n-E4B.

Ces optimisations corrigent des inefficacités spécifiques du compilateur dans les puces Adreno anciennes et récentes, réduisant le temps GPU passé dans les noyaux matmul lents lors des phases de préremplissage du modèle.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 2 h

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 3 j · 9 vues

llama.cpp b10670 dirige le décodage KV quantisé vers TILE sur Xe2 (BMG)

Le projet llama.cpp a publié la version b10670, qui comprend une optimisation spécifique pour l'architecture Xe2 d'Intel. La mise à jour dirige l'opération de décodage des clés et valeurs (KV) quantisées exclusivement vers le backend TILE pour le matériel BMG, tout en conservant le backend VEC sur les autres architectures jusqu'à leur validation.

github llama.cpp · il y a 4 j · 23 vues

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 4 j · 15 vues

llama.cpp b10653 ajoute TENSOR_READ_LAZY pour le chargement de modèles

Le projet llama.cpp a publié la compilation b10653, introduisant la fonctionnalité TENSOR_READ_LAZY dans son chargeur de modèles. Ce changement inclut l'ajout de la fonction TENSOR_GET_ROW_LAZY et un drapeau correspondant --tensor-read-lazy en ligne de commande.

github llama.cpp · il y a 10 j · 12 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.