github llama.cpp · il y a 2 h · inference

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Traduit de English → Français

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

CUDA : Fusion MOE étendue à specdec, supprimant la restriction de token unique pour les fusions MOE glu et topk-router antérieures.
Ajout du support du cas SWIGLU_CLAMP à l'implémentation de fusion MOE multi-token.
Commentaires de revue du pull request #27621 pris en compte.

Cette mise à jour améliore les performances des modèles utilisant le décodage spéculatif en activant des opérations fusionnées plus efficaces sur les GPU NVIDIA.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp active le GEMM xmem et contourne le f32 en tuiles sur les GPU Adreno

Le projet llama.cpp a mis à jour son backend OpenCL pour améliorer les performances de multiplication matricielle sur deux générations de GPU Adreno. Les modifications ciblent principalement la génération X2E en activant par défaut le chemin GEMM xmem F16xF32 et en optimisant la gestion pour la génération A7X.

github llama.cpp · il y a 3 j · 9 vues

llama.cpp b10670 dirige le décodage KV quantisé vers TILE sur Xe2 (BMG)

Le projet llama.cpp a publié la version b10670, qui comprend une optimisation spécifique pour l'architecture Xe2 d'Intel. La mise à jour dirige l'opération de décodage des clés et valeurs (KV) quantisées exclusivement vers le backend TILE pour le matériel BMG, tout en conservant le backend VEC sur les autres architectures jusqu'à leur validation.

github llama.cpp · il y a 4 j · 23 vues

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.

github llama.cpp · il y a 4 j · 15 vues

llama.cpp b10653 ajoute TENSOR_READ_LAZY pour le chargement de modèles

Le projet llama.cpp a publié la compilation b10653, introduisant la fonctionnalité TENSOR_READ_LAZY dans son chargeur de modèles. Ce changement inclut l'ajout de la fonction TENSOR_GET_ROW_LAZY et un drapeau correspondant --tensor-read-lazy en ligne de commande.

github llama.cpp · il y a 10 j · 12 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.