media r/LocalLLaMA · il y a 1 h · open_models

ExLlamaV3 ajoute le déchargement vers le CPU pour les experts MoE et les nouveaux modèles GLM-5.3-Flash, Qwen3.8-Flash

Traduit de English → Français

Turboderp a publié des mises à jour significatives pour ExLlamaV3, introduisant des capacités de déchargement vers le CPU pour les experts de Mixture of Experts (MoE). La mise à jour inclut également la prise en charge des nouveaux modèles GLM-5.3-Flash et Qwen3.8-Flash.

Implémentation du déchargement vers le CPU spécifiquement pour les experts MoE.
Prise en charge de Qwen-3.8-Flash-Next avec des capacités de déchargement de ngram sur disque.
Intégration de GLM-5.3-Flash via le format exl3.
Introduction d'une nouvelle technique d'optimisation auto-calibrée.
Diverses autres optimisations et améliorations du moteur.

Ces mises à jour étendent la flexibilité matérielle et la compatibilité des modèles d'ExLlamaV3, permettant aux utilisateurs d'exploiter les ressources CPU pour des composants spécifiques du modèle.

Importance 2/3 Nouveau cadre d'évaluation avec différenciateurs r/LocalLLaMA Inference efficiency Local inference

Lire l'original

llama.cpp b10724 optimise la restauration de l'état kv-cache pour réduire le nombre de copies de 1,3M à 224

Le projet llama.cpp a publié la compilation b10724, qui améliore considérablement les performances de restauration des cellules KV cache non contiguës en regroupant les lectures scatter par exécution continue.

github llama.cpp · il y a 16 h · 3 vues

llama.cpp b10721 corrige le plantage de WebGPU et ajoute le support de CUDA 13.4 sur Windows

Le projet llama.cpp a publié la compilation b10721, qui inclut une correction critique pour le backend WebGPU et étend la prise en charge du matériel sous Windows.

github llama.cpp · il y a 18 h · 9 vues

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 21 h · 4 vues

llama.cpp b10715 fusionne le codeur DFlash dans l'injection de cache KV

Le projet llama.cpp a publié la compilation b10715, qui inclut une optimisation clé de l'implémentation de DFlash. Le codeur DFlash est désormais fusionné directement dans le processus d'injection du cache KV lors du décodage.

github llama.cpp · il y a 23 h · 2 vues

llama.cpp b10714 ajuste les lignes mat-vec Vulkan pour Strix Halo

Le projet llama.cpp a publié la compilation b10714, qui inclut des optimisations spécifiques pour le backend Vulkan ciblant le matériel AMD Strix Halo. La mise à jour ajuste les compteurs de lignes de multiplication matrice-vecteur pour améliorer les performances lors de l'inférence par lots.