github llama.cpp · il y a 1 h · inference

Mises à jour de ggml-openvino vers 2026.4.1 avec fusion MoE et corrections de liste des appareils

Traduit de English → Français

Le backend ggml-openvino pour llama.cpp a été mis à jour vers la version 2026.4.1, introduisant des optimisations de performance, un support élargi des opérateurs et une amélioration de l'énumération des appareils.

Fusion du routage Mixture-of-Experts (MoE) et de la normalisation GDN QK, avec la fusion MoE GPU activée par défaut.
Support des poids gate-up fusionnés dans des modèles comme gemma-4, atteignant une augmentation du débit de préremplissage de 66,16 à 1608,73 t/s sur Arc B390.
Correction de la gestion des axes de rang-3 dans l'exécution étatique, résolvant les aborts de construction de graphe pour les modèles MoE.
Implémentation d'une énumération des appareils et d'un rapport de mémoire conformes à PRD, assurant une distinction précise GPU/IGPU.
Ajout de l'option k-requant q4_asym64 et du mode cache_only pour importer directement des modèles compilés depuis le disque.

Ces modifications améliorent les performances d'inférence pour les architectures MoE et fournissent une détection matérielle et une configuration plus fiables pour les utilisateurs d'OpenVINO.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · à l'instant · 1 vue En direct

llama.cpp b11375 corrige les aborts de réallocation de graphe sous GGML_SCHED_NO_REALLOC

Le projet llama.cpp a publié la build b11375, qui résout un problème critique où des cellules ubatch non contiguës forçaient des réallocations de graphe qui étaient interrompues lorsque le drapeau GGML_SCHED_NO_REALLOC était défini.

github llama.cpp · il y a 2 h · 1 vue

llama.cpp b11372 divise par deux la mémoire de l'indexeur qwen4exp et ajoute le support CUDA pour 4 têtes

La version b11372 de llama.cpp introduit des optimisations pour l'indexeur éclair du modèle qwen4exp, réduisant principalement de moitié la mémoire requise pour les scores de l'indexeur lors du traitement de contextes longs. Cela est obtenu en calculant les scores des têtes sur place plutôt qu'en matérialisant des tenseurs séparés pour chaque tête.

github llama.cpp · il y a 8 h · 2 vues

llama.cpp b11370 fusionne les experts partagés dans MMVQ

Le projet llama.cpp a publié la compilation b11370, qui inclut une optimisation CUDA pour fusionner les experts partagés dans l'architecture Mixture of MoE avec Quantification Vectorielle (MMVQ). Ce changement fait partie de la pull request #29184 et traite également des vérifications de tampon nul et de la gestion des arguments pour stride_col_dst.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b11368 ajoute l'échantillonnage probabiliste pour le brouillon simple et MTP

Le projet llama.cpp a publié la compilation b11368, qui introduit l'échantillonnage probabiliste pour les flux de travail de brouillon simple et MTP (Multi-Token Prediction). Cette mise à jour modifie le mécanisme de brouillon pour utiliser une sélection probabiliste tout en vérifiant les cibles par échantillonnage par rejet.

github llama.cpp · il y a 14 h · 1 vue

llama.cpp b11362 ajoute un noyau flash attention pour l'API tensorielle avec KV en F16

Le projet llama.cpp a publié la compilation b11362, qui introduit un nouveau noyau flash attention pour l'API tensorielle prenant en charge le stockage clé-valeur (KV) en F16. Cette mise à jour est disponible sur les plateformes macOS, Linux, Windows, Android et iOS avec diverses options de backend, notamment CUDA, Vulkan et ROCm.