github llama.cpp · il y a 1 h · inference

llama.cpp b10726 accélère le traitement des prompts de modèles IQ en grands lots avec AVX2

Traduit de English → Français

Le projet llama.cpp a publié la version b10726, qui introduit des optimisations de performance significatives pour traiter de grandes tailles de lots dans les modèles quantifiés IQ. La mise à jour principale exploite les instructions AVX2 pour accélérer les quants IQ de grille via des opérations GEMM par lot.

Implémentation de GEMM par lot pour les quants IQ de grille
Vectorisation du décodage des panneaux IQ avec un seuil abaissé pour l'accélération
Introduction du noyau ggml_gemm_iqp_8x8_q8_K_p4 et suppression du tampon gather
Disposition de gather à source unique, biais de porte et entrelacement vectorisé pour les panneaux IQ
Ajout du support de repli NUMA et de tests de lots de 10 lignes pour la couverture IQP

Cette version offre des capacités d'inférence plus rapides aux utilisateurs exécutant des modèles IQ sur un matériel compatible.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b10723 ajuste les chemins de quantification OpenCL pour les GPU Intel Xe-LP

Le projet llama.cpp a publié la version b10723, qui inclut des optimisations spécifiques pour OpenCL sur le matériel graphique Intel Xe-LP. La mise à jour se concentre sur l'amélioration des performances de génération de tenseurs (TG) et de pré-remplissage (PP) en ajustant les noyaux de quantification.

github llama.cpp · il y a 6 h · 1 vue

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 8 h · 3 vues

La version b10717 de llama.cpp améliore la récupération des informations mémoire SYCL

Le projet llama.cpp a publié la version b10717, qui inclut une amélioration spécifique pour le backend SYCL sur les GPU Intel. Cette mise à jour améliore la capacité de récupérer des informations sur la mémoire libre en exploitant l'API L0 SYCL.

github llama.cpp · il y a 14 h · 3 vues

llama.cpp b10712 ajoute la sélection radix top-k Vulkan pour Qwen 3.8 Flash Next

Le projet llama.cpp a publié la compilation b10712, introduisant un nouveau shader de tri radix top-k conçu pour Vulkan afin de prendre en charge des valeurs k supérieures ou égales à 1024. Cette mise à jour cible spécifiquement le modèle Qwen 3.8 Flash Next et inclut des tests correspondants ainsi que la fusion top-k qsa.

github llama.cpp · il y a 21 h · 6 vues

llama.cpp b10705 améliore la gestion de TENSOR_READ_LAZY

Le projet llama.cpp a publié la version b10705, qui inclut une amélioration du mécanisme de gestion de TENSOR_READ_LAZY. Cette mise à jour force les tenseurs paresseux sur le CPU lorsque le paramètre paresseux est activé.