github llama.cpp · à l'instant · inference

llama.cpp b10730 optimise le traitement des prompts de Qwen4exp en additionnant les têtes indexeur par tranches

Traduit de English → Français

Le projet llama.cpp a publié la version b10730, qui inclut des optimisations pour l'architecture du modèle Qwen4exp. Le changement principal consiste à additionner les têtes indexeur par tranches au lieu d'utiliser une opération de transposition et de sum_rows, réduisant ainsi la surcharge de copie mémoire.

La vitesse de traitement des prompts est passée de 2170 à 2366 tokens par seconde sur une RTX PRO 6000 avec Qwen3.8-Flash-Next UD-Q4_K_XL.
L'optimisation supprime les exigences redondantes de tenseur contigu pour la requête indexeur, car rope retourne un tenseur contigu fraîchement alloué.
La vitesse de génération reste inchangée, mais le gain dans le traitement des prompts s'échelle avec la longueur du contexte et la taille ubatch.
La sortie greedy est inchangée token par token par rapport aux versions précédentes.

Cette mise à jour améliore l'efficacité pour les tâches d'inférence à long contexte impliquant des modèles Qwen4exp en réduisant le gaspillage computationnel lors de la phase de traitement des prompts.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

Articles similaires

github llama.cpp · il y a 9 h · 3 vues

llama.cpp b10727 ajoute le support de la concaténation pour les types quantifiés

Le projet llama.cpp a publié la version b10727, qui introduit le support de la concaténation pour les types de données quantifiés. Cette mise à jour est assistée par DeepSeek-V4-Flash-0731 et inclut des binaires pour macOS, Linux, Windows, Android et openEuler sur divers backends matériels incluant CPU, CUDA, ROCm et Vulkan.

github llama.cpp · il y a 11 h · 6 vues

llama.cpp b10726 accélère le traitement des prompts de modèles IQ en grands lots avec AVX2

Le projet llama.cpp a publié la version b10726, qui introduit des optimisations de performance significatives pour traiter de grandes tailles de lots dans les modèles quantifiés IQ. La mise à jour principale exploite les instructions AVX2 pour accélérer les quants IQ de grille via des opérations GEMM par lot.

github llama.cpp · il y a 13 h · 7 vues

llama.cpp b10723 ajuste les chemins de quantification OpenCL pour les GPU Intel Xe-LP

Le projet llama.cpp a publié la version b10723, qui inclut des optimisations spécifiques pour OpenCL sur le matériel graphique Intel Xe-LP. La mise à jour se concentre sur l'amélioration des performances de génération de tenseurs (TG) et de pré-remplissage (PP) en ajustant les noyaux de quantification.

github llama.cpp · il y a 16 h · 9 vues

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 18 h · 6 vues

La version b10717 de llama.cpp améliore la récupération des informations mémoire SYCL

Le projet llama.cpp a publié la version b10717, qui inclut une amélioration spécifique pour le backend SYCL sur les GPU Intel. Cette mise à jour améliore la capacité de récupérer des informations sur la mémoire libre en exploitant l'API L0 SYCL.