github llama.cpp · à l'instant · inference

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Traduit de English → Français

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

Optimise le GEMV de décodage/lm_head quantifié opencl et le GEMM par lots moyens pour le décodage spéculatif/MTP.
Protège l'enregistrement du noyau de conversion tiled_ns q4_K/q6_K pour les builds non-Adreno.
Restreint la dispatch de fusion MUL_MAT+GLU q4_K spécifiquement au matériel Adreno.
Nécessite la disposition des poids noshuffle dans la porte de fusion GLU q4_K.
Empêche d'emprunter le chemin GEMV mrow f16 vectorisé sur des pas de ligne non alignés.
Active le GEMV de décodage split-K q4_K uniquement là où les gains de performance sont mesurés.
Restreint les valeurs par défaut du GEMV lm_head/embed tiled aux architectures X2E/A8X.

La publication fournit des binaires pour macOS, iOS, Linux, Windows, Android et openEuler sur CPU, GPU et divers backends d'accélérateurs.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

Articles similaires

lab Hugging Face Blog · il y a 2 j · 6 vues

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.

github llama.cpp · il y a 3 j · 10 vues

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 5 j · 9 vues

llama.cpp active le GEMM xmem et contourne le f32 en tuiles sur les GPU Adreno

Le projet llama.cpp a mis à jour son backend OpenCL pour améliorer les performances de multiplication matricielle sur deux générations de GPU Adreno. Les modifications ciblent principalement la génération X2E en activant par défaut le chemin GEMM xmem F16xF32 et en optimisant la gestion pour la génération A7X.

github llama.cpp · il y a 6 j · 11 vues

llama.cpp b10670 dirige le décodage KV quantisé vers TILE sur Xe2 (BMG)

Le projet llama.cpp a publié la version b10670, qui comprend une optimisation spécifique pour l'architecture Xe2 d'Intel. La mise à jour dirige l'opération de décodage des clés et valeurs (KV) quantisées exclusivement vers le backend TILE pour le matériel BMG, tout en conservant le backend VEC sur les autres architectures jusqu'à leur validation.

github llama.cpp · il y a 7 j · 30 vues

llama.cpp ajoute le support de l'architecture Qwen3.8-Flash-Next (qwen4exp)

Le projet llama.cpp a ajouté le support de l'architecture du modèle Qwen3.8-Flash-Next (qwen4exp), en implémentant ses composants spécifiques, notamment les hyperconnexions, les réseaux delta à gâchette, le Mélange d'Experts et les embeddings de hachage n-gramme PLE.