github llama.cpp · il y a 3 j · inference

llama.cpp b10840 ajoute le dépaquetage sans branchement Q4_K/Q5_K et la prélecture L2 pour CUDA

Traduit de English → Français

Le projet llama.cpp a publié la version b10840, qui introduit des optimisations de performance pour l'inférence CUDA. La mise à jour implémente le calcul sans branchement pour les formats de quantification Q4_K et Q5_K afin d'accélérer la multiplication matrice-vecteur (mmvq).

Le dépaquetage sans branchement empêche la réexécution de l'échelle pour chaque colonne dans mmvq, améliorant la performance pour des tailles de lot supérieures à 1.
La logique de prélecture L2 est spécifiquement conditionnée pour le matériel DGX Spark afin de garantir que les gains soient réalisés.
Le gardien de prélecture L2 de mmvq est étendu pour prendre en charge les backends MUSA et HIP alongside CUDA.
Les points de commutation pour Q4_K sont mis à jour pour accommoder une gamme plus large de modèles.

Ces changements fournissent des améliorations de performance mesurables pour les utilisateurs exécutant llama.cpp sur des systèmes DGX Spark avec des tailles de lot supérieures à un.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 4 j · 9 vues

llama.cpp b10827 corrige la sélection du pack de poids OpenCL pour mul_mat q4_K et q5_K

Le projet llama.cpp a publié la version b10827, qui inclut une correction pour choisir correctement le pack de poids pour les opérations de multiplication de matrices q4_K et q5_K en utilisant OpenCL.

github llama.cpp · il y a 7 j · 21 vues

llama.cpp b10791 ajoute des optimisations OpenCL pour la quantification de lm_head et le GEMV de décodage

Le projet llama.cpp a publié la version b10791, introduisant des optimisations OpenCL significatives pour les têtes de modèles de langage quantifiées et les opérations GEMV de décodage. Cette mise à jour inclut également des améliorations du GEMM par lots moyens pertinentes pour le décodage spéculatif et la prédiction multi-jeton.

lab Hugging Face Blog · il y a 9 j · 13 vues

Hugging Face publie 207 noyaux WebGPU et un outil de benchmarking navigateur

Hugging Face a publié @huggingface/kernels, une bibliothèque pour charger et exécuter des noyaux WebGPU optimisés depuis le Hub Hugging Face, accompagnée d'une collection initiale de 207 noyaux. La publication introduit également Fleet, une suite de benchmarking GPU dans le navigateur qui mutualise les preuves de performance et de correction issues des appareils des utilisateurs.

github llama.cpp · il y a 10 j · 19 vues

llama.cpp b10718 étend la fusion MOE à specdec et multi-token

Le projet llama.cpp a publié la version b10718, qui comprend une mise à jour significative de son backend CUDA. Le changement le plus notable est l'extension de la fusion Mixture of Experts (MOE) pour prendre en charge le décodage spéculatif (specdec), répondant aux limitations précédentes où la fusion MOE glu et topk-router était restreinte au traitement d'un seul token à la fois.

github llama.cpp · il y a 12 j · 19 vues

llama.cpp active le GEMM xmem et contourne le f32 en tuiles sur les GPU Adreno

Le projet llama.cpp a mis à jour son backend OpenCL pour améliorer les performances de multiplication matricielle sur deux générations de GPU Adreno. Les modifications ciblent principalement la génération X2E en activant par défaut le chemin GEMM xmem F16xF32 et en optimisant la gestion pour la génération A7X.