github llama.cpp · il y a 3 h · inference

llama.cpp étend le matmul MMA à quelques lignes aux types BF16, Q2_K et autres

Traduit de English → Français

Le projet llama.cpp a étendu son noyau générique de multiplication matricielle (MMA) à quelques lignes pour prendre en charge des types de données source supplémentaires, notamment BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 et divers types IQ. Cette mise à jour permet au noyau optimisé de gérer tout type avec un déquantiseur de poids 16 bits, en appliquant des seuils spécifiques sur le nombre de lignes pour le matériel M3 Ultra où les performances commencent à dépasser celles des noyaux actuels.

Le nouveau support couvre BF16, Q1_0, Q2_0, MXFP4, Q2_K, Q3_K, TQ2_0 et les types IQ.
Les seuils de performance varient selon le type : 5 lignes pour TQ2_0, 4 pour BF16, 3 pour MXFP4/Q2_0/Q2_K/IQ4_NL, et 2 pour les autres.
Les résultats des tests sur M3 Ultra montrent des ratios de performances allant de 0,23 à 1,01 selon le nombre de lignes et la superposition du noyau.

Ce changement améliore l'efficacité de l'inférence pour une plus large gamme de formats de quantification en exploitant les capacités du noyau MMA à faible nombre de lignes.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 3 h · 1 vue

llama.cpp ajoute le support de GLM5-Next MTP et optimise le graphe NextN

Le projet llama.cpp a ajouté la prise en charge de la tête de prédiction multi-jeton (MTP) GLM5-Next, en implémentant une nouvelle structure de graphe pour répondre à ses besoins architecturaux spécifiques. Cette mise à jour inclut des optimisations pour le bloc NextN, lui permettant de sauter les calculs inutiles lors des inférences sans tête et d'extraire correctement les lignes cachées.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b11463 accélère le préremplissage GLM MLA avec MKL flash attention

La version llama.cpp b11463 inclut une mise à jour SYCL qui active MKL flash attention pour la forme spécifique de Multi-Latent Attention (MLA) de GLM-4.7 Flash, qui était précédemment rejetée par le dispatcher.

github llama.cpp · il y a 2 j · 27 vues

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

La version b11413 de llama.cpp introduit une nouvelle implémentation Vulkan de l'attention flash sparse qui prend en charge les tenseurs de Clé et Valeur quantifiés. Cette mise à jour résout les problèmes de performance de la méthode de compactage précédente, qui était trop coûteuse pour les tâches de décodage avec de grandes fenêtres de contexte.

github llama.cpp · il y a 7 j · 44 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 10 j · 33 vues

llama.cpp b11207 ajoute le support des GET_ROWS en tuiles Q4_0 et Q8_0 pour Hexagon

Le projet llama.cpp a publié la version b11207, qui introduit le support des opérations GET_ROWS en tuiles Q4_0 et Q8_0 sur le backend Hexagon. Cette mise à jour comprend également des correctifs pour les macros, les débordements de registres et le pipeline DMA, ainsi que des améliorations de la logique de sélection des noyaux et la réactivation de la vectorisation.