github llama.cpp · il y a 1 h · inference

llama.cpp b11463 accélère le préremplissage GLM MLA avec MKL flash attention

Traduit de English → Français

La version llama.cpp b11463 inclut une mise à jour SYCL qui active MKL flash attention pour la forme spécifique de Multi-Latent Attention (MLA) de GLM-4.7 Flash, qui était précédemment rejetée par le dispatcher.

Le changement admet la forme 576/576/512 GQA-20 F16 dans le pipeline MKL et gère V cache comme une vue en stride des lignes K.
Une tentative de stockage des scores MKL flash attention en F16 pour réduire le trafic mémoire a été incluse, mais a été annulée par la suite dans cette compilation.
Sur un Intel Arc Pro B70, l'optimisation MLA a amélioré le traitement du prompt (pp8192) de 432.80 à 1292.29 tok/s, soit une accélération de 2.99x.
La version fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur les backends CPU, CUDA, ROCm, Vulkan, OpenVINO et SYCL.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Lire l'original

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

La version b11413 de llama.cpp introduit une nouvelle implémentation Vulkan de l'attention flash sparse qui prend en charge les tenseurs de Clé et Valeur quantifiés. Cette mise à jour résout les problèmes de performance de la méthode de compactage précédente, qui était trop coûteuse pour les tâches de décodage avec de grandes fenêtres de contexte.

github llama.cpp · il y a 7 j · 44 vues

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

github llama.cpp · il y a 10 j · 33 vues

llama.cpp b11207 ajoute le support des GET_ROWS en tuiles Q4_0 et Q8_0 pour Hexagon

Le projet llama.cpp a publié la version b11207, qui introduit le support des opérations GET_ROWS en tuiles Q4_0 et Q8_0 sur le backend Hexagon. Cette mise à jour comprend également des correctifs pour les macros, les débordements de registres et le pipeline DMA, ainsi que des améliorations de la logique de sélection des noyaux et la réactivation de la vectorisation.

github llama.cpp · il y a 14 j · 47 vues

llama.cpp v0.5.0 ajoute le support de HRM-Text, l'accélération CUDA conv2d et la liaison multi-adresse

Le projet llama.cpp a publié la version 0.5.0, en mettant l'accent sur les performances du backend, une couverture élargie des modèles et un fonctionnement serveur plus robuste. Cette mise à jour introduit le support de nouvelles architectures telles que HRM-Text (DFM Mimir 1B) et MiMo-V2.6, tout en améliorant considérablement l'efficacité computationnelle grâce aux optimisations CUDA et Metal.

github llama.cpp · il y a 14 j · 53 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.