github llama.cpp · il y a 9 h · inference

llama.cpp ajoute le support de GLM-5.3-Flash avec des correctifs k-pool et MTP

Traduit de English → Français

Le projet llama.cpp a ajouté un support initial pour l'architecture du modèle GLM-5.3-Flash (GLM5-Next), y compris la migration vers une mémoire à index hybride et les premières capacités de Multi-Token Prediction (MTP).

Le support initial de MTP a été ajouté, bien que retiré de la demande d'extraction initiale pour permettre un examen concentré.
La disposition du k-pool est désormais conservée entre les ubatches pour éviter la péremption après les éditions de séquence et les démontages partagés.
Les points de contrôle de rollback récurrent sont correctement écrits pour l'état conv et l'état delta net.
Un bug dans le stride du stream build_attn_mha a été corrigé pour les requêtes non contiguës, garantissant un préremplissage multi-stream correct pour GLM5-Next.
Les filtres de protection de quantification ont été nettoyés pour supprimer les entrées en double.

Ces modifications assurent une inférence stable et une gestion correcte de l'état pour les modèles GLM5-Next sur divers backends matériels, y compris CUDA, ROCm et CPU.

Importance 1/3 Confiance 1/3 llama.cpp Zhipu AI Hugging Face Inference efficiency Local inference

Lire l'original

Articles similaires

github llama.cpp · il y a 4 j · 10 vues

llama.cpp b11207 ajoute le support des GET_ROWS en tuiles Q4_0 et Q8_0 pour Hexagon

Le projet llama.cpp a publié la version b11207, qui introduit le support des opérations GET_ROWS en tuiles Q4_0 et Q8_0 sur le backend Hexagon. Cette mise à jour comprend également des correctifs pour les macros, les débordements de registres et le pipeline DMA, ainsi que des améliorations de la logique de sélection des noyaux et la réactivation de la vectorisation.

github llama.cpp · il y a 7 j · 17 vues

llama.cpp v0.5.0 ajoute le support de HRM-Text, l'accélération CUDA conv2d et la liaison multi-adresse

Le projet llama.cpp a publié la version 0.5.0, en mettant l'accent sur les performances du backend, une couverture élargie des modèles et un fonctionnement serveur plus robuste. Cette mise à jour introduit le support de nouvelles architectures telles que HRM-Text (DFM Mimir 1B) et MiMo-V2.6, tout en améliorant considérablement l'efficacité computationnelle grâce aux optimisations CUDA et Metal.

github llama.cpp · il y a 7 j · 22 vues

llama.cpp b11122 étend la fusion MMVQ GLU et ajoute de nouvelles fusions SYCL

Le projet llama.cpp a publié la version b11122, qui comprend des mises à jour significatives pour le backend SYCL. La release étend la fusion MMVQ GLU pour prendre en charge les types de quantification mixtes et introduit de nouvelles fusions pour les opérations rms_norm+scale et ssm_conv+silu.

github llama.cpp · il y a 8 j · 22 vues

llama.cpp ajoute le support de DFlash pour HunyuanOCR et corrige la conversion des brouillons

Le projet llama.cpp a ajouté le support du décodage spéculatif DFlash avec le modèle HunyuanOCR en exposant les tenseurs d'entrée des couches dans le graphe cible. Ce changement permet au modèle de brouillon de lire les flux résiduels, permettant aux requêtes d'image de s'exécuter avec succès avec un taux d'acceptation du brouillon d'environ 0,5 et une sortie OCR identique en octets par rapport aux exécutions non spéculatives.

lab Hugging Face Blog · il y a 8 j · 24 vues

Transformers ajoute le support GGUF via les noyaux ggml pour l'inférence locale

La bibliothèque Transformers de Hugging Face prend désormais en charge le chargement de modèles quantifiés GGUF, en s'appuyant sur les noyaux ggml sous-jacents pour offrir des performances proches de celles de llama.cpp. Cette intégration permet aux développeurs d'exécuter des points de contrôle quantifiés directement au sein de l'API standard basée sur PyTorch sur le matériel pris en charge.