github llama.cpp · il y a 1 h · inference

llama.cpp b11009 corrige l'état divisé pour QKV fusionné dans gemma4 et qwen35

Traduit de English → Français

Le projet llama.cpp a publié la compilation b11009, qui résout des problèmes critiques avec l'état divisé et les calculs de granularité pour les couches d'attention QKV fusionnées.

Le code du modèle calcule désormais correctement les états divisés pour attn_qkv en fonction de n_head * n_embd_head_k, résolvant les problèmes de compatibilité avec les modèles gemma4 utilisant le drapeau --fuse-qkv où n_embd est 5376 mais Q est 8192.
Le support des couches d'attention complète fusionnées a été ajouté pour les architectures qwen35 et qwen35moe.
Une balise TODO [TAG_SPLIT_QGATE_QWEN] a été ajoutée pour suivre le travail supplémentaire sur la division de QGate pour les modèles Qwen.

Cette version garantit que des configurations spécifiques du modèle, en particulier celles impliquant des opérations QKV fusionnées dans gemma4 et qwen35, fonctionnent correctement sans erreurs de calcul d'état.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp b11006 ajoute le support Hexagon pour K-Quants Q4_K et Q6_K

Le projet llama.cpp a publié la version b11006, introduisant le support des processeurs Qualcomm Hexagon pour gérer les formats de K-Quantization. Cette mise à jour implémente des noyaux spécifiques pour les niveaux de quantification Q4_K et Q6_K sur l'architecture Hexagon.

github llama.cpp · il y a 4 h · 2 vues

llama.cpp b11005 accepte les rope probes zéro pour réduire les divisions du graphe

Le projet llama.cpp a publié la version b11005, qui inclut une correction pour le backend Hexagon afin d'accepter les rope probes zéro dans supports_op.

github llama.cpp · il y a 5 h · 2 vues

llama.cpp ajoute la prise en charge de HrmTextForCausalLM (DFM Mimir 1B)

Le projet llama.cpp a ajouté la prise en charge de l'architecture HrmTextForCausalLM, permettant spécifiquement l'inférence pour le modèle DFM Mimir 1B. Cette implémentation introduit un nouveau writer et loader GGUF pour gérer la structure unique du modèle, qui fait tourner deux piles de transformateurs en cycle alterné sur le même flux de tokens.

github llama.cpp · il y a 7 h · 1 vue

llama.cpp b11001 corrige la corruption de la transposition int16 sur RISC-V

Le projet llama.cpp a publié la version b11001, qui inclut une correction critique pour la fonction `permute_transpose_impl` gérant les données int16 sur les architectures RISC-V.

github llama.cpp · il y a 13 h · 1 vue

llama.cpp b10995 rend inconditionnel le tail BN/2 de MUL_MAT_ID sous Vulkan

Le projet llama.cpp a publié la compilation b10995, qui modifie la gestion de l'opération MUL_MAT_ID par le backend Vulkan. Spécifiquement, le changement rend le tail BN/2 inconditionnel en utilisant BN/2 comme valeur par défaut pour BNover2 et comme fallback désactivé pour BNover4, tout en supprimant le gate d'activation de cette branche.