github llama.cpp · il y a 1 h · inference

llama.cpp b11005 accepte les rope probes zéro pour réduire les divisions du graphe

Traduit de English → Français

Le projet llama.cpp a publié la version b11005, qui inclut une correction pour le backend Hexagon afin d'accepter les rope probes zéro dans supports_op.

Auparavant, le rejet des probes avec n_dims == 0 ou freq_base == 0 forçait les rope_freqs vers le CPU, provoquant des divisions inutiles du graphe. Cette modification empêche de telles divisions, réduisant le nombre de divisions dans des modèles comme gemma-4-E2B de cinq à deux.

Importance 1/3 Confiance 1/3 llama.cpp Hugging Face Inference efficiency

Lire l'original

llama.cpp ajoute la prise en charge de HrmTextForCausalLM (DFM Mimir 1B)

Le projet llama.cpp a ajouté la prise en charge de l'architecture HrmTextForCausalLM, permettant spécifiquement l'inférence pour le modèle DFM Mimir 1B. Cette implémentation introduit un nouveau writer et loader GGUF pour gérer la structure unique du modèle, qui fait tourner deux piles de transformateurs en cycle alterné sur le même flux de tokens.

github llama.cpp · il y a 3 h · 1 vue

llama.cpp b11001 corrige la corruption de la transposition int16 sur RISC-V

Le projet llama.cpp a publié la version b11001, qui inclut une correction critique pour la fonction `permute_transpose_impl` gérant les données int16 sur les architectures RISC-V.

github llama.cpp · il y a 10 h · 1 vue

llama.cpp b10995 rend inconditionnel le tail BN/2 de MUL_MAT_ID sous Vulkan

Le projet llama.cpp a publié la compilation b10995, qui modifie la gestion de l'opération MUL_MAT_ID par le backend Vulkan. Spécifiquement, le changement rend le tail BN/2 inconditionnel en utilisant BN/2 comme valeur par défaut pour BNover2 et comme fallback désactivé pour BNover4, tout en supprimant le gate d'activation de cette branche.

github llama.cpp · il y a 18 h · 2 vues

llama.cpp b10989 active AllReduce pour ROCm et fournit des binaires multi-plateformes

Le projet llama.cpp a publié la version b10989, qui introduit le support de l'activation des opérations AllReduce dans le backend ROCm. Cette mise à jour s'inscrit dans le développement continu visant à étendre la compatibilité matérielle et les capacités de calcul distribué pour l'inférence de grands modèles de langage.

github llama.cpp · il y a 23 h · 1 vue

llama.cpp b10988 ajoute la sélection de multiplication matricielle d'experts MoE via OpenCL pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b10988, introduisant des modifications au backend OpenCL spécifiquement pour les modèles Mixture of Experts (MoE). La mise à jour implémente une logique pour choisir la multiplication matricielle de l'expert MoE en fonction de la taille du lot lors du décodage spéculatif et de la prédiction multi-tokens.