github llama.cpp · il y a 1 h · inference

llama.cpp b11440 réréserve le planificateur lorsque les drapeaux d'extraction NextN changent

Traduit de English → Français

Le projet llama.cpp a publié la version b11440, qui inclut une correction pour l'initialisation spéculative de MTP. La mise à jour garantit que le planificateur est rérérévé lorsque les drapeaux d'extraction NextN changent, empêchant les problèmes d'extraction non masquée.

L'initialisation spéculative de MTP active désormais l'extraction NextN dans les contextes cible et brouillon après la création.
Le graphe trunk conserve chaque token jusqu'à la dernière couche au lieu de tronquer aux lignes de sortie.
L'invalidation de la réserve lorsque les drapeaux changent permet au prochain calcul de réréserver avec la nouvelle forme du graphe.
Les binaires sont disponibles pour macOS, Linux, Windows, Android et iOS via les backends CPU, GPU et NPU.

Ce changement prévient les erreurs GGML_SCHED_DEBUG_REALLOC en garantissant l'allocation correcte de la forme du lot pendant le décodage.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

La version b11413 de llama.cpp introduit une nouvelle implémentation Vulkan de l'attention flash sparse qui prend en charge les tenseurs de Clé et Valeur quantifiés. Cette mise à jour résout les problèmes de performance de la méthode de compactage précédente, qui était trop coûteuse pour les tâches de décodage avec de grandes fenêtres de contexte.

github llama.cpp · il y a 1 j · 20 vues

webgpu ajoute le support MMVQ pour Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

Le composant webgpu a ajouté la prise en charge des formats MMVQ (Multi-Mode Vector Quantization), spécifiquement Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K et MXFP4.

media Hugging Face Forums · il y a 2 j · 26 vues

Eqx-zoo fournit des ports vérifiés de modèles Equinox pour Hugging Face

L'auteur a construit eqx-zoo, une bibliothèque qui charge les checkpoints de Hugging Face Hub directement en tant que modules plain d'Equinox et vérifie chaque modèle contre la bibliothèque transformers. Le projet prend actuellement en charge Llama, Qwen2, Qwen3, Qwen3-MoE pour la génération, et BERT, RoBERTa, XLM-RoBERTa pour les embeddings.

media Hugging Face Forums · il y a 5 j · 27 vues

AiiStream Q3.6 permet d'exécuter Qwen3.6-35B-A3B sur des Mac avec 8 à 16 Go de RAM

L'auteur a publié AiiStream Q3.6, une technique open-source qui permet au modèle Qwen3.6-35B-A3B de fonctionner sur des appareils Apple Silicon avec seulement 8 à 16 Go de RAM. En conservant les experts routés sur le SSD et en utilisant des prédictions de chargement anticipé, la méthode réduit l'utilisation de la mémoire MLX à environ 1,7 Go tout en maintenant des sorties identiques au niveau des octets par rapport à l'implémentation standard de mlx_lm.

github llama.cpp · il y a 6 j · 36 vues

llama.cpp b11307 préserve l'ordre du lot pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b11307, qui corrige l'ordre des entrées des couches pour préserver la séquence de lot originale lors du décodage spéculatif. Ce changement garantit que l'ordre des tokens est correctement maintenu pour les embeddings NextN non masqués et compatible avec les divisions de tenseurs.