github llama.cpp · il y a 1 h · inference

llama.cpp b11450 ajoute le support des tenseurs RPC et corrige le flush de l'Apple RDMA

Traduit de English → Français

Le projet llama.cpp a publié la build b11450, introduisant des améliorations de l'appel de procédure à distance (RPC) et des corrections de bugs spécifiques à la plateforme. La mise à jour permet l'utilisation du drapeau `-sm tensor` pour les opérations RPC et résout un problème de flush affectant les implémentations Apple RDMA.

Ajout du support pour l'argument `-sm tensor` dans les configurations RPC.
Correction du comportement de flush des données pour les systèmes Apple RDMA.
Déplacement des graph_uids vers le module rpc_dispatcher.
Arrêt du spinning inutile du thread du dispatcher.
Incrémentation du numéro de version majeur de RPC.
Fourniture de binaires pour macOS, Linux, Windows, Android et openEuler via les backends CPU, GPU et NPU.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b11440 réréserve le planificateur lorsque les drapeaux d'extraction NextN changent

Le projet llama.cpp a publié la version b11440, qui inclut une correction pour l'initialisation spéculative de MTP. La mise à jour garantit que le planificateur est rérérévé lorsque les drapeaux d'extraction NextN changent, empêchant les problèmes d'extraction non masquée.

github llama.cpp · il y a 1 j · 21 vues

llama.cpp b11413 ajoute l'attention flash sparse Vulkan pour K/V quantifiés

La version b11413 de llama.cpp introduit une nouvelle implémentation Vulkan de l'attention flash sparse qui prend en charge les tenseurs de Clé et Valeur quantifiés. Cette mise à jour résout les problèmes de performance de la méthode de compactage précédente, qui était trop coûteuse pour les tâches de décodage avec de grandes fenêtres de contexte.

github llama.cpp · il y a 2 j · 22 vues

webgpu ajoute le support MMVQ pour Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

Le composant webgpu a ajouté la prise en charge des formats MMVQ (Multi-Mode Vector Quantization), spécifiquement Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K et MXFP4.

media Hugging Face Forums · il y a 2 j · 27 vues

Eqx-zoo fournit des ports vérifiés de modèles Equinox pour Hugging Face

L'auteur a construit eqx-zoo, une bibliothèque qui charge les checkpoints de Hugging Face Hub directement en tant que modules plain d'Equinox et vérifie chaque modèle contre la bibliothèque transformers. Le projet prend actuellement en charge Llama, Qwen2, Qwen3, Qwen3-MoE pour la génération, et BERT, RoBERTa, XLM-RoBERTa pour les embeddings.

media Hugging Face Forums · il y a 5 j · 28 vues

AiiStream Q3.6 permet d'exécuter Qwen3.6-35B-A3B sur des Mac avec 8 à 16 Go de RAM

L'auteur a publié AiiStream Q3.6, une technique open-source qui permet au modèle Qwen3.6-35B-A3B de fonctionner sur des appareils Apple Silicon avec seulement 8 à 16 Go de RAM. En conservant les experts routés sur le SSD et en utilisant des prédictions de chargement anticipé, la méthode réduit l'utilisation de la mémoire MLX à environ 1,7 Go tout en maintenant des sorties identiques au niveau des octets par rapport à l'implémentation standard de mlx_lm.