Le composant webgpu a ajouté la prise en charge des formats MMVQ (Multi-Mode Vector Quantization), spécifiquement Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K et MXFP4.
Cette mise à jour résout le problème #29 dans le dépôt llama.cpp pour étendre les capacités de quantification au sein de l'environnement webgpu.
L'auteur a construit eqx-zoo, une bibliothèque qui charge les checkpoints de Hugging Face Hub directement en tant que modules plain d'Equinox et vérifie chaque modèle contre la bibliothèque transformers. Le projet prend actuellement en charge Llama, Qwen2, Qwen3, Qwen3-MoE pour la génération, et BERT, RoBERTa, XLM-RoBERTa pour les embeddings.
L'auteur a publié AiiStream Q3.6, une technique open-source qui permet au modèle Qwen3.6-35B-A3B de fonctionner sur des appareils Apple Silicon avec seulement 8 à 16 Go de RAM. En conservant les experts routés sur le SSD et en utilisant des prédictions de chargement anticipé, la méthode réduit l'utilisation de la mémoire MLX à environ 1,7 Go tout en maintenant des sorties identiques au niveau des octets par rapport à l'implémentation standard de mlx_lm.
Le projet llama.cpp a publié la compilation b11307, qui corrige l'ordre des entrées des couches pour préserver la séquence de lot originale lors du décodage spéculatif. Ce changement garantit que l'ordre des tokens est correctement maintenu pour les embeddings NextN non masqués et compatible avec les divisions de tenseurs.
Le projet llama.cpp a publié la compilation b11301, qui inclut une correction pour un problème de débordement entier au sein des composants ggml et gguf. Cette mise à jour traite la logique de validation pour prévenir d'éventuelles erreurs lors de la manipulation de tenseurs à zéro élément.
Le projet llama.cpp a publié la version b11302, qui résout un problème critique de concurrence identifié par ThreadSanitizer dans le pipeline CI. La mise à jour corrige une course de données au sein du mécanisme d'attention creuse où plusieurs threads CPU écrivaient incorrectement sur les mêmes éléments mémoire.
Nous utilisons des cookies pour mesurer l'audience et améliorer le site. Vous pouvez accepter ou refuser les cookies analytiques. Politique de confidentialité