media Hugging Face Forums · il y a 1 h · open_models

Eqx-zoo fournit des ports vérifiés de modèles Equinox pour Hugging Face

Traduit de English → Français

L'auteur a construit eqx-zoo, une bibliothèque qui charge les checkpoints de Hugging Face Hub directement en tant que modules plain d'Equinox et vérifie chaque modèle contre la bibliothèque transformers. Le projet prend actuellement en charge Llama, Qwen2, Qwen3, Qwen3-MoE pour la génération, et BERT, RoBERTa, XLM-RoBERTa pour les embeddings.

La vérification garantit que les sorties float32 correspondent à transformers couche par couche et que la génération greedy reproduit exactement les tokens.
L'auteur a découvert que comparer directement les implémentations bf16 est défectueux en raison de différences d'arrondi, nécessitant une comparaison contre float32 par rapport à l'erreur de la source.
Il a été constaté que la compilation JIT d'un decoder dans XXL est mesurablement moins précise que l'exécution eager, tandis que les encoders ne montrent pas ce problème.
Un bug subtil de LayerNorm en bf16 n'a été détectable qu'au niveau du bloc, soulignant le besoin de tests granulaires.

Les checkpoints vérifiés sont disponibles dans une collection Hugging Face, et la bibliothèque est installable via pip.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Local inference

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 3 j · 13 vues

AiiStream Q3.6 permet d'exécuter Qwen3.6-35B-A3B sur des Mac avec 8 à 16 Go de RAM

L'auteur a publié AiiStream Q3.6, une technique open-source qui permet au modèle Qwen3.6-35B-A3B de fonctionner sur des appareils Apple Silicon avec seulement 8 à 16 Go de RAM. En conservant les experts routés sur le SSD et en utilisant des prédictions de chargement anticipé, la méthode réduit l'utilisation de la mémoire MLX à environ 1,7 Go tout en maintenant des sorties identiques au niveau des octets par rapport à l'implémentation standard de mlx_lm.

github llama.cpp · il y a 4 j · 22 vues

llama.cpp b11307 préserve l'ordre du lot pour le décodage spéculatif

Le projet llama.cpp a publié la compilation b11307, qui corrige l'ordre des entrées des couches pour préserver la séquence de lot originale lors du décodage spéculatif. Ce changement garantit que l'ordre des tokens est correctement maintenu pour les embeddings NextN non masqués et compatible avec les divisions de tenseurs.

github llama.cpp · il y a 4 j · 6 vues

llama.cpp b11301 corrige un débordement entier dans ggml/gguf

Le projet llama.cpp a publié la compilation b11301, qui inclut une correction pour un problème de débordement entier au sein des composants ggml et gguf. Cette mise à jour traite la logique de validation pour prévenir d'éventuelles erreurs lors de la manipulation de tenseurs à zéro élément.

github llama.cpp · il y a 4 j · 15 vues

llama.cpp b11302 corrige une course de données ThreadSanitizer dans l'indexeur creux

Le projet llama.cpp a publié la version b11302, qui résout un problème critique de concurrence identifié par ThreadSanitizer dans le pipeline CI. La mise à jour corrige une course de données au sein du mécanisme d'attention creuse où plusieurs threads CPU écrivaient incorrectement sur les mêmes éléments mémoire.

github llama.cpp · il y a 4 j · 8 vues

llama.cpp b11298 ajoute le support de dflash pour la conversion et l'extraction de fonctionnalités

Le projet llama.cpp a publié la compilation b11298, qui introduit le support du format dflash. Cette mise à jour permet à la fois la conversion des modèles vers ce format et les capacités ultérieures d'extraction de fonctionnalités.