Un contributeur prépare une pull request pour ajouter le support en amont de la famille de modèles Gemma 4 à Hugging Face, ainsi que des optimisations pour le traçage de l'export ONNX. Les modifications corrigent les limitations spécifiques à l'architecture lors du traçage ONNX et ajustent les calculs de couches pour les variantes de modèles hétérogènes, y compris les configurations Mixture of Experts (MoE) et Denses.
- La formulation RMSNorm est réalignée pour utiliser une multiplication d'échelle de style Llama standard pour Gemma 4, avec une propriété de gating pour prévenir les erreurs de mise à l'échelle des activations.
- La compatibilité du traçage ONNX pour l'attention à requête groupée (GQA) et l'attention MoE est améliorée en remplaçant torch.histc par torch.bincount afin de permettre la sérialisation du graphe sous ONNX Opset 17.
- Des garde-fous de cast tensoriel symbolique sont ajoutés pour prévenir les échecs de compilation JIT lors du traitement de tenseurs scalaires symboliques pendant le traçage d'export dynamique.
- La consolidation de shards consciente du stockage empêche les modèles de partitionnement de fichiers pathologiques dans les configurations MoE en consolidant le stockage des paramètres partagés dans des tampons binaires contigus de 1 Go.
- Une résolution robuste des attributs du tokenizer est implémentée via une recherche hiérarchique MRO pour prévenir les exceptions AttributeError dans les sous-classes de tokenizer personnalisées.
Le package mis à jour a été vérifié localement, avec le chargement et la compilation corrects des architectures de modèles principaux. La rétrocompatibilité a été confirmée par le passage de 157 cas de test (et 1 157 sous-tests) de la suite de tests de modélisation PyTorch gemma2.