Une étude récente examine quels tokens spécifiques sont prédits plus précisément par les modèles linguistiques hybrides par rapport aux architectures denses standard. La recherche se concentre sur la compréhension de la distribution des erreurs de prédiction à travers différents types de tokens, tels que les mots rares et les extraits de code. En analysant les paysages de perte, les auteurs identifient que les modèles hybrides excellent à capturer les dépendances à longue portée dans les régions de données clairsemées. Les résultats suggèrent que le mécanisme de mélange d'experts permet une utilisation plus efficace des paramètres lors de l'inférence. Cette précision améliorée est particulièrement notable pour les tokens de faible fréquence dans le corpus d'entraînement. L'article fournit une décomposition détaillée des métriques de performance sur divers ensembles de données de référence. Ces résultats mettent en évidence le potentiel des architectures hybrides pour gérer efficacement des structures linguistiques diverses.