Une étude contrôlée montre que si les grands modèles de langage de pointe semblent robustes au niveau agrégé face à un contexte non pertinent pour la tâche, cette stabilité masque une instabilité significative au niveau de chaque exemple. L'ajout de pseudo-mots sémantiquement vides avant les questions des benchmarks provoque des changements marqués dans les prédictions du modèle sur une petite fraction d'exemples.
- Cet effet bidirectionnel dégrade les performances sur certains exemples tout en les améliorant sur d'autres, et ce de manière cohérente à travers un large éventail de modèles et de jeux de données.
- Les exemples affectés sont largement spécifiques au modèle, et l'instabilité est modulée par le type de contexte, la longueur du contexte, le calcul au moment du test et la phase de développement du modèle.
Ces résultats révèlent les risques de queue induits par le contexte, masqués par la précision agrégée, ce qui motive l'évaluation de la fiabilité au niveau de chaque exemple pour les modèles de langage.