Une évaluation à grande échelle des méthodes d'estimation de l'incertitude (UE) sur 22 langues révèle qu'amener les modèles à raisonner en anglais améliore considérablement les performances, en particulier pour les langues à faibles ressources. L'étude compare neuf méthodes UE open-box et closed-box en utilisant des ensembles de données Q&A curatés par des humains tout en sollicitant un raisonnement de forme longue.
- Amener les modèles à raisonner en anglais améliore considérablement les performances de l'UE même lorsque les questions sont dans des langues à faibles ressources, indiquant que le goulot d'étranglement de la fiabilité réside dans la génération plutôt que dans la compréhension.
- L'utilisation de l'anglais pour le raisonnement comble l'écart de performance UE entre les langues à faibles et à fortes ressources, démontrant que la langue de génération est plus importante que la langue de la question.
- La méthode UE optimale dépend de l'échelle du modèle : les méthodes open-box basées sur les probabilités surpassent les alternatives aux petites échelles, tandis que l'incertitude auto-verbalisée closed-box est supérieure aux grandes échelles.
Les auteurs fournissent des directives pour la sélection du seuil de prédiction sélective afin d'aider à calibrer l'abstention dans des contextes multilingues.