Une étude menée sur cinq modèles ajustés par instruction issus de trois familles (de 2B à 14B) a identifié deux axes distincts pour l'abstention des LLM : l'exactitude de la réponse et la possibilité de répondre à la question. L'étude révèle que la confiance ordinaire dans la réponse suit si une réponse est correcte mais reste presque aveugle quant à savoir si une question est répondable, tandis qu'une sonde linéaire sur les états cachés détecte l'impossibilité de répondre.
- Pour les questions à prémisse fausse (CREPE), les métriques standard restent proches du hasard, tandis que la sonde d'état caché atteint un AUROC de 0,69 à 0,77.
- Demander aux modèles de vérifier les prémisses entraîne un effet boomerang avec 57 % de fausses contestations, mais router les instructions via la sonde triple la précision des contestations.
- Une politique calibrée certifiant à la fois la possibilité de répondre et l'exactitude des scores à une couverture de 0,75 atteint une couverture de réponse correcte de 0,31, par rapport à l'échec d'un seuil unique.
Cette approche permet de contrôler le taux de réponses impossibles à chaque échelle tout en limitant le taux de mauvaises réponses par la précision du modèle.