Des recherches menées sur cinq modèles ajustés par instruction issus de trois familles (de 2B à 14B) démontrent que le refus du modèle implique deux axes distincts : la correction de la réponse et la possibilité de répondre à la question. L'étude révèle que les scores de confiance standards suivent la correction mais sont presque aveugles quant à la possibilité réelle de répondre à une question, en particulier pour les questions fondées sur des prémisses fausses.
- Un sonde linéaire sur les états cachés peut détecter les questions sans réponse avec un AUROC de 0,69 à 0,77, tandis que les métriques standards comme P(IK) et P(True) restent proches du hasard.
- Instruire les modèles de vérifier les prémisses a l'effet inverse, les amenant à contester des prémisses valides (57 % de contestations fausses), tandis que le routage des instructions via la sonde triple la précision des contestations.
- Une politique calibrée utilisant des scores séparés de possibilité de réponse et de correction certifie une couverture de 0,75 des réponses correctes à un seuil de 0,75, contre seulement 0,31 pour un seuil unique.
Cette approche permet de contrôler le taux de réponses sans réponse à toutes les échelles tout en limitant le taux de mauvaises réponses par la précision du modèle, offrant une garantie plus stricte que les méthodes à seuil unique.