Les chercheurs démontrent que des sondes linéaires sur le flux résiduel des grands modèles de langage peuvent détecter de manière fiable les réponses « fausses mais assurées » dans la question-réponse financière, surpassant les bases de confiance comportementale. L'étude évalue cette approche sur les benchmarks FinQA et TAT-QA en utilisant Qwen3-8B, Llama-3.1-8B et Gemma-2-9B.
- Parmi les réponses assurées où huit sorties rééchantillonnées ont convergé, 15 à 23 % étaient incorrectes sur FinQA.
- Les sondes ont atteint un AUROC de 0,68 à 0,77 pour détecter ces hallucinations, significativement plus élevé que l'AUROC de 0,55 à 0,63 des bases comme les log-probabilités des tokens et l'auto-évaluation.
- La méthode exploite les activations internes pour identifier les erreurs que les métriques de confiance comportementale ne parviennent pas à capturer.
Les auteurs suggèrent que le sondage offre un mécanisme de triage rentable pour router les réponses des LLM vers une revue humaine dans des applications financières à haut risque.