Les chercheurs ont examiné si les représentations internes des grands modèles de langage offrent une fenêtre plus directe sur la calibration et la fidélité que le raisonnement par chaîne de pensée (CoT). En travaillant avec Eternis-Forecaster 8B sur OpenForesight, ils ont entraîné des sondes de regroupement de représentations sur les activations intermédiaires qui ont atteint une calibration substantiellement meilleure par rapport aux sorties standard du modèle.
- Les sondes ont également fonctionné comme des détecteurs de mensonges, suivant les changements comportementaux et prédisant la direction du changement dans 84 % des cas, même lorsque le CoT dissimulait des perturbations.
- L'ablation des preuves a montré que la suppression des sources influentes modifiait souvent les prévisions tout en laissant les traces de raisonnement intactes, mettant en évidence un décalage entre la sortie et le processus.
- La réponse forcée a révélé que les prévisions sont largement fixées avant le début du raisonnement ; router les questions par distribution de réponse prédéfinie a permis d'économiser 30 à 47 % de tokens sans perte de précision.
Ces résultats établissent l'analyse des représentations internes comme un outil pratique pour calibrer, auditer et trier les prévisionneurs de modèles de langage.