Une évaluation du signal d'hallucination J-Space d'Anthropic sur Qwen3-4B révèle que le bruit de l'espace de travail route efficacement les erreurs à haute confiance dans les tâches de récupération de faits, mais est aveugle aux mythes internalisés et incompatible avec le raisonnement mathématique.
- Sur PopQA, le routage par le bruit de l'espace de travail a capté des erreurs avec une précision de 100 %, tandis que les logprobs de sortie ont donné une précision pire que le hasard (87,5 %).
- La métrique s'est effondrée sur TruthfulQA, où le modèle avait tort 84,9 % du temps même lorsque le bruit de l'espace de travail était faible.
- Les seuils statiques calibrés sur des ensembles de données factuels ont échoué sur GSM8K car les mathématiques étape par étape sont une activité structurellement à haute entropie.
L'auteur note que le bruit de l'espace de travail détecte les devinettes épistémiques mais ne peut pas détecter les faussetés ontologiques, et prévoit de tester la mise à l'échelle des paramètres pour trouver où les logprobs de surface correspondent à la clarté interne.