Un utilisateur a testé le papier Global Workspace / Jacobian Lens d'Anthropic sur plusieurs modèles open-source, notamment Gemma 4 et des variantes Qwen, afin d'évaluer son utilité pour détecter les hallucinations confiantes lors de l'inférence locale.
- L'étude a analysé les trajectoires de l'espace de travail sur les modèles Gemma E4B, 12B, 12B abliterated, 26B MoE et Qwen 3.6 27B en utilisant 500 questions TriviaQA par modèle.
- Sur les modèles Gemma, les espaces propres étaient corrélés à une exactitude de 77 %, tandis que ceux bruyants chutaient à 42 %, les caractéristiques de l'espace de travail surpassant la confiance de sortie seule.
- Un routeur de régression logistique entraîné sur les caractéristiques de trajectoire de l'espace de travail a obtenu des scores AUC élevés pour prédire les mauvaises réponses, en particulier sur Gemma E4B (0,787 combiné) et 12B (0,843 combiné).
- L'approche a échoué sur Qwen 27B, où la confiance de sortie était déjà bien calibrée et les caractéristiques de l'espace de travail n'apportaient aucun avantage supplémentaire.
- Les modèles abliterated ont montré des taux de fabrication accrus pour les entités fictives par rapport aux modèles de base, suggérant une perte de signaux « Je ne sais pas ».
Ces résultats suggèrent que les caractéristiques de trajectoire de l'espace de travail du Jacobian-lens peuvent servir de signal de risque à un seul passage efficace pour le routage local-to-cloud lorsque la confiance de sortie est mal calibrée.