AnthropicのJ-Space幻覚信号をQwen3-4Bで評価した結果、ワークスペースノイズは事実検索タスクにおける高信頼度のエラーを効果的にルーティングできるが、内部化された神話には無感であり、数学的推論とは互換性がないことが示された。

  • PopQAにおいて、ワークスペースノイズによるルーティングは100%の精度でエラーを検出したのに対し、出力logprobsは偶然より悪い精度（87.5%）にとどまった。
  • TruthfulQAでは指標が崩壊し、モデルはワークスペースノイズが低い場合でも84.9%の確率で誤答していた。
  • 事実データセットにキャリブレーションされた静的閾値はGSM8Kで機能しなかった。これは、段階的な数学的推論が構造的に高エントロピーな活動だからである。

著者は、ワークスペースノイズが認識論的な推測を検出できるものの、存在論的な誤りを検出できないと指摘し、表面logprobsが内部の明確さと一致する地点を見つけるためにパラメータのスケーリングテストを行う予定である。