あるユーザーが、Gemma 4やQwenシリーズなど複数のオープンソースモデルで、AnthropicのGlobal Workspace / Jacobian Lens論文をテストし、ローカル推論における自信のある幻覚を検出するための有用性を評価した。

  • 研究では、各モデルに対して500件のTriviaQA質問を用い、Gemma E4B、12B、12B abliterated、26B MoE、Qwen 3.6 27Bのワークスペース軌跡を分析した。
  • Gemmaモデルにおいて、クリーンなワークスペースは正答率77%と相関し、ノイズのあるワークスペースでは42%に低下したが、ワークスペース特徴量は出力自信度単独よりも優れていた。
  • ワークスペース軌跡特徴量で学習させたロジスティック回帰ルーターは、誤答の予測において高いAUCスコアを達成し、特にGemma E4B（0.787 combined）と12B（0.843 combined）で顕著だった。
  • このアプローチはQwen 27Bでは失敗し、出力自信度が既に適切に較正されており、ワークスペース特徴量が追加の利益をもたらさなかった。
  • abliteratedモデルはベースモデルと比較して偽のエンティティに関する生成率が増加し、「知らない」というシグナルの喪失を示唆している。

これらの知見は、出力自信度が不正確な場合、ジャコビアンレンズによるワークスペース軌跡特徴量がローカルからクラウドへのルーティングに対して有効なワンパスリスクシグナルとして機能し得ることを示唆している。