Anthropic의 J-Space 환각 신호를 Qwen3-4B에 대해 평가한 결과, 작업 공간 노이즈가 사실 검색 작업에서 높은 신뢰도의 오류를 효과적으로 라우팅하는 반면, 내부화된 신화에는 무감각하며 수학적 추론과 호환되지 않음이 드러났다.

  • PopQA에서 작업 공간 노이즈로 라우팅하면 오류를 100% 정밀도로 포착한 반면, 출력 logprobs는 chance보다 낮은 정밀도(87.5%)를 보였다.
  • TruthfulQA에서는 지표가 붕괴되어, 모델이 작업 공간 노이즈가 낮았음에도 불구하고 84.9%의 확률로 잘못 답변했다.
  • 사실 데이터셋에 대해 보정된 고정 임계값은 GSM8K에서 무너졌는데, 이는 단계별 수학이 구조적으로 고엔트로피 활동이기 때문이다.

저자는 작업 공간 노이즈가 인식론적 추측은 감지할 수 있지만 존재론적 거짓은 감지할 수 없다고 지적하며, 표면 logprobs가 내부 명확성과 일치하는 지점을 찾기 위해 매개변수 스케일링 테스트를 진행할 계획이다.