한 사용자가 Gemma 4 및 Qwen 변형 모델을 포함한 여러 오픈소스 모델에서 Anthropic의 Global Workspace / Jacobian Lens 논문을 테스트하여 로컬 추론에서 확신 있는 환각을 감지하는 데 유용성을 평가했습니다.

  • 연구는 각 모델당 500개의 TriviaQA 질문을 사용하여 Gemma E4B, 12B, 12B abliterated, 26B MoE 및 Qwen 3.6 27B 모델의 워크스페이스 궤적을 분석했습니다.
  • Gemma 모델에서 깨끗한 워크스페이스는 정답률 77%와 상관관계를 보인 반면, 노이즈가 있는 워크스페이스는 42%로 떨어졌으며, 워크스페이스 특징은 출력 신뢰도 단독보다 더 우수한 성능을 보였습니다.
  • 워크스페이스 궤적 특징으로 학습된 로지스틱 회귀 라우터는 잘못된 답변 예측에서 높은 AUC 점수를 달성했으며, 특히 Gemma E4B(0.787 combined) 및 12B(0.843 combined)에서 두드러졌습니다.
  • 이 접근 방식은 Qwen 27B에서는 실패했는데, 출력 신뢰도가 이미 잘 보정되어 있었고 워크스페이스 특징이 추가적인 이점을 제공하지 않았기 때문입니다.
  • abliterated 모델은 베이스 모델에 비해 가짜 엔티티에 대한 생성률이 증가했으며, 이는 "모른다"는 신호의 손실을 시사합니다.

이러한 발견은 출력 신뢰도가 잘못 보정된 경우 Jacobian-lens 워크스페이스 궤적 특징이 로컬에서 클라우드 라우팅을 위한 효과적인 원패스 위험 신호로 작용할 수 있음을 시사합니다.