Qwen3-8B에 Open J-lens 적용하여 침묵의 추론과 산문 드리프트 감지

저자는 Anthropic의 Claude 침묵 "J-space" 발견에 영감을 받아 Qwen3-8B 모델에 오픈 자코비안 렌즈(J-lens)를 적용하여 내부 추론 상태를 감지합니다. 이 접근 방식은 가시적인 텍스트 출력으로 나타나지 않는 숨겨진 활성화(hidden activations)를 모니터링할 수 있게 합니다.

• J-lens는 활성화에서 침묵의 개념을 포착하여 읽을 수 있는 chain-of-thought 텍스트와 구별합니다.
• 이 도구는 도구 호출 전에 산문 드리프트(prose drift)를 성공적으로 감지했으며, 모델이 JSON 대신 자연어("To, You, Do…" 등)로 기울어져 있음을 식별했습니다.
• 이 감지는 에이전트 가드(agent guards)에 통합되어 작업을 중지 또는 취소하고 회복(distill recoveries)을 LoRA 데이터로 압축하는 데 사용되었습니다.

이 방법은 표준 텍스트 출력에서 보이지 않는 내부 모델 동작을 모니터링하고 수정하기 위한 메커니즘을 제공합니다.