DeepSeek V3 및 Kimi K2와 같은 최첨단 모델이 가시적인 chain-of-thought 없이 콘텐츠가 없는 필러 토큰에 대해 다단계 추론을 수행한다는 연구 결과가 나왔다. 이는 표면 토큰이 하위 추론에 대한 정보를 전혀 전달하지 않는 행동적 감시 한계 사례를 만든다.

  • 어텐션은 질문을 필러 영역을 통해 답변으로 라우팅하며, logit-lens 판독 결과는 초기 레이어에서 사실 검색과 후기 레이어에서 구성을 보여준다.
  • 필러 위치에서의 KV-cache 이식은 예제 간 출력을 인과적으로 교환한다.
  • 비지도 디코딩 파이프라인은 정답 레이블이나 학습 없이 네 가지 작업 계열 전반에 걸쳐 80-95%의 정확도로 중간 값을 복원한다.

이 findings는 모니터링 가능성이 모델의 표면 토큰뿐만 아니라 전체 계산 트레이스의 속성임을 시사한다.