연구자들은 대규모 언어 모델의 내부 표현이 사고 사슬(Chain-of-Thought, CoT) 추론보다 보정과 충실성에 대한 더 직접적인 창을 제공하는지 여부를 조사했습니다. OpenForesight에서 Eternis-Forecaster 8B를 사용하여 중간 활성화에 대해 학습된 표현 풀링 프로브는 모델의 표준 출력과 비교하여 상당히 향상된 보정을 달성했습니다.

  • 프로브는 또한 거짓 탐지기처럼 작동하여 CoT가 섭동을 숨기고 있는 경우에도 행동 변화를 추적하고 사례의 84%에서 변화 방향을 예측했습니다.
  • 증거 아블레이션은 영향력 있는 소스를 제거하면 추론 트레스는 그대로 둔 채 예측만 변경됨을 보여주며, 출력과 프로세스 간의 단절을 강조합니다.
  • 강제 답변은 예측이 추론이 시작되기 전에 거의 고정되어 있음을 드러냈으며, 사전 설정된 답변 분포에 따라 질문을 라우팅함으로써 정확도 손실 없이 30-47%의 토큰을 절약했습니다.

이러한 결과는 내부 표현을 프로브하는 것이 언어 모델 예측기의 보정, 감사 및 분류를 위한 실용적인 도구임을 확립합니다.