본 기사는 LLM 워크플로우에서 좌표 인덱스화된 객체는 아키텍처에 의존하는 모델의 잔류 스트림 게이지를 고정해야 함을 보여줍니다. LayerNorm 모델은 순열 게이지($S_d$)를 갖지만, RMSNorm 모델은 부호 순열 게이지($B_d$)를 가지며, 이로 인해 순열 전용 정렬은 대칭성이 불완전합니다.

  • 저자들은 원시 부호 상관 매칭의 구조적 정확도 한계를 극복하기 위해 부호 마진화된 헝가리안 매칭을 도입했습니다.
  • 저장된 체크포인트의 국소 $B_d$ 게이지를 합성하면 1500 스텝에서 엔드포인트 매칭의 60.3%에 비해 91.1%의 크로스 런 좌표를 복원합니다.
  • $B_d$ 게이지 하에서 TinyLlama SAE 재구성은 $S_d$ 하의 1.08 대비 NMSE 0.004를 달성하며, Qwen 감정 스티어링은 그 효과를 17.2% 대비 95.8% 보존합니다.
  • AdamW 상태의 부호 수송은 재개된 학습 궤적을 보존하는 반면, 순열 전용 상태는 다른 궤적을 따릅니다.

저자들은 좌표 보존 수송이 SAE 및 스티어링 벡터와 같은 도구들에게 필수적이며, 이러한 도구들은 순열 전용 정렬 하에서 붕괴된다고 주장합니다. 또한 해석 가능성 주장은 명시적인 게이지에 상대적이야만 재현 가능하다고 말합니다.