본 기사는 언어 모델의 잔류 역학에서 의미 측정(semantic measurement)을 분리하도록 설계된 앵커 기반 형식론인 Semantic Reference Frames (SemRF)를 소개합니다. 이 접근 방식은 중간 디코딩 과정에서 계층 간 비교 가능한 읽기 좌표가 필요하다는 문제를 해결하기 위해 상태를 측정할 기준이 되는 앵커를 고정합니다.
- SemRF는 정확한 동기화를 위해 의사 역수 묶음(pseudo-inverse tying)을 사용하며, 제한된 양방향 가역성 하에서 안정적인 의미 기저 좌표를 제공합니다.
- 이 방법은 거리 또는 로짓(logits)에 따라 각 계층을 거친 셀(cell)에 할당하지만 셀 내 운동은 유지하는 의미 보로노이 다이어그램(semantic Voronoi diagram)을 유도합니다.
- 잔류 계산(depthwise semantic trajectory)을 추적하기 위해 계층별 단계, 기여도 프로필(profiles), 불균형 진단(diagnostics)을 정의합니다.
- 표준 궤적(canonical trace)은 마진 완화 튜브(margin-relaxed tube) 내부의 최소 작용 경로(minimum-action path)로 정의되며, 비어 있지 않을 경우 이산 스플라인 방정식을 따릅니다.
- 이러한 궤적에서의 낮은 곡률은 조각별 선형 압축성(piecewise-linear compressibility)과 국소 지식 밀도를 의미하며, 궤적 복잡성이 낮을수록 의미 자유도(semantic degrees of freedom)가 적음을 나타냅니다.
저자들은 이 프레임워크가 매개변수 효율성과 궤적 복잡성 사이의 조건부 연결고리를 제공하며, 제어된 인터페이스 오차와 투영 잔류 제약(projection residual constraints)을 통해 잔류 계산을 분석할 수 있다고 주장합니다.