TACG: 확산 언어 모델 디코딩을 위한 궤도 인식 커밋 게이트

연구자들은 예측 분포의 궤적을 활용하여 토큰 커밋 결정을 개선하는 학습 없는 디코더인 Trajectory-Aware Commit Gating (TACG)를 제안했습니다. TACG는 토큰 ID를 기본 사후 확률에 고정하고, 제안이 커밋할 준비가 되었는지 여부를 결정하기 위해 궤도 인식 신호만 사용하여 신뢰도와 준비 상태의 혼동을 피합니다.

• 이 방법은 과거 로짓의 지수 이동 평균을 유지하여 현재 로ジット과 대조하는 Temporal Implicit Logits Guidance (TILG)와 단기 제안 지속성을 강제하는 History Gate (HG)를 결합합니다.
• 제한된 추가 프로모션 예산을 사용하여 보조 네트워크나 추가 순전파 없이 안정성 제약 커밋 규칙을 생성합니다.
• 코드 (HumanEval, MBPP) 및 수학 (GSM8K, MATH500) 벤치마크에서 LLaDA, Dream, LLaDA2-Mini에 대한 평가 결과, TACG는 일반적으로 디노이징 단계를 줄이고 순전파당 토큰 수를 증가시키면서 정확도를 개선하거나 유지함을 보여주었습니다.

이 접근 방식은 확산 언어 모델이 추론 중 추가 계산 오버헤드 없이 더 안정적인 디코딩을 위해 본질적인 궤적 데이터를 활용할 수 있게 합니다.