연구자들은 바니타 일반화 지식 증류가 recall 개선에도 불구하고 모델이 도구를 과도하게 호출하는 행동을 보이는 멀티 티처 온-폴리시 증류에서 행동 불균형을 식별했습니다. 이를 해결하기 위해 그들은 Soft Clamp를 제안했는데, 이는 영이 아닌 기울기를 유지하면서 극단적인 토큰 수준 Jensen-Shannon 발산을 동적으로 압축하는 토큰별 발산 보정 방법입니다.
- Soft Clamp는 APIGen-MT에서 바니타 GKD 대비 도구 호출 과잉을 13.7%에서 9.0%로 줄입니다.
- 이 방법은 바니타 일반화 지식 증류의 의사결정 정확도와 일치합니다.
- BFCL 멀티 턴 진단에서 Soft Clamp는 GKD 변형 간 도구 호출 루프와 반복 호출을 낮춥니다.
이러한 결과는 멀티 티처 온-폴리시 증류가 집계 손실 지표에만 의존하는 대신 교사 신호가 로컬 토큰 수준 위치에서 어떻게 작용하는지 모니터링해야 함을 시사합니다.