CANON이 레이블 없는 자기 증류(label-free self-distillation)를 위한 밀집 토큰 수준 감독으로 합의를 전환하다

연구자들은 여러 해를 샘플링하여 얻은 합의 신호를 밀집된 토큰 수준의 감독으로 변환하는 레이블 없는 학습 방법인 CANON(Consensus-ANchored self-distillatiON)을 제시했습니다.

• CANON은 수학적 및 과학적 추론 벤치마크에서 pass@1을 최대 12포인트 향상시킵니다.
• 계산량을 7분의 1만 사용하면서 레이블 없는 강화 학습보다 6포인트 더 우수합니다.
• 이 방법은 골드 솔루션으로 조건부 설정된 교사 모델의 성능 수준에 근접합니다.
• 모은 레이블 없는 데이터로 훈련되어 홀드아웃 벤치마크로 이전되며, 골드 라벨을 사용하는 방법과 동등한 성능을 달성합니다.

저자들은 이 개선이 단순히 분포를 날카롭게 만드는 것에 그치는 것이 아니라고 봅니다. 훈련 후 모델은 이전에 32번의 시도에서 단 한 번도 풀지 못했던 문제를 해결하게 되며, 다수결 자체도 더 정확해집니다.