ShortOPD는 짧은 길이의 온-정책 증류로 가지치기된 LLM을 복원합니다

저자들은 구조화된 가지치기가 적용된 대규모 언어 모델이 자유 형식 생성 동안 붕괴될 때 그 생성 능력을 복원하기 위해 설계된 짧은 길이의 온-정책 증류 일정인 ShortOPD를 제안합니다. 교사가 확인한 반복적인 접미사를 감지하고 생존한 접두사를 유효한 롤아웃 길이로 처리함으로써, 이 방법은 표준 접근 방식보다 훈련 예산을 더 효율적으로 배분합니다.

• ShortOPD는 압축된 모델의 점수를 복원되지 않은 값의 약 9배, 그리고 수학, 코드, 오픈 엔디드 생성 작업에서 SFT without KD, KD, SeqKD와 같은 표준 복원 레시피의 1.6~4.4배로 높입니다.
• 이 방법은 훈련 시간을 8.5시간으로 줄이고(35.9시간 대비 4분의 1), 롤아웃 토큰을 71% 감소시키면서도 고정된 8192토큰 롤아웃 호라이즌과 점수가 2포인트 이내에 일치합니다.

이 접근 방식은 퍼플렉시티와 다중 선택 벤치마크에서의 미미한 개선에 그치지 않고, 압축된 모델을 배포 준비가 된 생성 품질에 더 가깝게 만드는 것을 목표로 합니다.