연구에 따르면 자기증류된 추론 추적을 섹션 단위로 압축하면 Qwen3.5-4B 및 Gemma-4-12b 모델이 훨씬 적은 토큰으로 원래 성능을 달성하거나 초과할 수 있습니다. 서술 부분을 압축하면서도 계산과 검증 구간을 보존함으로써 이 방법은 평탄한 압축과 관련된 탐욕적 디코딩 실패를 피합니다.

  • 평탄한 압축은 탐욕적 디코딩이 실패하게 하며, 온도 0에서 GSM8K 문제의 93%에서 루프를 돌립니다.
  • 섹션 인식 압축은 ~1.7배 적은 토큰을 사용하면서도 미압축 SFT 제어 대비 GSM8K 정확도를 +.15 향상시킵니다.
  • 시스템 프롬프트 없이 학습하고 시스템 프롬프트로 서빙하는 것이 가장 좋은 결과를 낳는데, 이는 프롬프트가 효율성 트리거 역할을 하기 때문입니다.
  • 압축 동작은 아이덴티티 프롬프트를 통해 전환할 수 있어 모델이 간결한 추론과 비압축 출력 간에 전환할 수 있습니다.
  • 더 강력한 교사 모델은 미압축 SFT보다 나쁜 결과를 낳았는데, 이는 추론이 학생의 분포와 가깝게 유지되어야 함을 나타냅니다.
  • 이 접근법은 더 큰 모델로 효과적으로 이전됩니다; Gemma-4-12b는 원래 3,753 토큰에서 .57 정확도를 보인 반면, 1,679 토큰에서 GSM8K에 대해 .86 정확도를 달성했습니다.

이 연구는 계산 구간을 보존하는 것이 종료를 고정하고 효율성을 개선하며, 전체 코드, 모델 및 데이터셋이 공개되었음을 강조합니다.