연구자들은 8B 추론 교사 모델(deepseek-r1:8B)을 0.6B 학생 모델(QLoRA를 통한 Qwen3-0.6B)로 증류함으로써 현저히 낮은 지연 시간과 비용으로 대량의 구조화된 추출을 가능하게 한다고 입증했습니다. 이 연구는 요약 및 범주형 레이블이 포함된 JSON 객체로 뉴스 기사를 매핑하는 이 접근 방식을 평가하며, 증류된 모델을 퓨샷 프롬프팅 및 제약 디코딩 베이스라인과 비교했습니다.

  • 학생 모델은 각 기사를 약 0.8초에 처리하여 교사의 39초와 비교할 때 기본 모델 대비 성능 격차의 58%를 회복했습니다.
  • 블라인드 삼인 심사 패널의 요약 품질 점수에서 제약 디코딩보다 +16.8 포인트, 퓨샷 프롬프팅보다 +4.9 포인트 더 우수했습니다.
  • 교사의 추론 능력은 작성 품질에 중요하며, 동일 크기 비추론 교사로부터 증류하면 튜닝되지 않은 기본 모델 대비 개선이 없습니다.
  • 추론 계보가 요약 생성을 개선하지만, 지시 기반 교사(더 나은 그라운딩 유지)와 비교하여 얇은 소스 기사에서 더 많은 허위 정보를 생성합니다.

이 결과는 단일 엔진이 모든 분야에서 승리하지 않기 때문에 최적의 접근 방식은 단일 모델에 의존하는 대신 온디바이스 보강을 위한 필드별 라우팅 맵을 포함함을 시사합니다.