DeLS-Spec은 긴-짧은 문맥을 분리하여 병렬 추론 기반 드래프트 생성을 구현

연구자들은 DeLS-Spec을 제안했다. 이 방법은 고정된 DFlash 모델을 긴 문맥 전문가로 취급하고, 경량 로컬 헤드를 짧은 문맥 전문가로 도입한다. 이 접근 방식은 타겟 모델이나 DFlash 백본과의 공동 학습 없이도 표준 다음 토큰 예측 목적 함수로 로컬 헤드를 독립적으로 훈련할 수 있게 한다.

• DeLS-Spec은 로컬 헤드를 특정 DFlash 체크포인트에 묶지 않고 추론 시 긴 문맥과 짧은 문맥의 로짓을 결합한다.
• 드래프트 생성 과정을 분리함으로써 극도로 낮은 훈련 비용을 달성한다.
• Qwen3 모델 실험 결과, 수학, 코드, 대화 벤치마크에서 DFlash 대비 속도 향상과 평균 수용 길이의 일관된 개선을 보였다.

이 모듈식 설계는 드래프트 모델의 고비용 재학습 없이도 추론 기반 드래프트 생성에 더 높은 유연성과 효율성을 제공한다.