실용적인 조사는 훈련 없는 이완된 추측적 디코딩을 검토하며, 이는 더 빠른 보조 모델을 사용하여 토큰을 초안으로 작성한 후 병렬로 검증함으로써 자기회귀 LLM 샘플링을 가속화합니다. 이 연구는 기존 접근 방식을 공유 프레임워크 내에서 통합하고 현대적인 설정에서 벤치마킹하여 실무자를 위한 경험적 통찰력을 도출합니다.
- 엄격한 무손실 보장의 이완은 추가적인 속도 향상, 제어 가능한 능력-속도 트레이드오프, 또는 심지어 능력 향상을 가져올 수 있습니다.
- 표준 무손실 추측적 디코딩과 달리, 이완된 방법의 경우 능력 평가가 필요합니다.
- 많은 이완된 접근 방식은 우수한 언어 모델인 드래프터에 의존하므로 경량 전용 다중 토큰 예측 드래프터에는 적합하지 않습니다.