본 글은 보조 모델을 사용하여 토큰을 초안 작성함으로써 자기회귀 LLM 샘플링을 가속화하는 학습이 필요 없는 이완된 추측적 디코딩 기법에 대한 실용적인 조사를 제시합니다. 저자들은 기존 접근 방식을 공유 프레임워크 내에서 통합하고 현대적인 설정에서 벤치마킹하여 실무자를 위한 경험적 통찰력을 도출합니다.
- 표준 추측적 디코딩의 엄격한 무손실 보장을 이완하면 추가적인 속도 향상, 제어 가능한 능력-속도 트레이드오프, 심지어 능력 향상을 얻을 수 있습니다.
- 이완에 필요한 능력을 평가하는 것은 무손실 추측적 디코딩보다 더 중요합니다.
- 많은 이완 접근 방식은 우수한 언어 모델인 초안 작성기에 의존하므로 경량 전용 다중 토큰 예측 초안 작성기에는 적합하지 않습니다.
이러한 발견들은 이완이 성능상의 이점을 제공하지만 중요한 평가 요구 사항과 초안 작성 모델 선택에 대한 제약을 도입함을 강조합니다.