본 기사는 Weaver를 소개합니다. 이는 독립성 가정으로 인해 발생하는 수용률 저하를 해결하기 위해 인수화된 drafter의 상위 K개 주변 분포에서 제안 트리를 구축하는 경량 자기회귀 어댑터입니다.

  • Weaver는 전체 어휘 사영을 피하면서도 제안된 토큰 간의 조건부 의존성을 복원합니다.
  • Gated Delta Net 레이어가 있는 모델을 위한 롤백 없는 트리 검증 알고리즘이 유도되었으며, SGLang 내 최적화된 CUDA 커널을 통해 구현되었습니다.
  • 이 접근 방식은 자기회귀 디코딩 대비 4.37배의 속도 향상을 달성했으며, 고도로 최적화된 DFlash 기반보다 24.7% 더 우수합니다.

모델 및 시스템 기여를 결합함으로써 Weaver는 추론 디코딩을 통해 자기회귀 언어 모델의 상호작용성을 크게 향상시킵니다.