L'article presente Weaver, un adaptateur autoregressif legere qui construit des arbres de propositions a partir des marginales top-K d'un drafter factorise pour remedier a la degradation des taux d'acceptation causee par les hypotheses d'independance.
- Weaver restaure les dependances conditionnelles entre les tokens proposes tout en evitant une projection sur le vocabulaire complet.
- Un algorithme de verification d'arbre sans rollback est derive pour les modeles avec des couches Gated Delta Net, implemente via des noyaux CUDA optimises dans SGLang.
- L'approche atteint un gain de vitesse de 4.37 fois par rapport au decodage autoregressif et depasse une base DFlash hautement optimisee de 24,7 %.
En combinant ces contributions modelaires et systemiques, Weaver augmente significativement l'interactivite des modeles de langage autoregressifs via le decodage speculatif.