Cet article présente une enquête pratique sur les techniques de décodage spéculatif détendu sans entraînement, qui accélèrent l'échantillonnage des LLM autoregressifs en utilisant un modèle auxiliaire pour rédiger les jetons. Les auteurs unifient les approches existantes dans un cadre partagé et les évaluent sur des configurations contemporaines pour en tirer des constatations empiriques à l'intention des praticiens.
- L'assouplissement de la garantie stricte sans perte du décodage spéculatif standard peut permettre des gains de vitesse supplémentaires, des compromis contrôlés entre capacité et vitesse, ou même des gains de capacité.
- L'évaluation des capacités requises par l'assouplissement est plus considérable que dans le décodage spéculatif sans perte.
- De nombreuses approches détendues reposent sur un rédacteur qui est un bon modèle de langage, ce qui les rend inadaptées aux rédicateurs dédiés et légers pour la prédiction multi-jetons.
Les résultats mettent en évidence que bien que l'assouplissement offre des avantages en matière de performances, il introduit des exigences d'évaluation significatives et des contraintes sur le choix des modèles de rédaction.