L'enquête sur le décodage spéculatif relaxé sans entraînement révèle des compromis

Une enquête pratique examine le décodage spéculatif relaxé sans entraînement, qui accélère l'échantillonnage des LLM autoregressifs en utilisant un modèle auxiliaire plus rapide pour rédiger des jetons qui sont ensuite vérifiés en parallèle. L'étude unifie les approches existantes au sein d'un cadre partagé et les évalue sur des configurations contemporaines pour en tirer des constatations empiriques à l'intention des praticiens.

• La relaxation de la garantie stricte sans perte peut permettre des accélérations supplémentaires, des compromis contrôlés entre capacité et vitesse, ou même des gains de capacité.
• L'évaluation de la capacité est requise pour les méthodes relaxées, contrairement au décodage spéculatif standard sans perte.
• De nombreuses approches relaxées reposent sur un rédacteur qui est un bon modèle de langage, ce qui les rend inadaptées aux rédacteurs dédiés légers pour la prédiction multi-jetons.