Les auteurs proposent BlockPilot, une politique adaptative aux échantillons qui sélectionne dynamiquement la taille de bloc d'inférence optimale pour le décodage spéculatif basé sur la diffusion. Contrairement aux méthodes existantes qui utilisent une taille de bloc fixe, cette approche formule la sélection de la taille de bloc comme un problème d'apprentissage de politique léger basé sur les représentations de pré-remplissage.

  • Prédit la taille de bloc optimale à partir de la représentation de l'étape de pré-remplissage une seule fois après le pré-remplissage.
  • Exploite la structure locale des valeurs optimales pour réduire l'espace de décision.
  • Atteint une longueur d'acceptation de 5.92 et un gain de vitesse de 4.20x sur Qwen3-4B avec une température T=1.

La méthode est décrite comme plug-and-play avec une surcharge minimale, améliorant constamment l'efficacité en s'adaptant aux échantillons individuels.