Les chercheurs proposent Trajectory-Aware Commit Gating (TACG), un décodeur sans entraînement pour les modèles de langage diffusion qui utilise la trajectoire des distributions prédictives pour améliorer les décisions d'engagement des tokens. TACG ancre les identités des tokens à la postérieure de base et n'utilise des signaux conscients du trajet que pour déterminer si une proposition est prête à être engagée, évitant ainsi la confusion entre confiance et préparation.

  • La méthode combine Temporal Implicit Logits Guidance (TILG), qui maintient une moyenne mobile exponentielle des logits passés pour les comparer aux actuels, avec un History Gate (HG) qui impose la persistance à court terme des propositions.
  • Un budget de promotion supplémentaire plafonné est utilisé pour créer une règle d'engagement contrainte par la stabilité sans nécessiter de réseaux auxiliaires ni de passes avant supplémentaires.
  • Les évaluations sur LLaDA, Dream et LLaDA2-Mini à travers les benchmarks de code (HumanEval, MBPP) et de mathématiques (GSM8K, MATH500) montrent que TACG améliore ou préserve généralement la précision tout en réduisant les étapes de débruitage et en augmentant le nombre de tokens par passe avant.

L'approche permet aux modèles de langage diffusion d'exploiter leurs données de trajectoire inhérentes pour un décodage plus stable sans surcharge computationnelle supplémentaire lors de l'inférence.