Pesquisadores propõem o Trajectory-Aware Commit Gating (TACG), um decodificador sem treinamento para modelos de linguagem de difusão que utiliza a trajetória das distribuições preditivas para melhorar as decisões de comprometimento de tokens. O TACG ancora as identidades dos tokens à posterior base e usa sinais conscientes da trajetória apenas para determinar se uma proposta está pronta para ser comprometida, evitando a confusão entre confiança e prontidão.
- O método combina Temporal Implicit Logits Guidance (TILG), que mantém uma média móvel exponencial de logit passados para contrastar com os atuais, com History Gate (HG) que impõe persistência de curto prazo nas propostas.
- Um orçamento extra-promoção limitado é usado para criar uma regra de comprometimento com estabilidade restrita sem exigir redes auxiliares ou passes forward extras.
- Avaliações no LLaDA, Dream e LLaDA2-Mini em benchmarks de código (HumanEval, MBPP) e matemática (GSM8K, MATH500) mostram que o TACG tipicamente melhora ou preserva a precisão enquanto reduz os passos de denoising e aumenta os tokens por forward.
A abordagem permite que modelos de linguagem de difusão aproveitem seus dados inerentes de trajetória para uma decodificação mais estável sem sobrecarga computacional adicional durante a inferência.