Los investigadores proponen Trajectory-Aware Commit Gating (TACG), un decodificador sin entrenamiento para modelos de lenguaje de difusión que utiliza la trayectoria de las distribuciones predictivas para mejorar las decisiones de compromiso de tokens. TACG ancla las identidades de los tokens a la posterior base y utiliza señales conscientes de la trayectoria solo para determinar si una propuesta está lista para comprometerse, evitando la confusión entre confianza y disposición.

  • El método combina Temporal Implicit Logits Guidance (TILG), que mantiene un promedio móvil exponencial de logit pasados para contrastar con los actuales, con History Gate (HG) que impone persistencia a corto plazo en las propuestas.
  • Se utiliza un presupuesto extra-promoción acotado para crear una regla de compromiso con estabilidad restringida sin requerir redes auxiliares ni pasos adicionales hacia adelante.
  • Las evaluaciones en LLaDA, Dream y LLaDA2-Mini en benchmarks de código (HumanEval, MBPP) y matemáticas (GSM8K, MATH500) muestran que TACG generalmente mejora o preserva la precisión mientras reduce los pasos de denoising y aumenta los tokens por paso hacia adelante.

El enfoque permite a los modelos de lenguaje de difusión aprovechar sus datos inherentes de trayectoria para una decodificación más estable sin sobrecarga computacional adicional durante la inferencia.