Исследователи предлагают метод Trajectory-Aware Commit Gating (TACG), декодер без дообучения для диффузионных языковых моделей, который использует траекторию предиктивных распределений для улучшения решений о фиксации токенов. TACG привязывает идентичности токенов к базовому апостериорному распределению и использует сигналы, учитывающие траекторию, только для определения готовности предложения к фиксации, избегая смешения уверенности с готовностью.
- Метод сочетает Temporal Implicit Logits Guidance (TILG), который поддерживает экспоненциальное скользящее среднее прошлых логитов для сравнения с текущими, и History Gate (HG), обеспечивающий краткосрочную персистентность предложений.
- Ограниченный дополнительный бюджет продвижения используется для создания правила коммита с ограниченной стабильностью без необходимости в вспомогательных сетях или дополнительных прямых проходах.
- Оценка на LLaDA, Dream и LLaDA2-Mini по бенчмаркам кода (HumanEval, MBPP) и математики (GSM8K, MATH500) показывает, что TACG обычно улучшает или сохраняет точность при одновременном уменьшении шагов денормализации и увеличении количества токенов за один проход.
Подход позволяет диффузионным языковым моделям использовать их собственные траекторные данные для более стабильного декодирования без дополнительных вычислительных накладных расходов во время вывода.