Para peneliti mengusulkan Trajectory-Aware Commit Gating (TACG), sebuah dekoder tanpa pelatihan untuk model bahasa difusi yang memanfaatkan trajektori distribusi prediktif untuk meningkatkan keputusan komitmen token. TACG mengaitkan identitas token ke posterior dasar dan hanya menggunakan sinyal sadar trajektori untuk menentukan apakah usulan siap untuk dikomit, menghindari konfusi antara kepercayaan diri dan kesiapan.
- Metode ini menggabungkan Temporal Implicit Logits Guidance (TILG), yang mempertahankan rata-rata bergerak eksponensial dari logit masa lalu untuk dikontraskan dengan logit saat ini, dengan History Gate (HG) yang memaksakan persistensi usulan jangka pendek.
- Anggaran promosi tambahan yang dibatasi digunakan untuk membuat aturan komitmen yang dibatasi stabilitas tanpa memerlukan jaringan tambahan atau lompatan maju ekstra.
- Evaluasi pada LLaDA, Dream, dan LLaDA2-Mini di berbagai benchmark kode (HumanEval, MBPP) dan matematika (GSM8K, MATH500) menunjukkan bahwa TACG biasanya meningkatkan atau mempertahankan akurasi sambil mengurangi langkah denoising dan meningkatkan token per lompatan maju.
Pendekatan ini memungkinkan model bahasa difusi memanfaatkan data trajektori bawaannya untuk dekodasi yang lebih stabil tanpa overhead komputasi tambahan selama inferensi.