Peneliti mengusulkan Amplitude Gating (AG), sebuah metode inference-waktu non-destruktif yang memodulasi magnitudo aktivasi jaringan feed-forward untuk meningkatkan output terstruktur dalam model bahasa besar tanpa melatih ulang bobot. Pendekatan ini mengatasi keterbatasan perbaikan perubahan arah sebelumnya dengan mempertahankan arah bobot pra-latih sambil memperbaiki kesalahan format atau argumen kecil.
- AG mendefinisikan sistem intervensi halus yang mencakup P1/P2/P3 dan situs spesifik cabang, dievaluasi melalui protokol yang memisahkan headroom oracle kombinasi dari gerbang yang dipelajari.
- Pada Qwen3.5-9B, gerbang yang dipelajari tingkat kategori meningkatkan kinerja alat/terstruktur/agentic dari 38,66% menjadi 42,92%, dengan tugas panggilan fungsi Hermes mendapatkan sekitar +7,6 poin.
- Pada Qwen3-8B, mode JSON Hermes meningkat sebesar +11,36 poin.
- Qwen2.5-7B mempertahankan headroom oracle tetapi gerbang yang dipelajari saat ini gagal menangkapnya, menunjukkan bahwa penempatan memerlukan perutean spesifik-model.
- Perbandingan menunjukkan bahwa AG entropi maupun AG jendela Newton-Schulz tidak secara seragam dominan di seluruh model.
Hasil-hasil tersebut mengidentifikasi inferensi terstruktur-alat sebagai target paling kredibel untuk optimisasi tingkat FFN yang aman, meskipun evaluasi lintas-model yang lebih luas masih diperlukan.