Self-Guided Test-Time Training memilih rentang bukti untuk meningkatkan penalaran konteks panjang

Para peneliti mengusulkan Self-Guided Test-Time Training (S-TTT), sebuah metode yang meningkatkan pemanfaatan konteks panjang dengan让 model mengidentifikasi rentang bukti yang relevan sebelum adaptasi. Pendekatan ini mengatasi masalah biaya tinggi dan noise dalam menerapkan test-time training ke seluruh konteks atau sampel acak.

• S-TTT memilih rentang bukti tertentu untuk adaptasi parameter, bukan menggunakan konteks penuh atau sampel acak.
• Tujuan pemodelan bahasa standar hanya diterapkan pada rentang yang dipilih ini untuk menghindari penurunan kinerja model dasar.
• Pada LongBench-v2 dan LongBench-Pro, S-TTT meningkatkan akurasi Qwen3-4B-Thinking-2507 dan Llama-3.1-8B-Instruct hingga 15% secara relatif.