Self-Guided TTT memilih rentang bukti untuk meningkatkan akurasi LLM konteks panjang

Peneliti mengusulkan Self-Guided Test-Time Training (S-TTT) untuk mengatasi kesulitan memanfaatkan input panjang dalam model bahasa besar, di mana pelatihan uji waktu standar pada rentang acak sering menurunkan kinerja karena noise.

Metode ini bekerja dengan memiliki model mengidentifikasi rentang bukti yang relevan dalam konteks sebelum adaptasi, menerapkan tujuan pelatihan hanya pada segmen yang dipilih. Pendekatan ini menghindari biaya pelatihan konteks penuh yang sangat mahal sambil mengurangi efek negatif dari data yang tidak relevan.

Pada benchmark LongBench-v2 dan LongBench-Pro, S-TTT meningkatkan akurasi untuk Qwen3-4B-Thinking-2507 dan Llama-3.1-8B-Instruct, mencapai peningkatan relatif hingga 15%.