Para peneliti mengusulkan ReContext, sebuah metode inferensi tanpa pelatihan yang meningkatkan penalaran konteks panjang dengan secara rekursif memainkan ulang bukti relevan di dalam mekanisme perhatian internal model.
- Metode ini membangun kumpulan bukti yang dikondisikan oleh kueri menggunakan sinyal relevansi internal model dan memainkannya kembali sebelum generasi akhir sambil mempertahankan konteks asli yang lengkap.
- Pendekatan ini memisahkan organisasi bukti dari generasi jawaban tanpa memerlukan pelatihan, memori eksternal, atau pemangkasan konteks.
- Eksperimen pada delapan dataset konteks panjang dengan panjang konteks 128K menunjukkan peningkatan konsisten di seluruh backbone Qwen3-4B, Qwen3-8B, dan Llama3-8B.
- Teknik ini mencapai peringkat rata-rata terbaik pada ketiga model yang diuji dengan memanfaatkan bukti yang sudah ada dalam input secara efektif.
ReContext mengatasi kesenjangan antara akses konteks dan pemanfaatan efektif, memungkinkan LLM untuk lebih memanfaatkan input panjang untuk tugas penalaran tanpa overhead pelatihan tambahan.