Para peneliti mengusulkan Tail-Aware Credit calibratiOn (TACO), sebuah metode yang mengatasi mode kegagalan "Kontaminasi Kredit Positif" dalam pembelajaran penguatan tanpa kritikus untuk model bahasa besar. Masalah ini muncul ketika penugasan kredit seragam memperkuat token probabilitas rendah yang salah secara tidak pandang bulu bersama dengan token yang masuk akal.
- TACO menghitung skor risiko ekor berdasarkan konteks generasi lokal untuk membedakan kelangkaan yang tidak terduga dari eksplorasi yang didorong oleh ketidakpastian.
- Metode ini menyetel kredit positif untuk token berisiko, secara bertahap meredam kebisingan insidental sambil memungkinkan pola langka yang berguna dan berulang untuk mengakumulasi penguatan.
- Eksperimen di tiga LLM dan delapan benchmark menunjukkan TACO secara konsisten mengungguli baseline gaya GRPO.
- Pendekatan ini meningkatkan stabilitas pelatihan, mendukung peningkatan kinerja berkelanjutan dalam RL jangka panjang.
Para penulis menganggap ini penting karena mengurangi penguatan perilaku penalaran yang cacat, memungkinkan pembelajaran yang lebih stabil dan efektif untuk tugas penalaran kompleks.