Para penulis memperkenalkan REAR, sebuah kerangka kerja baru yang memperluas skalasi saat pengujian (TTS) ke penyesuaian preferensi dengan memodelkan tugas sebagai masalah penyesuaian kembali. Pendekatan ini mengatasi keterbatasan metode TTS yang ada, yang biasanya terbatas pada domain yang dapat diverifikasi seperti matematika dan pemrograman.
- REAR menguraikan fungsi imbalan menjadi dua komponen: satu terkait dengan pertanyaan dan lainnya terkait informasi preferensi.
- Metode ini menurunkan Imbalan Penyesuaian Kembali (REAR) yang secara selektif menskalakan kembali proporsi kedua istilah imbalan ini.
- REAR diformulasikan sebagai kombinasi linear dari log-probabilitas kebijakan tingkat token, memastikan efisiensi komputasi.
- Ini terintegrasi dengan mudah ke berbagai algoritma TTS, termasuk pengambilan sampel best-of-N dan pencarian pohon.
- Eksperimen menunjukkan skalabilitas untuk beragam kebutuhan pengguna dan generalisasi ke tugas matematika dan visual.
Kerangka kerja ini memungkinkan penyesuaian kembali saat pengujian yang dapat diskalakan untuk tugas penyesuaian preferensi di bawah berbagai kebutuhan pengguna tanpa memerlukan kurasi data yang mahal atau pelatihan tambahan.