Sebuah studi menyelidiki bagaimana desain fungsi reward memengaruhi kualitas model proses bisnis yang dihasilkan oleh model bahasa besar menggunakan pembelajaran penguatan. Para peneliti melatih model Llama 3.1 8B dan Qwen 2.5 14B di bawah 48 konfigurasi untuk mengoptimalkan kualitas sintaksis, pragmatik, dan semantik.
- RL secara signifikan meningkatkan kualitas pragmatik dan sintaksis sambil mempertahankan kesetiaan semantik, mengurangi variabilitas output lebih dari enam kali lipat.
- Pemberian bobot reward yang setara secara konsisten unggul dibandingkan pemberian bobot tertarget, karena menekankan dimensi tertentu dapat menjatuhkan model ke mode berkualitas rendah.
- Pilihan desain berinteraksi secara non-trivial dengan arsitektur model; misalnya, penalti ketidakvalidan dan efek inisialisasi SFT berbeda antara Llama dan Qwen.
Temuan ini menunjukkan bahwa komposisi reward adalah penentu utama hasil optimisasi, dengan efek yang sebanding dengan keputusan untuk menerapkan RL itu sendiri.