Para peneliti mengusulkan Augmentasi Hadiah Lagrangian (LARA), sebuah kerangka kerja untuk mengarahkan model bahasa beku selama dekoding di bawah batasan keamanan eksplisit tanpa pembaruan bobot berulang. LARA mendualkan batasan tersebut untuk mengurangi optimisasi menjadi masalah cembung satu dimensi, menghasilkan hadiah yang ditambah yang berfungsi sebagai sinyal skor drop-in untuk metode yang ada.
- Metode ini berasal dari tujuan terkendali terregularisasi KL menggunakan model hadiah dan biaya.
- Metode ini memperkirakan variabel dual pada set kalibrasi kecil untuk mendefinisikan hadiah yang ditambah.
- Untuk pengambilan sampel tingkat sekuens seperti reranking Best-of-N, variabel tersebut menyelesaikan masalah dengan batasan biaya yang diharapkan.
- Untuk dekoding tingkat token, metode ini menyediakan heuristik yang dikalibrasi secara dual secara prinsip.
LARA meningkatkan tradeoff kemanfaatan dan ketidakberbahayaan, dengan kinerja Best-of-N mendekati baseline penyesuaian langsung berbasis fine-tuning.