Para peneliti memperkenalkan Frequency-Corrected Prompt Alignment (FCPA), sebuah formulasi baru dari konsistensi generator-penilai yang mengatasi kesenjangan G-V dalam model bahasa besar. Metode ini menerapkan koreksi prinsip berdasarkan frekuensi ucapan, menyelesaikan masalah di mana generator memberikan likelihood rendah pada string valid hanya karena string tersebut tidak mungkin terjadi sebelumnya.

  • FCPA mengimplementasikan tujuan pelatihan berdasarkan konsistensi G-V yang dikoreksi frekuensi untuk LLM dunia nyata.
  • Pelatihan dengan FCPA secara substansial meningkatkan konsistensi G-V dan kinerja generator dibandingkan metode sebelumnya.
  • Pendekatan ini menghasilkan peningkatan hingga +27pp dalam korelasi Pearson pada benchmark IFEval dan HumanEval.
  • Kualitas penilai dipertahankan di semua tugas yang dievaluasi meskipun terdapat peningkatan kinerja generator.

Para penulis menganggap hal ini penting karena memberikan mekanisme yang kuat untuk menyelaraskan proses generasi dan validasi, menghasilkan keluaran model yang lebih andal tanpa mengurangi kemampuan penilai.