Sinyal LLM-as-a-judge gagal mengoptimalkan pengenalan tabel loop tertutup

Sebuah studi menggunakan FinTabNet dan OmniDocBench menunjukkan bahwa sinyal LLM-as-a-judge tidak cukup untuk mengoptimalkan regenerasi loop tertutup dalam pengenalan tabel. Penelitian mengungkapkan bahwa skor hakim sering kali seri, peringkat tidak dapat direproduksi, dan sistem gagal memulihkan kandidat yang lebih baik yang dihasilkan oleh iterasi.

• Sinyal hakim menunjukkan kinerja lemah, dengan kebijakan seleksi mengalahkan acak hanya karena aturan seri daripada kualitas skor aktual.
• Kerugian parah terjadi bahkan tanpa umpan balik hakim spesifik, terkait kegagalan pelestarian target di bawah regenerasi tanpa batasan.
• Instruksi pelestarian struktur mengurangi tingkat kerugian parah tetapi tidak meningkatkan hasil keseluruhan ketika umpan balik hakim dipertahankan.

Temuan menunjukkan bahwa kemampuan evaluasi tidak menyiratkan utilitas optimisasi, menyarankan bahwa penyempurnaan iteratif memerlukan sinyal verifikasi deterministik daripada hanya mengandalkan skor hakim LLM.