Une étude utilisant FinTabNet et OmniDocBench démontre que les signaux LLM-as-a-judge sont insuffisants pour optimiser la régénération en boucle fermée dans la reconnaissance de tableaux. La recherche révèle que les scores des juges étaient fréquemment à égalité, les classements n'étaient pas reproductibles et le système a échoué à récupérer les meilleurs candidats produits par itération.
- Les signaux des juges ont montré une performance faible, les politiques de sélection battant le hasard uniquement en raison des règles d'égalité plutôt que de la qualité réelle du score.
- Des pertes sévères se sont produites même sans feedback spécifique des juges, liées à l'échec de la préservation de la cible sous une régénération non contrainte.
- Les instructions de préservation de la structure ont réduit les taux de pertes sévères mais n'ont pas amélioré les résultats globaux lorsque le feedback des juges a été conservé.
Les résultats indiquent que la capacité d'évaluation n'implique pas l'utilité d'optimisation, suggérant que le raffinement itératif nécessite des signaux de vérification déterministes plutôt que de s'appuyer uniquement sur les scores des juges LLM.