Un estudio que utiliza FinTabNet y OmniDocBench demuestra que las señales de LLM-as-a-judge son insuficientes para optimizar la regeneración en bucle cerrado en el reconocimiento de tablas. La investigación revela que las puntuaciones de los jueces frecuentemente empataron, los rangos no fueron reproducibles y el sistema falló al recuperar mejores candidatos producidos por la iteración.
- Las señales de los jueces mostraron un rendimiento débil, con políticas de selección que superaban lo aleatorio solo debido a reglas de empate en lugar de la calidad real de las puntuaciones.
- Se produjeron pérdidas severas incluso sin retroalimentación específica del juez, vinculadas al fallo en la preservación del objetivo bajo regeneración no restringida.
- Las instrucciones que preservan la estructura redujeron las tasas de pérdida severa pero no mejoraron los resultados generales cuando se mantuvo la retroalimentación del juez.
Los hallazgos indican que la capacidad de evaluación no implica utilidad de optimización, sugiriendo que el refinamiento iterativo requiere señales de verificación deterministas en lugar de depender únicamente de las puntuaciones de LLM-as-a-judge.