Sinais de LLM-as-a-judge falham em otimizar o reconhecimento de tabelas em loop fechado

Um estudo usando FinTabNet e OmniDocBench demonstra que os sinais de LLM-as-a-judge são insuficientes para otimizar a regeneração em loop fechado no reconhecimento de tabelas. A pesquisa revela que as pontuações dos juízes frequentemente empataram, os rankings não foram reproduzíveis e o sistema falhou em recuperar melhores candidatos produzidos pela iteração.

• Os sinais dos juízes mostraram desempenho fraco, com políticas de seleção superando o aleatório apenas devido a regras de empate em vez da qualidade real das pontuações.
• Perdas severas ocorreram mesmo sem feedback específico do juiz, ligadas à falha na preservação do alvo sob regeneração não restrita.
• Instruções que preservam a estrutura reduziram as taxas de perda severa, mas não melhoraram os resultados gerais quando o feedback do juiz foi mantido.

As descobertas indicam que a capacidade de avaliação não implica utilidade de otimização, sugerindo que o refinamento iterativo requer sinais de verificação determinísticos em vez de depender apenas das pontuações de LLM-as-a-judge.