FinTabNet과 OmniDocBench를 사용한 연구는 LLM-as-a-judge 신호가 표 인식에서 폐루프 재생을 최적화하는 데 불충분함을 보여줍니다. 이 연구는 심사 점수가 자주 동점이었고, 순위가 재현 불가능했으며, 시스템이 반복으로 생성된 더 나은 후보를 복구하지 못했음을 드러냈습니다.
- 심사 신호는 약한 성능을 보였으며, 선택 정책은 무작위보다 우월했으나 이는 실제 점수 품질이 아닌 동점 규칙 때문이었습니다.
- 제약 없는 재생 하에서 대상 보존 실패와 관련되어 특정 심사 피드백 없이도 심각한 손실이 발생했습니다.
- 구조 보존 지침은 심각한 손실률을 줄였지만, 심사 피드백이 유지된 경우 전체 결과는 개선되지 않았습니다.
이 결과는 평가 능력이 최적화 유용성을 의미하지 않음을 나타내며, 반복적 정제에는 LLM 심사 점수에 의존하는 것이 아니라 결정론적 검증 신호가 필요함을 시사합니다.