LLM-as-a-judge 信号无法优化闭环表格识别

一项使用 FinTabNet 和 OmniDocBench 的研究表明，LLM-as-a-judge 信号对于优化表格识别中的闭环再生是不足的。研究揭示，评委分数经常持平，排名不可复现，且系统未能恢复由迭代产生的更好候选者。

• 评委信号表现较弱，选择策略优于随机选择仅因平局规则而非实际分数质量。
• 即使在缺乏特定评委反馈的情况下也发生了严重损失，这与无约束再生下的目标保留失败有关。
• 保持结构的指令降低了严重损失率，但在保留评委反馈时并未改善整体结果。

研究结果表明，评估能力并不意味着优化效用，这表明迭代细化需要确定性验证信号，而不是仅依赖 LLM-as-a-judge 分数。