Сигналы LLM-as-a-judge не оптимизируют закрытый цикл распознавания таблиц

Исследование с использованием FinTabNet и OmniDocBench демонстрирует, что сигналы LLM-as-a-judge недостаточны для оптимизации замкнутого цикла регенерации при распознавании таблиц. Исследование показывает, что оценки судей часто оказывались равными, рейтинги не были воспроизводимыми, а система не смогла восстановить лучшие кандидаты, созданные итерацией.

• Сигналы судей показали слабую эффективность; политики отбора превосходили случайный выбор лишь из-за правил разрешения ничьих, а не из-за качества самих оценок.
• Серьезные потери возникали даже без специфической обратной связи от судьи, что связано с нарушением сохранения целевых данных при неконтролируемой регенерации.
• Инструкции по сохранению структуры снизили частоту серьезных потерь, но не улучшили общие результаты при сохранении обратной связи от судьи.

Выводы указывают на то, что способность к оценке не означает полезности для оптимизации; это предполагает, что итеративное уточнение требует детерминированных сигналов проверки, а не полагается исключительно на оценки LLM-as-a-judge.