تظهر دراسة تستخدم FinTabNet و OmniDocBench أن إشارات LLM-as-a-jridge غير كافية لتحسين إعادة التوليد في حلقة مغلقة في التعرف على الجداول. تكشف الأبحاث أن درجات الحكام كانت متعادلة في كثير من الأحيان، ولم تكن التصنيفات قابلة للتكرار، وفشل النظام في استعادة المرشحين الأفضل الذين تم إنتاجهم عن طريق التكرار.
- أظهرت إشارات الحكام أداءً ضعيفًا، حيث تفوقت سياسات الاختيار على العشوائية فقط بسبب قواعد التعادل بدلاً من جودة الدرجة الفعلية.
- حدثت خسائر شديدة حتى بدون ملاحظات حكام محددة، مرتبطة بفشل الحفاظ على الهدف تحت إعادة التوليد غير المقيد.
- قللت تعليمات الحفاظ على الهيكل من معدلات الخسائر الشديدة لكنها لم تحسن النتائج الإجمالية عندما تم الاحتفاظ بملاحظات الحكام.
تشير النتائج إلى أن القدرة على التقييم لا تعني فائدة التحسين، مما يشير إلى أن التحسين التكراري يتطلب إشارات تحقق حتمية بدلاً من الاعتماد فقط على درجات حكم LLM.