FinTabNet और OmniDocBench का उपयोग करने वाला एक अध्ययन दिखाता है कि LLM-as-a-judge संकेत तालिका पहचान में बंद-लूप पुनर्जनन को अनुकूलित करने के लिए अपर्याप्त हैं। शोध से पता चलता है कि जजों के स्कोर अक्सर टाई होते थे, रैंकिंग पुनरुत्पादक नहीं थीं, और सिस्टम पुनरावृत्ति द्वारा उत्पन्न बेहतर उम्मीदवारों को पुनर्प्राप्त करने में विफल रहा।
- जज संकेतों ने कमजोर प्रदर्शन दिखाया, चयन नीतियां यादृच्छिक से केवल टाई नियमों के कारण वास्तविक स्कोर गुणवत्ता के बजाय बेहतर थीं।
- विशिष्ट जज फीडबैक के बिना भी गंभीर हानि हुई, जो असीमित पुनर्जनन के तहत लक्ष्य-संरक्षण विफलता से जुड़ी है।
- संरचना-संरक्षण निर्देशों ने गंभीर-हानि दरों को कम किया लेकिन जब जज फीडबैक बनाए रखा गया तो समग्र परिणामों में सुधार नहीं हुआ।
निष्कर्ष इंगित करते हैं कि मूल्यांकन क्षमता का अर्थ अनुकूलन उपयोगिता नहीं है, यह सुझाव देते हुए कि पुनरावृत्ति संशोधन के लिए निर्धारक सत्यापन संकेतों की आवश्यकता होती है, न कि केवल LLM-as-a-judge स्कोर पर निर्भर रहना।