लेखकों ने FinResearchBench II प्रस्तुत किया, जो वित्तीय गहन शोध एजेंट्स के लिए उच्च-गुणवत्ता वाले मूल्यांकन रूब्रिक्स उत्पन्न करने के लिए एक स्केलेबल पाइपलाइन है, जिसमें अंतिम लूप में मानवीय विशेषज्ञों की आवश्यकता नहीं होती। बेंचमार्क 104 वास्तविक-दुनिया उपयोगकर्ता क्वेरीज़ से बनाया गया है और मॉडल-जनरेटेड रिपोर्ट्स से स्वचालित रूप से 14,450 उम्मीदवार रूब्रिक्स संश्लेषित करता है।
- LLM-आधारित मूल्यांकन सहयोगात्मक एकमत आइटम पर मानवीय विशेषज्ञों के साथ 98.67% लेवल-स्तर सहमति प्रदर्शित करता है, जिससे बड़े-पैमाने की स्क्रीनिंग के लिए इसके उपयोग की पुष्टि होती है।
- सहमति-निष्पन्न गोल्ड रूब्रिक्स एक कठोर संगतता फ़िल्टर और एक भेदभावनीयता फ़िल्टर का उपयोग करके प्राप्त किए जाते हैं, जिससे 2,600 अंतिम रूब्रिक्स प्राप्त होते हैं।
- बेंचमार्क 10 गहन शोध प्रणालियों के बीच स्पष्ट रूप से भिन्न रैंकिंग उत्पन्न करता है, जिसमें आइटल-स्तर पास दरें 58.58% से 22.23% तक होती हैं।
यह दृष्टिकोण रूब्रिक्स जनरेशन और मूल्यांकन से मानवीय विशेषज्ञ निष्पादन को हटा देता है, जिससे यह बेंचमार्क मूल्यांकन, स्वचालित प्रणाली तुलना और मूल्यांकन-संचालित प्रणाली सुधार के भविष्य के अध्ययनों के लिए प्राकृतिक रूप से स्केलेबल बन जाता है।