लेखकों ने SynthAVE प्रस्तुत किया, जो एक बड़े पैमाने पर बेंचमार्क है विशेषता मान निकालने के लिए जिसे ई-कॉमर्स में मानव लेबलिंग के उच्च खर्च को दूर करने के लिए डिज़ाइन किया गया है। डेटासेट 229 उत्पाद प्रकारों, 792 विशेषताओं और चार भाषाओं में 12,726 उत्पादों को कवर करता है।
- मान्यकरण एक मल्टी-LLM एरिना फ्रेमवर्क का उपयोग करता है जहाँ नमूनों का मूल्यांकन 21 जज कॉन्फ़िगरेशन (7 मॉडल परिवार × 3 प्रॉम्प्ट) द्वारा किया जाता है।
- अंतिम लेबल बहुमत वोटिंग के माध्यम से निर्धारित किए जाते हैं, जो Cohen's κ=0.92 पर मानव विशेषज्ञों से सहमत होते हैं।
- व्यक्तिगत जज Fleiss' κ=0.76 के साथ महत्वपूर्ण इंटर-मॉडल सहयोग दिखाते हैं।
यह दृष्टिकोण प्रदर्शित करता है कि विविध मॉडल अत्यंत विश्वसनीय भविष्यवाणी में एकीकृत हो सकते हैं, जिससे गुणवत्ता की समानता बनाए रखते हुए स्केल पर लागत-प्रभावी मान्यकरण संभव होता है।