लेख में वर्तमान मॉडल मूल्यांकन विधियों की अक्षमता को दूर करने के लिए कठोर स्थिर-आकार वाले बेंचमार्क के स्थान पर क्रमिक परीक्षण पर आधारित एक अनुकूली मूल्यांकन ढांचे का प्रस्ताव दिया गया है।
- यह ढांचा क्रमिक परीक्षण को घटते प्रतिफल और न्यूनतम पता लगाए जा सकने वाले प्रभाव आकार के पता लगाने के लिए अनुकूलित रोकने के मानदंडों के साथ जोड़ता है।
- यह मॉडल रैंकिंग या चयन जैसे विभिन्न उद्देश्यों के लिए आवश्यक सांख्यिकीय शक्ति के भिन्न स्तरों की अनुमति देता है।
- Open VLM Leaderboard पर प्रदर्शन स्थिर-आकार वाले मूल्यांकन की तुलना में सांख्यिकीय महत्व बनाए रखते हुए कंप्यूटेशनल लागत में 80% की कमी दिखाते हैं।
यह दक्षता और विश्वसनीयता के बीच समझौते का एक सिद्धांतवादी तरीका प्रदान करता है, अत्यधिक लागत या compromised विश्वसनीयता को रोकता है।