यह कार्य बड़े भाषा मॉडलों के लिए बजट-जागरूक परीक्षण-समय मॉडल चयन को परिभाषित करता है, प्रति-क्वेरी लागत बजट के एकल उपयोग के रूप में प्रतिबद्ध मॉडल का पुनः नमूनाकरण और वैकल्पिक की ओर रीराउटिंग को प्रतिस्पर्धी उपयोग मानता है। लेखकों ने एक अनुमानित इकाई लागत पर मार्जिनल सहीता द्वारा संचालित ऑनलाइन रिसेम्पल-ऑर-रीराउट (RoR) आवंटन नीति प्रस्तावित की है ताकि एक अपूर्ण सत्यापक दिए जाने पर अपेक्षित सहीता को अधिकतम किया जा सके।
- रीप्ले प्रयोगों में चार बेंचमार्क्स पर ग्यारह-मॉडल ओपन-वेट पूल से पुनः उत्पन्न मल्टी-ड्रॉ सहीता टेंसर का उपयोग किया जाता है।
- RoR नीति सिंगल-रूट, वन-कमिट-रोटर, बजट-अवेयर बेस्ट-ऑफ-K, कैस्केड और रैंडम-एलोकेशन आधार रेखाओं के सापेक्ष एक अनुकूल लागत-गुणवत्ता पारेतो फ्रंट प्राप्त करती है।
- लाभ सबसे विषम बेंचमार्क पर सबसे अधिक होता है और सत्यापक-गेटेड होता है, जैसे-जैसे सत्यापक की गुणवत्ता खराब होती है, यह संकुचित होता जाता है।
- प्रदाता मूल्य सदिश और लेबल-फ्री सहमति सत्यापक के तहत दृढ़ता रीप्ले इस बात को रेखांकित करते हैं कि निष्कर्ष कहाँ लागू होते हैं।
यह दृष्टिकोण आदर्श सहीता लेबल की आवश्यकता के बिना बजट आवंटन को अनुकूलित करके तैनात रोटर और प्रति-उदाहरण ऑरेकल के बीच अंतराल को संबोधित करता है।