लेखक ने भाषा मॉडल के प्रमाण संतृप्ति बिंदु (k*) को मापने के लिए Hugging Face पर एक पायलट पेपर और एक खुली रजिस्ट्री प्रकाशित की है। यह मेट्रिक प्रॉम्प्ट्स में इंजेक्ट करने के लिए प्रमाण खंडों की इष्टतम संख्या निर्धारित करता है, क्योंकि अधिक संदर्भ जोड़ने से सटीकता एकवचन रूप से नहीं बढ़ती और लागत या ज्ञानात्मक दूषित होना बढ़ सकता है।
- अध्ययन पाता है कि कार्य प्रकार के आधार पर सटीकता-इष्टतम k की सीमा 1 से लेकर पूर्ण प्रमाण सेट तक होती है, जो सुझाव देती है कि एकल संदर्भ प्रोफ़ाइल अपर्याप्त है।
- पेपर से 35 कार्य-स्तर मापों के साथ Hugging Face पर एक खुला Evidence-k Registry बनाया गया है।
- रजिस्ट्री स्थानीय-मॉडल ऑपरेटरों को मॉडल संशोधनों, क्वांटीकरणों, सेवा backend और विश्वसनीयता मेट्रिक्स को दस्तावेज़ीकृत करके योगदान देने के लिए आमंत्रित करता है।
यह पहल प्रत्येक मॉडल और backend के लिए संदर्भ विंडो को कैलिब्रेट करने के लिए एक पुनरुत्पादक प्रोटोकॉल प्रदान करने का उद्देश्य रखती है ताकि सटीकता और दक्षता के बीच संतुलन बनाया जा सके।