Whetstone, जो मॉडलों और एजेंट्स के लिए एक ओपन-सोर्स प्रमोशन गेट है, के निर्माता वास्तविक मॉडल अपडेट के खिलाफ इस टूल का परीक्षण करने के लिए उपयोगकर्ताओं की तलाश कर रहे हैं। Whetstone छिपी हुई रिग्रेशन को पहचानने के लिए जोड़े गए आइटम-स्तर के परिणामों की तुलना करता है, जिन्हें एग्रीगेट स्कोर छोड़ सकते हैं।
- यह पुनरुत्पादक PASS, HOLD, या BLOCK रसीदें उत्पन्न करने के लिए सटीक महत्व परीक्षण लागू करता है।
- एक स्थानीय परीक्षण में, इसने एक बराबरी वाली बेलाइन में तीन लाभ और तीन रिग्रेशन की पहचान की, जिससे उम्मीदवार को ब्लॉक कर दिया गया।
- होस्टेड संस्करण डिस्पोजेबल इनपुट के लिए स्टेटलेस है, जबकि वास्तविक परीक्षण डेटा को निजी रखने के लिए स्थानीय रूप से चलाए जाते हैं।
- लेखक बेस मॉडल, फाइन-ट्यून्स, या एजेंट अपडेट वाले बिल्डर्स को अपने मान्यताओं को चुनौती देने के लिए आमंत्रित करता है।
लक्ष्य उन असुविधाजनक मामलों को खोजना है जहाँ गेट गलत उत्तर देता है या अमूर्त बन जाता है।