लेखकों ने एक फ्रेमवर्क प्रस्तावित किया है जहां मूल्यांकन मेट्रिक्स और एजेंट कौशल सह-विकसित होते हैं, जिससे विश्वसनीय पूर्व-अस्तित्व वाले मेट्रिक्स की अनुपस्थिति में स्व-सुधार संभव होता है। यह दृष्टिकोण छोटे दोष डिटेक्टरों के संयोजन को खोजने के लिए एक विकासशील जीवन चक्र का उपयोग करता है, जिससे एक पारदर्शी और निरीक्षण योग्य मेट्रिक्स बनाया जाता है जो एंकर किए गए संदर्भ सेट्स से सहमत होता है।
- मेट्रिक्स लूप को दस-आइटम वाले एंकर किए गए संदर्भ सेट के साथ सहमत होने के लिए प्रशिक्षित किया गया है और बिना लेबल वाले आउटपुट पर सहमति द्वारा नियमित किया गया है।
- Double Ratchet कोड जनरेशन (MBPP+), उद्योग पाठ-से-SQL (Spider~2.0-Snow) और रिपोर्ट जनरेशन में जीवन चक्र-प्रबंधित कौशल लूप के साथ मेट्रिक्स का सह-विकास करता है।
- सिस्टम ground truth या सर्वोत्तम उपलब्ध रूब्रिक द्वारा संचालित कौशल लूपों द्वारा हासिल किए गए 88--110% हल्के-बाहर लिफ्ट को बनाए रखता है।
- सुरक्षा एंकर अनुशासन और बाहरी ऑडिट के माध्यम से बनाए रखी जाती है, जहां एक स्वतंत्र न्यायाधीश रिपोर्ट जनरेशन कार्यों में खेली गई रूब्रिक्स को पकड़ता है।
लेखकों का तर्क है कि यह विफलता-अपेक्षित आर्किटेक्चर उन अनुप्रयोगों के लिए सही डिफ़ॉल्ट के रूप में कार्य करता है जहां कोई विश्वसनीय स्वचालित सत्यापक मौजूद नहीं है।