यह अध्ययन छोटे जमे हुए कोड मॉडल में स्व-मरम्मत फीडबैक के मूल्य को एक प्लेसबो-नियंत्रित डिज़ाइन का उपयोग करके विघटित करता है यह निर्धारित करने के लिए कि सुधार असफल कोड की पुनः एक्सपोज़र से आते हैं या निष्पादन योग्य आलोचना से। शोध उत्पन्न प्रोग्रामों को अनुमान मानकर और परीक्षण-निष्पादन उल्लंघनों को प्रति-उदाहरण मानकर मानक पुनः प्रयात तंत्र को चुनौती देता है।
- छह HumanEval+/MBPP+ सेल में 290 मृत टास्क-सेल इकाइयों का मूल्यांकन तीन 0.5B-1.5B जमे हुए मॉडल का उपयोग करके किया गया।
- अंधा पुनः सैंपलिंग ने नंगे कोड पुनः प्रयात से +18 शुद्ध अनलॉक से अधिक किया (p=0.0021)।
- कोड-प्लस-फैक्ट्स फीडबैक ने नंगे कोड पर +18 और एक सामान्य-प्लेसबो पर +15 की वापसी की।
- केवल निर्देश प्रभाव प्लेसबो से सांख्यिकीय रूप से भिन्न नहीं था।
- झूठापन बाहरी, निष्पादन योग्य प्रति-उदाहरणों के साथ तुलना के कारण मददगार रहा, न कि शब्दावली या स्व-आलोचना के कारण।
निष्कर्ष सुझाते हैं कि ऐसे तैनाती सेटिंग्स में जहां पुनः प्रशिक्षण असंभव है, फीडबैक का मूल्य केवल असफल आउटपुट के एक्सपोज़र से नहीं, बल्कि बाहरी, निष्पादन योग्य आलोचना से प्राप्त होता है।