PoPE विधि का उपयोग करते हुए एक पूर्व-पंजीकृत, प्लेसबो-नियंत्रित मूल्यांकन ने पाया कि स्व-मरम्मत के दौरान जमी हुई छोटे कोड मॉडलों को त्रुटि सामग्री प्रदान करने से कोई संचालनात्मक लाभ नहीं हुआ। अध्ययन में विफल कार्यक्रमों को अनुमान माना गया और निष्पादन प्रति-उदाहरणों को खंडन के रूप में, यह परीक्षण किया गया कि क्या इस असत्यकारी साक्ष्य का मॉडल द्वारा उपयोग किया जा सकता है।
- प्रॉम्प्ट चैनल में, सामग्री-अवमूल्यित प्लेसबो ने प्रतिरोधी बैंड पर लाइव त्रुटि-पैटर्न आर्म की तुलना में 12 इकाई अनलॉक की, जिससे तंत्र-शून्य निष्कर्ष मिला।
- भार चैनल में छोटे-डेटा एडाप्टर प्रशिक्षण का उपयोग करते हुए, त्रुटि-सामग्री एडाप्टर और आधार रेखा के बीच 8-8 बराबरी देखी गई (p=1.0)।
- SHA-विकृत प्लेसबो एडाप्टर 10 अनलॉक्स के साथ आगे रहा, लेकिन सामग्री-अनुपात श्रेष्ठता की पुष्टि नहीं हुई।
लेखकों का तर्क है कि जब ऑरेकल से सीखी गई प्रतिनिधित्व को पुनः उत्पादन अवस्था में लिखा जाता है, तो परीक्षण को संचालनात्मक सुधार के बजाय शर्तबंदी द्वारा प्रतिस्थापित कर दिया जाता है।