एक पूर्व-पंजीकृत अध्ययन PoPE (Popperian Placebo-controlled Evaluation) पेश करता है यह परीक्षण करने के लिए कि क्या विशिष्ट त्रुटि जानकारी जमी हुई छोटे कोड LLMs को उनकी अपनी गलतियों की मरम्मत करने में मदद करती है। विधि निष्पादन प्रति-उदाहरणों को चैनल-विशिष्ट प्लेसबो के साथ जोड़ती है ताकि प्रॉम्प्ट और वजन चैनलों दोनों में त्रुटि सामग्री के प्रभाव को संरचनात्मक ढांचे से अलग किया जा सके।
- प्रॉम्प्ट चैनल में, 40-इकाई प्रतिरोधी बैंड पर जीवित त्रुटि-पैटर्न भुजा के तहत 10 की तुलना में सामग्री-अभ्लेटेड रूप प्लेसबो के तहत 12 इकाइयां अनलॉक हुईं, जिससे यंत्र-शून्य निष्कर्ष मिला।
- छोटे-डेटा एडाप्टर प्रशिक्षण का उपयोग करते हुए वजन चैनल में, त्रुटि-सामग्री एडाप्टर और हस्तक्षेप-मुक्त आधार रेखा के बीच 8-8 बराबरी देखी गई (p=1.0)।
- SHA-deranged प्लेसबो एडाप्टर 10 अनलॉक्स के साथ आगे रहा, जबकि सामग्री-योग्य श्रेष्ठता की पुष्टि नहीं हुई।
निष्कर्ष संकेत करते हैं कि जब ऑरेकल से सीखी गई प्रतिनिधित्व को पुनः जनरेशन स्थिति में लिखा जाता है, तो परीक्षण को संचालनात्मक स्व-मरम्मत के बजाय शर्तात्मक बनाने से बदल दिया जाता है।