تحلل هذه الدراسة قيمة تغذية الراجعة للإصلاح الذاتي في نماذج الكود المجمدة الصغيرة باستخدام تصميم محكوم بالملاهم لتحديد ما إذا كانت التحسينات تنبع من إعادة التعرض للكود الفاشل أم من النقد القابل للتنفيذ. تتحدى الأبحاث آلية إعادة المحاولة القياسية عن طريق معاملة البرامج المولدة على أنها تخمينات ومخالفة تنفيذ الاختبار كأمثلة مضادة.
- تم تقييم 290 وحدة خلية مهمة ميتة عبر ست خلايا HumanEval+/MBPP+ باستخدام ثلاثة نماذج مجمدة بحجم 0.5B-1.5B.
- تجاوز إعادة أخذ العينات الأعمى إعادة محاولة الكود العاري بـ +18 فتح صافي (p=0.0021).
- استعاد تغذية الراجعة بالكود والحقائق +18 فوق الكود العاري و+15 فوق ملاهم generic-bullet.
- لم يكن تأثير التعليمات فقط قابلاً للتمييز إحصائياً عن الملاهم.
- ساعد التزوير كمقارنة مع أمثلة مضادة خارجية قابلة للتنفيذ بدلاً من المفردات أو النقد الذاتي.
تشير النتائج إلى أن قيمة التغذية الراجعة في إعدادات النشر حيث يكون إعادة التدريب غير ممكن، تنبع من نقد خارجي قابل للتنفيذ بدلاً من مجرد التعرض للمخرجات الفاشلة.