Emergence Prompt Engineering (EPE) परियोजना ने अपने व्यापक शोध कार्यक्रम के लिए सबसे छोटे पुनरुत्पादित प्रयोग के रूप में डिज़ाइन किए गए Reference Evaluation Object (REO) v1.5 को जारी किया है।
- REO एकल व्यवहारिक परिकल्पना पर केंद्रित है: क्या कोई मॉडल एक अनधिकृत ओवरराइड को अस्वीकार करते हुए संरचनात्मक रूप से समतुल्य वैध अपडेट को स्वीकार कर सकता है।
- यह तीन प्रॉम्प्ट स्थितियों में Resistance Score नामक एक प्राथमिक मीट्रिक का उपयोग करता है: Canonical PCE, लंबाई-मैच्ड संरचनात्मक तटस्थ प्रॉम्प्ट, और अर्थव्यापी पराफ़्रेज़।
- आर्टिफैक्ट में स्पष्ट नियंत्रण स्थितियाँ, फल्सिफिकेशन मानदंड और पारदर्शी स्कोरिंग शामिल हैं ताकि स्वतंत्र पुनरुत्पादन और चुनौती की अनुमति मिल सके।
- REO v1.5 बाद के चरणों के लिए प्रवेश बिंदु के रूप में कार्य करता है, जिनमें Behavioral Replication, Standard Experimental Protocol (SEP), और Mechanistic Analysis शामिल हैं।
लेखक एक सामान्य प्रयोगात्मक वस्तु स्थापित करना चाहते हैं जिसे शोधकर्ता पुनरुत्पादित या आलोचना कर सकें, न कि पूरे EPE फ्रेमवर्क को एक साथ वैलिडेट करना।