Proyek Emergence Prompt Engineering (EPE) telah merilis Reference Evaluation Object (REO) v1.5, yang dirancang sebagai eksperimen terkecil yang dapat direproduksi untuk program riset yang lebih luas.

  • REO berfokus pada satu hipotesis perilaku: apakah sebuah model dapat menolak override yang tidak sah sambil menerima pembaruan yang sah secara struktural setara.
  • Ini memanfaatkan satu metrik utama, Resistance Score, di seluruh tiga kondisi prompt: Canonical PCE, prompt netral terstruktur yang dipadankan panjangnya, dan parafrasa semantik.
  • Artefak ini mencakup kondisi kontrol eksplisit, kriteria falsifikasi, dan skor transparan untuk memungkinkan reproduksi dan tantangan independen.
  • REO v1.5 berfungsi sebagai titik masuk untuk tahap-tahap selanjutnya termasuk Behavioral Replication, Standard Experimental Protocol (SEP), dan Mechanistic Analysis.

Para penulis bertujuan untuk menetapkan objek eksperimen umum yang dapat direproduksi atau dikritik oleh peneliti, alih-alih memvalidasi seluruh kerangka kerja EPE sekaligus.