Emergence Prompt Engineering (EPE)プロジェクトは、より広範な研究プログラムのための最小の再現可能な実験として設計されたReference Evaluation Object (REO) v1.5をリリースしました。

  • REOは、モデルが不正な上書きを拒否しつつ、構造的に同等な正当な更新を受け入れることができるかどうかという、単一の行動仮説に焦点を当てています。
  • これは、Canonical PCE、長さ一致の構造的ニュートラルプロンプト、意味的なパラフレーズの3つのプロンプト条件全体で、Resistance Scoreという主要な1つの指標を利用しています。
  • この成果物には、明示的な制御条件、反証基準、透明なスコアリングが含まれており、独立した再現と検証を可能にします。
  • REO v1.5は、Behavioral Replication、Standard Experimental Protocol (SEP)、Mechanistic Analysisを含む後続の段階への入り口として機能します。

著者たちは、EPEフレームワーク全体を一度に検証するのではなく、研究者が再現または批判できる共通の実験対象を確立することを目指しています。