Emergence Prompt Engineering (EPE) 프로젝트는 더 광범위한 연구 프로그램을 위한 가장 작은 재현 가능한 실험으로 설계된 Reference Evaluation Object (REO) v1.5를 출시했습니다.
- REO는 모델이 승인되지 않은 오버라이드를 거부하면서도 구조적으로 동등한 정당한 업데이트는 수용할 수 있는지라는 단일 행동 가설에 중점을 둡니다.
- 이는 Canonical PCE, 길이 일치 구조적 중립 프롬프트, 의미적 파라프레이즈의 세 가지 프롬프트 조건 전반에 걸쳐 Resistance Score라는 주요 지표 하나를 활용합니다.
- 이 산출물에는 명시적인 통제 조건, 반증 기준, 투명한 점수 매김이 포함되어 있어 독립적인 재현과 도전을 가능하게 합니다.
- REO v1.5는 Behavioral Replication, Standard Experimental Protocol (SEP), Mechanistic Analysis를 포함한 후속 단계로의 진입점으로 작용합니다.
저자들은 EPE 프레임워크 전체를 한 번에 검증하기보다는 연구자들이 재현하거나 비판할 수 있는 공통 실험 대상을 확립하는 것을 목표로 합니다.