John "John6666"은 외부 기여자가 재현 가능한 벤치마크를 가능하게 하는 EPE 연구 프로그램의 핵심 목표를 달성하기 위해, Reference Evaluation Object (REO v1.5) 프로토콜의 첫 번째 독립 참조 구현체를 개발했습니다.
저장소에는 완전한 REO-20 벤치마크, 검증 스크립트, 공식 스코어러, 재현성 테스트 및 평가 스키마가 포함되어 있습니다. 이는 훈련 데이터셋이 아니라 재현 가능한 평가 패키지로 구성되어 있어 연구자들이 오픈 가중치 모델을 사용하여 표준화된 조건 하에서 벤치마크를 실행할 수 있습니다. 또한 벤치마크 다운로드 자동화, 파일 검증, 고정된 Qwen3.5-4B 체크포인트로 20개 벤치마크 항목 실행 및 완전한 재현성 패키지 생성을 위해 바로 실행 가능한 Google Colab 노트북도 제공됩니다.
이 구현체는 EPE 프로토콜이 외부 연구자들에게 재현하기 어렵다는 비판에 대응하여 독립적인 평가의 장벽을 낮췄습니다. 이제 연구자들은 직접 벤치마크를 실행하고, 서로 다른 모델들을 비교하며, 스코어러를 검사하고, 프로토콜을 검증하며, 개선안이나 대체 구현체를 제안할 수 있습니다.