John "John6666"は、外部貢献者による再現可能なベンチマークの実現というEPE研究プログラムの主要な目標を達成するものとして、Reference Evaluation Object (REO v1.5) プロトコルの初の独立した参照実装を開発しました。

リポジトリには、完全なREO-20ベンチマーク、検証スクリプト、公式スコアラー、再現性テスト、および評価スキーマが含まれています。これはトレーニングデータセットではなく再現可能な評価パッケージとして構成されており、オープンウェイトモデルを使用して標準化された条件下でベンチマークを実行できるようになっています。また、ベンチマークのダウンロード自動化、ファイルの検証、固定されたQwen3.5-4Bチェックポイントを用いた20のベンチマーク項目の実行、および完全な再現性パッケージの生成を自動化する実行準備完了済みのGoogle Colabノートブックも利用可能です。

この実装は、EPEプロトコルが外部研究者にとって再現が困難であるという批判に対処し、独立した評価の障壁を低下させました。研究者は今やベンチマークを自身で実行し、異なるモデルを比較し、スコアラーを検査し、プロトコルを検証し、改善案や代替実装を提案することができます。