John "John6666" 开发了参考评估对象(REO v1.5)协议的首个独立参考实现,实现了 EPE 研究计划中通过外部贡献者实现可复现基准测试的关键目标。

该仓库包含完整的 REO-20 基准测试、验证脚本、官方评分器、可复现性测试和评估模式。它被构建为一个可复现的评估包,而非训练数据集,允许研究人员使用开放权重模型在标准化条件下执行基准测试。此外,还提供即开即用的 Google Colab 笔记本,用于自动化下载基准测试、验证文件、使用固定的 Qwen3.5-4B 检查点运行 20 个基准测试项,并生成完整的可复现性包。

该实现解决了外界对 EPE 协议难以由外部研究人员复现的批评,降低了独立评估的门槛。研究人员现在可以自行运行基准测试、比较不同模型、检查评分器、验证协议,并提出改进方案或替代实现。