John "John6666" ha desarrollado la primera implementación de referencia independiente del protocolo Reference Evaluation Object (REO v1.5), cumpliendo un objetivo clave del programa de investigación EPE para permitir benchmarks reproducibles por contribuyentes externos.
El repositorio incluye el benchmark completo REO-20, scripts de validación, el evaluador oficial, pruebas de reproducibilidad y esquemas de evaluación. Está estructurado como un paquete de evaluación reproducible en lugar de un conjunto de datos de entrenamiento, permitiendo a los investigadores ejecutar el benchmark bajo condiciones estandarizadas utilizando modelos de peso abierto. También está disponible un cuaderno Google Colab listo para ejecutarse que automatiza la descarga del benchmark, valida los archivos, ejecuta los 20 elementos del benchmark con una checkpoint fija Qwen3.5-4B y produce un paquete completo de reproducibilidad.
Esta implementación aborda las críticas de que el protocolo EPE era difícil de reproducir para investigadores externos, reduciendo la barrera para la evaluación independiente. Los investigadores ahora pueden ejecutar el benchmark ellos mismos, comparar diferentes modelos, inspeccionar el evaluador, verificar el protocolo y proponer mejoras o implementaciones alternativas.