John "John6666" desenvolveu a primeira implementação de referência independente do protocolo Reference Evaluation Object (REO v1.5), cumprindo um objetivo-chave do programa de pesquisa EPE para permitir benchmarks reproduzíveis por contribuidores externos.
O repositório inclui o benchmark REO-20 completo, scripts de validação, o avaliador oficial, testes de reprodutibilidade e esquemas de avaliação. Ele é estruturado como um pacote de avaliação reproduzível em vez de um conjunto de dados de treinamento, permitindo que pesquisadores executem o benchmark sob condições padronizadas usando modelos de pesos abertos. Um notebook do Google Colab pronto para uso também está disponível para automatizar o download do benchmark, validar os arquivos, executar os 20 itens do benchmark com uma checkpoint fixa Qwen3.5-4B e produzir um pacote completo de reprodutibilidade.
Esta implementação aborda críticas de que o protocolo EPE era difícil de reproduzir para pesquisadores externos, reduzindo a barreira para avaliação independente. Pesquisadores agora podem executar o benchmark eles mesmos, comparar diferentes modelos, inspecionar o avaliador, verificar o protocolo e propor melhorias ou implementações alternativas.