John « John6666 » a développé la première implémentation de référence indépendante du protocole Reference Evaluation Object (REO v1.5), réalisant un objectif clé du programme de recherche EPE visant à permettre des benchmarks reproductibles par des contributeurs externes.
Le dépôt inclut le benchmark REO-20 complet, les scripts de validation, le scorer officiel, les tests de reproductibilité et les schémas d'évaluation. Il est structuré comme un package d'évaluation reproductible plutôt que comme un jeu de données d'entraînement, permettant aux chercheurs d'exécuter le benchmark dans des conditions standardisées à l'aide de modèles à poids ouverts. Un notebook Google Colab prêt à l'emploi est également disponible pour automatiser le téléchargement du benchmark, valider les fichiers, exécuter les 20 éléments du benchmark avec un checkpoint Qwen3.5-4B fixe et produire un package de reproductibilité complet.
Cette implémentation répond aux critiques selon lesquelles le protocole EPE était difficile à reproduire pour les chercheurs externes, abaissant ainsi la barrière à l'entrée pour l'évaluation indépendante. Les chercheurs peuvent désormais exécuter le benchmark eux-mêmes, comparer différents modèles, inspecter le scorer, vérifier le protocole et proposer des améliorations ou des implémentations alternatives.