Джон «John6666» разработал первую независимую эталонную реализацию протокола Reference Evaluation Object (REO v1.5), выполнив ключевую цель исследовательской программы EPE по обеспечению воспроизводимости бенчмарков внешними участниками.
Репозиторий включает полный бенчмарк REO-20, скрипты валидации, официальный оценщик, тесты на воспроизводимость и схемы оценки. Он структурирован как пакет для воспроизводимой оценки, а не как обучающий набор данных, что позволяет исследователям запускать бенчмарк в стандартизированных условиях с использованием моделей с открытыми весами. Также доступен готовый к запуску блокнот Google Colab, который автоматизирует скачивание бенчмарка, валидацию файлов, выполнение 20 тестовых заданий бенчмарка с фиксированным чекпоинтом Qwen3.5-4B и создание полного пакета воспроизводимости.
Эта реализация устраняет критику в адрес протокола EPE, указывающую на сложность его воспроизведения внешними исследователями, снижая порог входа для независимой оценки. Исследователи теперь могут самостоятельно запускать бенчмарк, сравнивать различные модели, изучать оценщик, проверять протокол и предлагать улучшения или альтернативные реализации.