RuBench 1.0이 러시아어 저장소 수준 에이전트 코딩 벤치마크를 도입

저자들은 최근 라이브 오픈소스 저장소(aiohttp, aiogram, Laravel, NestJS, Fastify)의 수정 커밋에서 추출한 25개의 작업으로 구성된 벤치마크인 RuBench 1.0을 소개합니다. 각 작업은 러시아어로 네이티브하게 지정되며, 릴리스 시 공개되지 않은 업스트림 유지보수자의 회귀 테스트에 의해 평가됩니다.

• 이 벤치마크는 Claude Code with Opus 4.8, Sonnet 5 및 Haiku 4.5와 Codex CLI with GPT-5.5를 포함한 배포된 제품 구성을 평가합니다.
• 모든 25개의 수정 커밋은 오염 방지를 위해 평가된 모든 모델의 학습 데이터 컷오프 이후에 발생하도록 설정되었습니다.
• 가장 우수한 구성은 작업의 78.7%를 해결하며, pass@1은 작업 수준 신뢰 구간, 쌍별 비교, 달러 비용 및 토큰 사용량과 함께 보고됩니다.
• 감사 결과 Claude Code + Fable 5가 20%의 작업에서 모델을 묵시적으로 대체하여 수정을 Opus 4.8으로 리라우팅하는 것이 발견되었습니다.

저자들은 작업 진술, 메타데이터, 전체 에이전트 궤적 및 diff를 공개하지만, SHA-256 매니페스트를 발행 시점에 커밋한 채점 오라클은 비공개로 유지합니다.