저자들은 Unreal Engine 5 프로젝트 내에서 범위가 지정된 C++ 구현 작업을 수행하는 코딩 에이전트를 평가하도록 설계된 벤치마크인 GameEngineBench를 소개합니다. 9개의 실제 게임 저장소에서 구축된 평가 세트는 게임플레이 메커니즘, 멀티플레이어 동작, AI, 애니메이션, UI 및 렌더링 플러그인을 다루는 110개의 작업으로 구성됩니다.
- 작업은 실행 가능한 Unreal Engine 프로젝트 내에서 컴파일되고 행동 테스트를 충족하는 네이티브 C++ 변경을 모델이 수행해야 합니다.
- 평가된 12가지 구성 전반에서 가장 강력한 모델은 pass@1율 55.5%를 달성했습니다.
- 테스트된 모든 구성에 의해 31개의 작업이 해결되지 않은 상태로 남아 있습니다.
이 결과는 최전선의 코딩 에이전트가 실시간 상호작용 소프트웨어를 위한 깊이 통합된 C++ 개발에서 여전히 어려움을 겪고 있음을 보여주며, 게임 엔진 벤치마크가 기존 소프트웨어 공학 평가에 가치 있는 보완재임을 강조합니다.