Os autores apresentam o GameEngineBench, um benchmark projetado para avaliar agentes de codificação em tarefas de implementação de C++ escopadas dentro de projetos do Unreal Engine 5. Construído a partir de nove repositórios de jogos do mundo real, o conjunto de avaliação consiste em 110 tarefas cobrindo mecânicas de jogo, comportamento multiplayer, IA, animação, UI e plugins de renderização.
- As tarefas exigem que os modelos façam alterações nativas em C++ que compilen e satisfaçam testes comportamentais dentro de projetos executáveis do Unreal Engine.
- Entre doze configurações avaliadas, o modelo mais forte alcança uma taxa de pass@1 de 55.5%.
- 31 tarefas permanecem não resolvidas por todas as configurações testadas.
Os resultados demonstram que agentes de codificação de ponta continuam tendo dificuldades com o desenvolvimento de C++ profundamente integrado para software interativo em tempo real, destacando benchmarks de motores de jogo como um complemento valioso às avaliações existentes de engenharia de software.