Los autores presentan GameEngineBench, un benchmark diseñado para evaluar agentes de codificación en tareas de implementación de C++ acotadas dentro de proyectos de Unreal Engine 5. Construido a partir de nueve repositorios de juegos del mundo real, el conjunto de evaluación consta de 110 tareas que cubren mecánicas de juego, comportamiento multijugador, IA, animación, UI y plugins de renderizado.
- Las tareas requieren que los modelos realicen cambios nativos en C++ que se compilen y satisfagan las pruebas de comportamiento dentro de proyectos ejecutables de Unreal Engine.
- Entre doce configuraciones evaluadas, el modelo más fuerte logra una tasa de pass@1 del 55.5%.
- 31 tareas permanecen sin resolver por todas las configuraciones probadas.
Los resultados demuestran que los agentes de codificación de vanguardia siguen teniendo dificultades con el desarrollo de C++ profundamente integrado para software interactivo en tiempo real, destacando los benchmarks de motores de juego como un complemento valioso a las evaluaciones existentes de ingeniería de software.