Les auteurs présentent GameEngineBench, un benchmark conçu pour évaluer les agents de codage sur des tâches d'implémentation C++ à périmètre défini au sein de projets Unreal Engine 5. Construit à partir de neuf dépôts de jeux réels, l'ensemble d'évaluation comprend 110 tâches couvrant les mécaniques de jeu, le comportement multijoueur, l'IA, l'animation, l'interface utilisateur et les plugins de rendu.
- Les tâches exigent que les modèles apportent des modifications C++ natives qui se compilent et satisfont aux tests comportementaux au sein de projets Unreal Engine exécutables.
- Parmi douze configurations évaluées, le modèle le plus performant atteint un taux pass@1 de 55,5 %.
- 31 tâches restent non résolues par toutes les configurations testées.
Les résultats démontrent que les agents de codage de pointe continuent d'avoir des difficultés avec le développement C++ profondément intégré pour les logiciels interactifs en temps réel, mettant en évidence les benchmarks de moteurs de jeu comme un complément précieux aux évaluations existantes en génie logiciel.