GameEngineBench 评估编码智能体在 Unreal Engine 5 C++ 任务上的表现

作者推出了 GameEngineBench，这是一个基准测试，旨在评估编码智能体在 Unreal Engine 5 项目范围内 C++ 实现任务上的表现。该评估集由来自九个真实游戏仓库的 110 个任务组成，涵盖游戏玩法机制、多人行为、AI、动画、UI 和渲染插件。

• 这些任务要求模型进行原生 C++ 更改，使其在可执行的 Unreal Engine 项目中编译并通过行为测试。
• 在评估的十二种配置中，最强的模型达到了 55.5% 的 pass@1 率。
• 有 31 个任务在所有测试的配置中均未解决。

结果表明，前沿编码智能体在处理实时交互软件的深度集成 C++ 开发方面仍然面临困难，凸显了游戏引擎基准测试作为现有软件工程评估的重要补充价值。