著者らは、Unreal Engine 5プロジェクト内のスコープ指定されたC++実装タスクにおいてコーディングエージェントを評価するために設計されたベンチマークであるGameEngineBenchを紹介する。9つの実世界のゲームリポジトリから構築された評価セットは、ゲームプレイメカニクス、マルチプレイヤー動作、AI、アニメーション、UI、レンダリングプラグインをカバーする110のタスクで構成されている。

  • タスクには、実行可能なUnreal Engineプロジェクト内でコンパイルされ、行動テストを満たすネイティブC++の変更を行うことがモデルに要求される。
  • 12の評価された構成全体で、最良のモデルはpass@1率55.5%を達成した。
  • 31のタスクはテストされたすべての構成によって未解決のまま残っている。

結果は、最先端のコーディングエージェントがリアルタイムインタラクティブソフトウェアのための深く統合されたC++開発で引き続き苦戦していることを示しており、ゲームエンジンベンチマークが既存のソフトウェアエンジニアリング評価にとって貴重な補完であることを浮き彫りにしている。