Para penulis memperkenalkan GameEngineBench, sebuah benchmark yang dirancang untuk mengevaluasi agen pemrograman pada tugas implementasi C++ dalam cakupan tertentu di dalam proyek Unreal Engine 5. Dibangun dari sembilan repositori game dunia nyata, set evaluasi terdiri dari 110 tugas yang mencakup mekanik gameplay, perilaku multiplayer, AI, animasi, UI, dan plugin rendering.
- Tugas-tugas ini mengharuskan model untuk melakukan perubahan C++ native yang dikompilasi dan memenuhi uji perilaku di dalam proyek Unreal Engine yang dapat dieksekusi.
- Di seluruh dua belas konfigurasi yang dievaluasi, model terkuat mencapai tingkat pass@1 sebesar 55,5%.
- 31 tugas tetap belum terpecahkan oleh setiap konfigurasi yang diuji.
Hasil-hasil tersebut menunjukkan bahwa agen pemrograman terdepan terus berjuang dengan pengembangan C++ yang terintegrasi secara mendalam untuk perangkat lunak interaktif waktu nyata, menyoroti benchmark mesin game sebagai pelengkap berharga bagi evaluasi rekayasa perangkat lunak yang ada.