लेखकों ने GameEngineBench पेश किया, एक बेंचमार्क जो Unreal Engine 5 प्रोजेक्ट्स में सीमित C++ इम्प्लीमेंटेशन कार्यों पर कोडिंग एजेंट्स का मूल्यांकन करने के लिए डिज़ाइन किया गया है। नौ वास्तविक दुनिया के गेम रिपॉजिटरी से बना, इस मूल्यांकन सेट में 110 कार्य शामिल हैं जो गेमप्ले मैकेनिक्स, मल्टीप्लेयर व्यवहार, AI, एनीमेशन, UI और रेंडरिंग प्लगइन्स को कवर करते हैं।
- कार्यों के लिए मॉडल्स से नेटिव C++ बदलाव करने की आवश्यकता होती है जो executable Unreal Engine प्रोजेक्ट्स के भीतर कंपाइल हों और व्यवहारिक परीक्षणों को संतुष्ट करें।
- बारह मूल्यांकन किए गए कॉन्फ़िगरेशन में, सबसे शक्तिशाली मॉडल ने pass@1 दर 55.5% हासिल की।
- 31 कार्य परीक्षण की गई सभी कॉन्फ़िगरेशन द्वारा हल किए बिना रह गए।
परिणाम दिखाते हैं कि फ्रंटियर कोडिंग एजेंट्स रियल-टाइम इंटरैक्टिव सॉफ्टवेयर के लिए गहराई से इंटीग्रेटेड C++ डेवलपमेंट के साथ संघर्ष करते रहते हैं, जो मौजूदा सॉफ्टवेयर इंजीनियरिंग मूल्यांकनों के लिए वैल्यूएबल कॉम्प्लीमेंट के रूप में गेम-इंजन बेंचमार्क्स को हाईलाइट करता है।