हांग कांग यूनिवर्सिटी का MMLab UniClawBench पेश करता है, जो एक क्षमता-केंद्रित बेंचमार्क है जो गतिशील, वास्तविक दुनिया के सेटिंग्स में प्रोएक्टिव एजेंट्स का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह लाइव Docker कंटेनर्स और छिपे हुए सुपरवाइजर एजेंट्स के साथ एक बंद-लूप मूल्यांकन रणनीति का उपयोग करके मौजूदा बेंचमार्क्स की सीमाओं को दूर करता है।
- पाँच मौलिक क्षमताओं के चारों ओर बनाया गया: कौशल उपयोग, अन्वेषण, लंबे-संदर्ब तर्क, बहुआयामी समझ और क्रॉस-प्लेटफ़ॉर्म समन्वय।
- 400 द्विभाषी वास्तविक कार्यों को शामिल करता है जिनका मूल्यांकन बारीक, चरण-दर-चरण पूर्णता चेकप्वाइंट्स के माध्यम से किया जाता है।
- एक्ज़ेक्यूटर, छिपे हुए सुपरवाइजर और यूजर एजेंट्स के साथ एक बंद-लूप रणनीति का उपयोग करता है ताकि ग्रेडिंग मानदंडों को लीक किए बिना मल्टी-टर्न फीडबैक की नकल की जा सके।
- बेस मॉडल क्षमताओं को फ्रेमवर्क डिज़ाइन चयनों से अलग करने के लिए कई फ्रेमवर्क्स के तहत state-of-the-art मॉडल्स का मूल्यांकन करता है।
बेंचमार्क का उद्देश्य शोधकर्ताओं को एजेंट विफलताओं की मूल वजहों की पहचान करने और समझने में मदद करना है कि बेस मॉडल्स और फ्रेमवर्क्स मिलकर प्रदर्शन को कैसे आकार देते हैं।