शोधकर्ता एक बेंचमार्क पेश करते हैं ताकि यह मूल्यांकन किया जा सके कि LLM एजेंट्स कैसे अनुकूलित होते हैं जब उपलब्ध टूल्स की विश्वसनीयता एक चल रहे सत्र के दौरान मौन रूप से बदल जाती है। फ्रेमवर्क रीडंडेंसी के साथ टूल-स्किल लाइब्रेरीज़ माउंट करता है और छिपी हुई सीमाओं पर विश्वसनीय टूल समूह को शिफ्ट करने के लिए एक शाखित शेड्यूल का उपयोग करता है।
- एजेंट्स डिफ़ॉल्ट रूप से प्रत्येक सीमा के कुछ टर्न के भीतर एक छोटी दोहराई जाने वाली रूटीन पर स्थिर होने की ओर झुकाव रखते हैं, कॉल शेयर को विविक्त मानों पर केंद्रित करते हुए।
- सेट-शिफ्टिंग सटीकता को प्रत्येक पोस्ट-शिफ्ट विंडो में लक्ष्य टूल समूह की ओर रूट करने की संयुक्त प्रायिकता के रूप में स्कोर किया जाता है।
- ओपन-सोर्स एजेंटिक हार्नेस में ओपन-वेट LLMs का परीक्षण करने से समान रूटीन के पार गुणात्मक रूप से भिन्न फेल्योर मोड्स सामने आते हैं।
- अध्ययन पाता है कि सेट फ्रेमिंग, टूल्स को प्रतिस्पर्धी या पूरक के रूप में प्रस्तुत करना, रूटिंग गतिशीलता को शिफ्ट करता है।
यह मूल्यांकन विशिष्ट फेल्योर मोड्स और छिपी हुई विश्वसनीयता शिफ्ट्स का सामना करते समय एजेंट व्यवहार पर टूल प्रस्तुतीकरण के प्रभाव को उजागर करता है।