يقدم الباحثون معيارًا لتقييم كيفية تكيف وكلاء LLM عندما تتغير موثوقية الأدوات المتاحة بصمت أثناء جلسة جارية. يقوم الإطار بتحميل مكتبات مهارات الأدوات مع تكرارات ويستخدم جدولًا متشعبًا لنقل مجموعة الأدوات الموثوقة عند حدود مخفية.
- يميل الوكلاء إلى الاستقرار على روتين متكرر صغير خلال بضع دورات من كل حد، مركزين حصة المكالمات على قيم منفصلة.
- تُقيَّم دقة تحويل المجموعة على أنها الاحتمال المشترك للتوجيه إلى مجموعة الأدوات المستهدفة في كل نافذة ما بعد التحويل.
- يكشف اختبار نماذج LLM مفتوحة الأوزان في إطار عمل وكلاء مفتوح المصدر عن أنماط فشل مميزة نوعيًا عبر نفس الروتين.
- وجدت الدراسة أن صياغة المجموعة، بتقديم الأدوات كمنافسة أو مكملة، يغير ديناميكيات التوجيه.
يبرز هذا التقييم أنماط فشل محددة وتأثير عرض الأدوات على سلوك الوكلاء عند مواجهة تحولات الموثوقية المخفية.