يقدم الباحثون PolyWorkBench، وهو معيار مصمم لتقييم وكلاء نماذج اللغة الكبيرة في سير العمل المهني متعدد اللغات لفترات زمنية طويلة. يعالج هذا الفجوة في المعايير الحالية التي تفترض عادةً إعدادات أحادية اللغة، بينما تتضمن التطبيقات الواقعية غالبًا مدخلات ومخرجات مختلطة اللغات.
- يتكون المعيار من 67 مهمة عبر خمسة مجالات: التجارة، والعمل المعرفي، والتحليل القانوني، والترجمة المحلية، والتصنيع.
- يُطلب من الوكلاء معالجة مدخلات متعددة اللغات غير متجانسة، وإجراء استدلال تكراري، واستدعاء أدوات خارجية، وإنتاج مخرجات هيكلية.
- تستخدم التقييم إطارًا هجينًا يجمع بين التدرج الهيكلي، والتحقق القابل للتنفيذ، والتقييم الدلالي القائم على LLM.
- تشير النتائج التجريبية إلى أن وكلاء LLM الأكثر تقدمًا يعانون من تدهور كبير في الأداء في الإعدادات متعددة اللغات مقارنة بالإعدادات أحادية اللغة.
تشير التحليلات إلى أن تعدد اللغات يقدم تأثيرات تراكمية عبر خطوات الاستدلال والتنفيذ، مما يسلط الضوء على الحاجة إلى نمذجة تنوع اللغة واتخاذ القرار الإجرائي معًا.