शोधकर्ताओं ने PolyWorkBench पेश किया, एक बेंचमार्क जो बहुभाषी दीर्घकालिक कार्यस्थल प्रवाहों पर बड़े भाषा मॉडल एजेंट्स का मूल्यांकन करने के लिए डिज़ाइन किया गया है। यह मौजूदा बेंचमार्क्स में अंतराल को दूर करता है जो आमतौर पर एकभाषी सेटिंग्स मानते हैं, जबकि वास्तविक दुनिया के अनुप्रयोगों में मिश्रित-भाषा इनपुट और आउटपुट शामिल होते हैं।
- बेंचमार्क पाँच डोमेन में 67 कार्यों को शामिल करता है: व्यापार, ज्ञान कार्य, कानूनी विश्लेषण, स्थानीयकरण और विनिर्माण।
- एजेंट्स से विषम बहुभाषी इनपुट प्रक्रिया करने, पुनरावृत्त तर्क करना, बाहरी टूल्स को इन्वोक करना और संरचित आउटपुट उत्पन्न करने की आवश्यकता होती है।
- मूल्यांकन संरचनात्मक ग्रेडिंग, निष्पादन योग्य सत्यापन और LLM-आधारित अर्थशास्त्रीय मूल्यांकन को जोड़ने वाले एक हाइब्रिड फ्रेमवर्क का उपयोग करता है।
- प्रायोगिक परिणाम संकेत देते हैं कि राज्य-की-अंतर्गत LLM एजेंट्स एकभाषी सेटिंग्स की तुलना में बहुभाषी सेटिंग्स में महत्वपूर्ण प्रदर्शन ह्रास का अनुभव करते हैं।
विश्लेषण सुझाव देता है कि बहुभाषिकता तर्क और निष्पादन चरणों के पार संचयी प्रभावों को पेश करती है, भाषा विविधता और प्रक्रियात्मक निर्णय लेने के संयुक्त मॉडलिंग की आवश्यकता को उजागर करते हुए।