शोधकर्ताओं ने MECoBench पेश किया, एक बहुआयामी एम्बॉडेड सहयोग बेंचमार्क जो दृश्यतः आधारित वातावरण में बहुआयामी बड़े भाषा मॉडलों (MLLMs) की सहकारी क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया है। प्लेटफ़ॉर्म विविध वास्तविक-दुनिया कार्यों को कवर करता है और सहयोग की दो संरचनाओं के साथ-साथ तीन अलग-अलग सहयोग मोड शामिल हैं।
- व्यापक प्रयोगों से पता चलता है कि, हालांकि सहयोग सामान्यतः कार्य पूर्ति में सुधार करता है, लाभ लाभ और समन्वय जटिलता के बीच संतुलन पर निर्भर करते हैं।
- संचार को सहयोग की सफलता के लिए आवश्यक पहचाना गया है, जिसमें इष्टतम मोड टीम के आकार और मॉडल क्षमता के आधार पर भिन्न होते हैं।
- बेंचमार्क दिखाता है कि सहयोग शोर वाले प्रायर और अन्वेषण स्थितियों के तहत दृढ़ता को बढ़ाता है।
MECoBench बहुआयामी एम्बॉडेड सहयोग की तंत्रों और सीमाओं को समझने के लिए एक व्यवस्थित टेस्टबेड प्रदान करता है।