माइक्रोसॉफ्ट रिसर्च ने MindTopo पेश किया है, एक नया बेंचमार्क जो इस बात का मूल्यांकन करने के लिए डिज़ाइन किया गया है कि क्या बहुआयामी बड़े भाषण मॉडल (multimodal large language models) कनेक्टिविटी, एन्क्लोजर, ऑर्डर, सेपरेशन और नॉट्स के संबंध में टोपोलॉजिकल अंतर्ज्ञान रखते हैं।

  • बेंचमार्क कार्यों को पांच श्रेणियों में व्यवस्थित करता है: कंटिन्यूइटी, सेपरेशन, ऑर्डर, एन्क्लोजर और नॉट्स।
  • यह दो संज्ञानात्मक स्तरों पर प्रदर्शन मापता है: स्थिर दृश्यों पर तर्कशक्ति और इंटरैक्टिव क्रियाओं के अनुक्रम के माध्यम से योजना बनाना।
  • सटीक ग्राउंड ट्रुथ और समायोज्य कठिनाई प्रदान करने के लिए सभी दृश्य नियंत्रित सिमुलेटर से उत्पन्न किए गए हैं।
  • वर्तमान मॉडल स्थिर पहचान कार्यों पर इंटरैक्टिव प्लानिंग कार्यों की तुलना में काफी बेहतर प्रदर्शन करते हैं।
  • योजना बनाने में विफलता अक्सर तब होती है जब दृश्य बदलने के दौरान संरचनात्मक संबंधों को खो दिया जाता है या भौतिक बाधाओं का उल्लंघन करने वाले कार्यों का प्रस्ताव रखा जाता है।

इन निष्कर्षों से स्थिर छवि में टोपोलॉजी को पहचानने और कार्य करते समय उसकी समझ बनाए रखने के बीच एक महत्वपूर्ण अंतर उजागर होता है, जो रोबोटिक्स और इंटरैक्टिव वातावरण के लिए AI सिस्टम को आगे बढ़ाने का अवसर सुझाता है।