शोधकर्ताओं ने CDR-Bench पेश किया, एक बेंचमार्क जो इस बात का मूल्यांकन करने के लिए डिज़ाइन किया गया है कि क्या बड़े भाषा मॉडल बहु-चरण डेटा रीफाइनमेंट रेसिपी को सीधे और विश्वसनीय रूप से निष्पादित कर सकते हैं जहां संयोजन और क्रम महत्वपूर्ण हैं। इस बेंचमार्क में चार डोमेन और 29 ऑपरेटरों के across 3,462 कार्य शामिल हैं, सटीक मूल्यांकन के लिए निर्धारक संदर्भ आउटपुट का उपयोग करते हुए।
- 10 से अधिक state-of-the-art LLMs पर प्रयोगों ने संयोजक सेटिंग्स में निरंतर विफलता पैटर्न दिखाए हैं।
- जब कार्यों को संयोजन की आवश्यकता होती है तो प्रदर्शन तेजी से गिर जाता है, और क्रम-संवेदनशील रेसिपी के लिए सफलता दरें ध्वस्त हो जाती हैं।
- बेंचमार्क विशिष्ट रूप से प्रक्रियात्मक विश्वसनीयता का परीक्षण करने के लिए टेक्स्ट संपादन को कोड निष्पादन से अलग करता है।
ये निष्कर्ष संकेत देते हैं कि वर्तमान मॉडलों में विश्वसनीय संयोजक डेटा रीफाइनमेंट के लिए आवश्यक प्रक्रियात्मक विश्वसनीयता की कमी है।