लेखकों ने Spider 2.0-AIFunc पेश किया है, जो 125 वास्तविक डेटाबेसों में 465 सत्यापित उदाहरणों पर आधारित एक बेंचमार्क है, जिसका डिज़ाइन Snowflake प्लेटफ़ॉर्म के भीतर एआई-नेटिव SQL फ़ंक्शन्स पर टेक्स्ट-टू-SQL मॉडल का मूल्यांकन करने के लिए किया गया है।
- इस बेंचमार्क में वर्गीकरण, फ़िल्टरिंग, भावना विश्लेषण, निष्कर्षण, समानता खोज और संचयन सहित छह प्रकार के एआई फ़ंक्शन्स शामिल हैं।
- उदाहरणों का निर्माण एक एजेंट-आधारित पाइपलाइन के माध्यम से किया गया है, जो स्रोत कार्यों को एआई-नेटिव रूप में पुनर्लेखित करता है और अस्पष्टता कम करने के लिए प्राकृतिक भाषा निर्देशों को परिष्कृत करता है।
- सभी उदाहरण रिलीज़ से पहले परिणाम स्थिरता की पुष्टि करने के लिए कालिक रूप से पृथक विंडो में बहु-चक्र दोहराए गए निष्पादन प्रोटोकॉल को पास करते हैं।
- मूल्यांकन दिखाते हैं कि प्रतिष्ठित मॉडल 67-70% निष्पादन सटीकता प्राप्त करते हैं, जबकि सर्वश्रेष्ठ ओपन-सोर्स मॉडल 58.1% प्राप्त करता है, और अंतर प्रेडिकेट निर्दिष्टीकरण और स्कीमा ग्राउंडिंग में त्रुटियों के कारण होता है।
- टेक्स्ट-टू-SQL के लिए पारंपरिक एजेंट फ़्रेमवर्क एआई-नेटिव SQL पर प्रभावी रूप से स्थानांतरित नहीं होते हैं, क्योंकि न्यूनतम सेटअप लगातार अधिक जटिल विकल्पों को बराबर या बेहतर साबित होते हैं।
यह बेंचमार्क पहली बार यह संकेत प्रदान करता है कि क्या मॉडल एआई-नेटिव SQL उत्पन्न कर सकते हैं, जो मौजूदा बेंचमार्क्स की उस सीमा को दूर करता है जो केवल पारंपरिक SQL का मूल्यांकन करते हैं।