يقدم المؤلفون معيار Spider 2.0-AIFunc، وهو مجموعة من 465 حالة مؤكدة عبر 125 قاعدة بيانات حقيقية مصممة لتقييم نماذج text-to-SQL على وظائف SQL الأصلية للذكاء الاصطناعي ضمن منصة Snowflake.
- يغطي المعيار ستة أنواع من وظائف الذكاء الاصطناعي، بما في ذلك التصنيف، والتصفية، وتحليل المشاعر، والاستخراج، والبحث عن التشابه، والتجميع.
- تم بناء الحالات عبر خط أنابيب قائم على الوكلاء يعيد كتابة المهام المصدر إلى شكل أصلي للذكاء الاصطناعي مع تحسين التعليمات باللغة الطبيعية لتقليل الغموض.
- تمر جميع الحالات بروتوكول تنفيذ متكرر متعدد الجولات عبر نوافذ زمنية منفصلة لتأكيد استقرار النتائج قبل الإطلاق.
- تظهر التقييمات أن النماذج الخاصة تصل إلى دقة تنفيذ تتراوح بين 67-70%، بينما يحقق أفضل نموذج مفتوح المصدر 58.1%، مع فجوات مدفوعة بأخطاء في تحديد الشروط وتثبيت المخطط.
- لا تنتقل أطر الوكلاء التقليدية لـ text-to-SQL بشكل فعال إلى SQL الأصلي للذكاء الاصطناعي، حيث تتطابق الإعدادات الدنيا باستمرار أو تفوق البدائل الأكثر تعقيدًا.
يوفر هذا المعيار أول إشارة حول ما إذا كانت النماذج يمكنها توليد SQL أصلي للذكاء الاصطناعي، مما يعالج قيود المعايير الحالية التي تقيم فقط SQL التقليدي.