Para penulis memperkenalkan Spider 2.0-AIFunc, sebuah benchmark dari 465 instance terverifikasi di seluruh 125 basis data dunia nyata yang dirancang untuk mengevaluasi model text-to-SQL pada fungsi SQL asli AI dalam platform Snowflake.
- Benchmark ini mencakup enam jenis fungsi AI, termasuk klasifikasi, pemfilteran, analisis sentimen, ekstraksi, pencarian kesamaan, dan agregasi.
- Instance dibangun melalui pipeline berbasis agen yang menulis ulang tugas sumber ke bentuk asli AI sambil menyempurnakan instruksi bahasa alami untuk mengurangi ambiguitas.
- Semua instance lulus protokol eksekusi berulang multi-putaran di jendela yang dipisahkan secara temporal untuk mengkonfirmasi stabilitas hasil sebelum dirilis.
- Evaluasi menunjukkan bahwa model proprietary mencapai akurasi eksekusi 67-70%, sementara model open-source terbaik mencapai 58,1%, dengan kesenjangan yang didorong oleh kesalahan dalam spesifikasi predikat dan grounding skema.
- Framework agen tradisional untuk text-to-SQL tidak mentransfer secara efektif ke SQL asli AI, karena pengaturan minimal secara konsisten setara atau mengungguli alternatif yang lebih rumit.
Benchmark ini memberikan sinyal pertama tentang apakah model dapat menghasilkan SQL asli AI, mengatasi keterbatasan benchmark yang ada yang hanya mengevaluasi SQL konvensional.