Les auteurs présentent Spider 2.0-AIFunc, un benchmark de 465 instances vérifiées sur 125 bases de données réelles conçu pour évaluer les modèles text-to-SQL sur les fonctions SQL natives pour l'IA au sein de la plateforme Snowflake.
- Le benchmark couvre six types de fonctions IA, notamment la classification, le filtrage, l'analyse des sentiments, l'extraction, la recherche par similarité et l'agrégation.
- Les instances ont été construites via un pipeline basé sur des agents qui réécrit les tâches sources sous une forme native pour l'IA tout en affinant les instructions en langage naturel pour réduire l'ambiguïté.
- Toutes les instances passent un protocole d'exécution répétée multi-tours sur des fenêtres temporellement séparées pour confirmer la stabilité des résultats avant la publication.
- Les évaluations montrent que les modèles propriétaires atteignent une précision d'exécution de 67 à 70 %, tandis que le meilleur modèle open-source atteint 58,1 %, les écarts étant dus à des erreurs dans la spécification des prédicats et l'ancrage du schéma.
- Les frameworks d'agents traditionnels pour text-to-SQL ne se transfèrent pas efficacement vers le SQL natif pour l'IA, car des configurations minimales correspondent ou surpassent systématiquement des alternatives plus élaborées.
Ce benchmark fournit le premier signal sur la capacité des modèles à générer du SQL natif pour l'IA, répondant ainsi à la limite des benchmarks existants qui n'évaluent que le SQL conventionnel.