作者推出了Spider 2.0-AIFunc，这是一个包含125个真实数据库上465个已验证实例的基准测试，旨在评估Snowflake平台上AI原生SQL函数的文本到SQL模型。

  • 该基准测试涵盖六种类型的AI函数，包括分类、过滤、情感分析、提取、相似性搜索和聚合。
  • 实例通过基于智能体的管道构建，将源任务重写为AI原生形式，同时优化自然语言指令以减少歧义。
  • 所有实例在发布前均通过跨时间分离窗口的多轮重复执行协议，以确认结果稳定性。
  • 评估显示，专有模型的执行准确率达到67-70%，而最佳开源模型达到58.1%，差距主要由谓词规范和模式接地中的错误导致。
  • 传统的文本到SQL智能体框架无法有效迁移至AI原生SQL，因为极简设置始终匹配或优于更复杂的替代方案。

该基准测试提供了关于模型能否生成AI原生SQL的首个信号，解决了现有基准测试仅评估传统SQL的局限性。