Los autores presentan Spider 2.0-AIFunc, un benchmark de 465 instancias verificadas en 125 bases de datos del mundo real diseñado para evaluar modelos text-to-SQL en funciones SQL nativas para IA dentro de la plataforma Snowflake.
- El benchmark cubre seis tipos de funciones de IA, incluyendo clasificación, filtrado, análisis de sentimiento, extracción, búsqueda por similitud y agregación.
- Las instancias se construyeron mediante una pipeline basada en agentes que reescribe tareas fuente a formato nativo para IA mientras refina las instrucciones en lenguaje natural para reducir la ambigüedad.
- Todas las instancias pasan un protocolo de ejecución repetida en múltiples rondas a través de ventanas temporalmente separadas para confirmar la estabilidad de los resultados antes de su lanzamiento.
- Las evaluaciones muestran que los modelos propietarios alcanzan una precisión de ejecución del 67-70%, mientras que el mejor modelo de código abierto logra 58.1%, con brechas impulsadas por errores en la especificación de predicados y el anclaje del esquema.
- Los frameworks de agentes tradicionales para text-to-SQL no se transfieren eficazmente al SQL nativo para IA, ya que configuraciones mínimas coinciden o superan consistentemente a alternativas más elaboradas.
Este benchmark proporciona la primera señal sobre si los modelos pueden generar SQL nativo para IA, abordando la limitación de los benchmarks existentes que solo evalúan SQL convencional.