Os autores apresentam o Spider 2.0-AIFunc, um benchmark com 465 instâncias verificadas em 125 bancos de dados do mundo real, projetado para avaliar modelos text-to-SQL em funções SQL nativas para IA na plataforma Snowflake.
- O benchmark abrange seis tipos de funções de IA, incluindo classificação, filtragem, análise de sentimento, extração, busca por similaridade e agregação.
- As instâncias foram construídas por meio de um pipeline baseado em agentes que reescreve tarefas originais para o formato nativo da IA, ao mesmo tempo que refina as instruções em linguagem natural para reduzir a ambiguidade.
- Todas as instâncias passam por um protocolo de execução repetida em múltiplas rodadas, separadas temporalmente, para confirmar a estabilidade dos resultados antes do lançamento.
- As avaliações mostram que modelos proprietários alcançam 67-70% de precisão na execução, enquanto o melhor modelo de código aberto atinge 58,1%, com lacunas impulsionadas por erros na especificação de predicados e no mapeamento do esquema.
- Frameworks tradicionais de agentes para text-to-SQL não se transferem efetivamente para o SQL nativo da IA, pois configurações mínimas consistentemente igualam ou superam alternativas mais elaboradas.
Este benchmark fornece o primeiro sinal sobre a capacidade dos modelos de gerar SQL nativo para IA, abordando a limitação dos benchmarks existentes que avaliam apenas o SQL convencional.