Os benchmarks atuais para avaliar Grandes Modelos de Linguagem (LLMs) em análise de dados frequentemente falham em refletir configurações do mundo real, focando na recuperação de fatos de tabelas pequenas enquanto ignoram desafios como conjuntos de dados multi-tabulares grandes e a descoberta de insights exploratórios. Para abordar isso, os autores introduzem o DataGovBench, um benchmark derivado de dados abertos governamentais projetado para avaliar LLMs em cenários práticos.
- A tarefa Table QA requer resolver perguntas complexas decomponíveis e produzir respostas textuais ou visualizações.
- A tarefa Table Insight avalia a capacidade dos modelos de gerar descobertas de nível especialista por meio de análise exploratória de dados.
- Experimentos abrangentes com LLMs de última geração, tanto com quanto sem frameworks agênticos, revelam lacunas significativas de desempenho em ambas as tarefas.
Esses resultados sugerem que os sistemas atuais baseados em LLM estão longe de satisfazer as demandas da análise de dados do mundo real. O DataGovBench fornece um benchmark desafiador para avançar a pesquisa em LLMs capazes de responder a consultas analíticas e descobrir insights a partir de dados.