Les benchmarks actuels pour évaluer les grands modèles de langage (LLM) dans l'analyse de données peinent souvent à refléter les environnements réels en se concentrant sur la récupération de faits à partir de petits tableaux, tout en négligeant des défis tels que les ensembles de données multi-tableaux volumineux et la découverte d'informations exploratoires. Pour remédier à cela, les auteurs présentent DataGovBench, un benchmark dérivé de données ouvertes gouvernementales conçu pour évaluer les LLM dans des scénarios pratiques.
- La tâche Table QA nécessite de résoudre des questions complexes décomposables et de produire des réponses textuelles ou des visualisations.
- La tâche Table Insight évalue la capacité des modèles à générer des résultats de niveau expert grâce à l'analyse exploratoire des données.
- Des expériences complètes avec des LLM de pointe, avec et sans frameworks agents, révèlent d'importants écarts de performance sur les deux tâches.
Ces résultats suggèrent que les systèmes actuels basés sur les LLM sont encore loin de satisfaire les exigences de l'analyse de données réelles. DataGovBench fournit un benchmark exigeant pour faire avancer la recherche sur les LLM capables à la fois de répondre aux requêtes analytiques et de découvrir des informations à partir des données.