Los benchmarks actuales para evaluar Grandes Modelos de Lenguaje (LLMs) en análisis de datos a menudo no reflejan entornos reales al centrarse en la recuperación de hechos de tablas pequeñas mientras pasan por alto desafíos como conjuntos de datos multi-tabulares grandes y el descubrimiento de insights exploratorios. Para abordar esto, los autores presentan DataGovBench, un benchmark derivado de datos abiertos gubernamentales diseñado para evaluar LLMs en escenarios prácticos.
- La tarea Table QA requiere resolver preguntas complejas descomponibles y producir respuestas textuales o visualizaciones.
- La tarea Table Insight evalúa la capacidad de los modelos para generar hallazgos de nivel experto a través del análisis exploratorio de datos.
- Experimentos integrales con LLMs de última generación, tanto con como sin frameworks agénticos, revelan brechas significativas de rendimiento en ambas tareas.
Estos resultados sugieren que los sistemas actuales basados en LLM están lejos de satisfacer las demandas del análisis de datos del mundo real. DataGovBench proporciona un benchmark desafiante para avanzar en la investigación de LLMs capaces de responder consultas analíticas y descubrir insights a partir de datos.