DataGovBench 针对现实世界数据复杂性对 LLM 进行基准测试

当前用于评估大型语言模型 (LLM) 在数据分析中表现的标准往往未能反映真实场景，它们侧重于从小型表格中检索事实，而忽视了诸如大型多表数据集和探索性洞察发现等挑战。为了解决这个问题，作者引入了 DataGovBench，这是一个源自政府开放数据的基准测试，旨在评估 LLM 在实际场景中的表现。

• Table QA 任务要求解决复杂的可分解问题，并生成文本答案或可视化结果。
• Table Insight 任务评估模型通过探索性数据分析生成专家级发现的能力。
• 对最先进的 LLM（包括有和没有智能体框架的情况）进行的综合实验揭示了这两项任务中存在的显著性能差距。

这些结果表明，基于 LLM 的当前系统距离满足现实世界数据分析的需求还有很大差距。DataGovBench 提供了一个具有挑战性的基准测试，以推动能够回答分析查询并从数据中发现洞察的 LLM 研究。