データ分析における大規模言語モデル（LLM）の評価のための現在のベンチマークは、小規模な表からの事実取得に焦点を当て、大規模な多表データセットや探索的インサイト発見のような課題を見落としているため、実世界の状況を十分に反映していない。これに対処するため、著者はDataGovBenchを導入した。これは政府のオープンデータ由来のベンチマークで、実践的なシナリオにおけるLLMの評価を目的としている。

  • 表QAタスクは、複雑な分解可能な質問を解き、テキスト回答や可視化を生成することを要求する。
  • 表インサイトタスクは、モデルが探索的データ分析を通じて専門家レベルの知見を生成する能力を評価する。
  • エージェントフレームワークの有無にかかわらず、最先端のLLMを用いた包括的な実験により、両タスクで顕著なパフォーマンスのギャップが明らかになった。

これらの結果は、現在のLLMベースのシステムが実世界のデータ分析の要件を満たすほど遠いことを示唆している。DataGovBenchは、分析クエリへの回答とデータからのインサイト発見の両方に対応できるLLMに関する研究を推進するための挑戦的なベンチマークを提供する。