Benchmark saat ini untuk mengevaluasi Large Language Models (LLM) dalam analisis data sering gagal mencerminkan pengaturan dunia nyata dengan berfokus pada pengambilan fakta dari tabel kecil sambil mengabaikan tantangan seperti dataset multi-tabel besar dan penemuan wawasan eksploratif. Untuk mengatasi hal ini, para penulis memperkenalkan DataGovBench, sebuah benchmark yang berasal dari data terbuka pemerintah yang dirancang untuk mengevaluasi LLM dalam skenario praktis.
- Tugas Table QA memerlukan penyelesaian pertanyaan kompleks yang dapat diuraikan dan menghasilkan jawaban teks atau visualisasi.
- Tugas Table Insight mengevaluasi kemampuan model untuk menghasilkan temuan tingkat ahli melalui analisis data eksploratif.
- Eksperimen komprehensif dengan LLM state-of-the-art, baik dengan maupun tanpa framework agentic, mengungkapkan kesenjangan kinerja yang signifikan di kedua tugas.
Hasil-hasil ini menunjukkan bahwa sistem berbasis LLM saat ini masih jauh dari memenuhi tuntutan analitik data dunia nyata. DataGovBench menyediakan benchmark yang menantang untuk memajukan penelitian tentang LLM yang mampu menjawab kueri analitis dan menemukan wawasan dari data.