데이터 분석에서 대규모 언어 모델(LLM)을 평가하기 위한 현재 벤치마크는 작은 표에서의 사실 검색에 초점을 맞추고 대규모 다중 표 데이터셋 및 탐색적 인사이트 발견과 같은 과제를 간과하여 실제 환경을 충분히 반영하지 못합니다. 이를 해결하기 위해 저자들은 DataGovBench를 도입했으며, 이는 정부 공개 데이터를 기반으로 한 벤치마크로 실용적인 시나리오에서 LLM을 평가하는 것을 목표로 합니다.

  • 표 QA 작업은 복잡한 분해 가능한 질문을 해결하고 텍스트 답변 또는 시각화를 생성해야 합니다.
  • 표 인사이트 작업은 모델이 탐색적 데이터 분석을 통해 전문가 수준의 발견을 생성할 수 있는 능력을 평가합니다.
  • 에이전트 프레임워크 유무에 관계없이 최신 LLM을 사용한 포괄적인 실험 결과, 두 작업 모두에서 상당한 성능 격차가 드러났습니다.

이러한 결과는 현재 LLM 기반 시스템이 실제 데이터 분석의 요구사항을 충족하기에는 아직 멀었음을 시사합니다. DataGovBench는 분석 쿼리 답변 및 데이터에서 인사이트 발견 능력을 갖춘 LLM 연구를 발전시키기 위한 도전적인 벤치마크를 제공합니다.