Текущие бенчмарки для оценки больших языковых моделей (LLM) в задачах анализа данных часто не отражают реальные условия, фокусируясь на извлечении фактов из небольших таблиц и игнорируя такие проблемы, как работа с большими мульти-табличными наборами данных и поиск исследовательских инсайтов. Чтобы решить эту проблему, авторы представляют DataGovBench — бенчмарк, созданный на основе открытых правительственных данных для оценки LLM в практических сценариях.

  • Задача Table QA требует решения сложных разлагаемых вопросов и предоставления текстовых ответов или визуализаций.
  • Задача Table Insight оценивает способность моделей генерировать экспертные выводы через исследовательский анализ данных.
  • Комплексные эксперименты с современными LLM, как с использованием агентных фреймворков, так и без них, выявляют значительные пробелы в производительности по обеим задачам.

Эти результаты показывают, что текущие системы на основе LLM всё ещё далеки от удовлетворения требований реального аналитического анализа данных. DataGovBench предоставляет сложный бенчмарк для продвижения исследований LLM, способных как отвечать на аналитические запросы, так и находить инсайты из данных.