Исследователи представляют CDR-Bench, бенчмарк, предназначенный для оценки способности больших языковых моделей напрямую и точно выполнять многоэтапные рецепты обработки данных, где важны композиция и порядок. Бенчмарк включает 3462 задачи в четырех областях с использованием 29 операторов и детерминированных эталонных ответов для точной оценки.

  • Эксперименты над более чем 10 современными LLM выявили устойчивые паттерны неудач в композиционных условиях.
  • Производительность резко падает, когда задачи требуют композиции, а показатели успеха для рецептов, чувствительных к порядку, рушатся.
  • Бенчмарк изолирует редактирование текста от выполнения кода, чтобы специально проверить процедурную точность.

Эти результаты указывают на то, что текущие модели не обладают необходимой процедурной точностью для надежной композиционной обработки данных.