研究人员推出了 CDR-Bench，这是一个旨在评估大型语言模型能否直接且忠实地执行多步数据精炼配方的基准测试，其中组合和顺序至关重要。该基准测试涵盖四个领域中的 3,462 项任务和 29 个运算符，并使用确定性参考输出进行精确评估。
- 在超过 10 个最先进的 LLM 上的实验显示，在组合设置中存在一致的失败模式。
- 当任务需要组合时，性能急剧下降，且对顺序敏感的配方的成功率崩溃。
- 该基准测试将文本编辑与代码执行隔离开来，以专门测试过程忠实度。
这些发现表明，当前模型缺乏可靠组合式数据精炼所需的必要过程忠实度。