研究者らは、大規模言語モデルが多成分性と順序が重要な多段階データ精製レシピを直接的かつ忠実に実行できるかどうかを評価するために設計されたベンチマークであるCDR-Benchを発表した。このベンチマークは4つのドメインと29の演算子にわたる3,462のタスクを含み、正確な評価のために決定論的な参照出力を使用している。

  • 10以上の最先端LLMでの実験は、構成された設定で一貫した失敗パターンを示している。
  • タスクに構成が必要になるとパフォーマンスが急激に低下し、順序依存レシピの成功率は崩壊する。
  • このベンチマークは、手続き型の忠実性を特にテストするために、テキスト編集とコード実行を分離している。

これらの知見は、現在のモデルが信頼性の高い構成されたデータ精製に必要な手続き型の忠実性を欠いていることを示している。