Les chercheurs présentent CDR-Bench, un benchmark conçu pour évaluer si les grands modèles de langage peuvent exécuter directement et fidèlement des recettes de raffinement de données multi-étapes où la composition et l'ordre sont importants. Le benchmark comprend 3 462 tâches sur quatre domaines et 29 opérateurs, utilisant des sorties de référence déterministes pour une évaluation exacte.
- Les expériences sur plus de 10 LLM de pointe montrent des schémas d'échec cohérents dans les contextes compositionnels.
- Les performances se dégradent fortement lorsque les tâches nécessitent une composition, et les taux de réussite pour les recettes sensibles à l'ordre s'effondrent.
- Le benchmark isole l'édition de texte de l'exécution de code pour tester spécifiquement la fidélité procédurale.
Ces résultats indiquent que les modèles actuels manquent de la fidélité procédurale nécessaire pour un raffinement de données compositionnelles fiable.