Los investigadores presentan CDR-Bench, un benchmark diseñado para evaluar si los modelos de lenguaje grandes pueden ejecutar directamente y con fidelidad recetas de refinamiento de datos multi-etapa donde la composición y el orden son importantes. El benchmark presenta 3.462 tareas en cuatro dominios y 29 operadores, utilizando salidas de referencia deterministas para una evaluación exacta.

  • Los experimentos en más de 10 LLMs de última generación muestran patrones de fallo consistentes en entornos composicionales.
  • El rendimiento se degrada drásticamente cuando las tareas requieren composición, y las tasas de éxito para recetas sensibles al orden colapsan.
  • El benchmark aísla la edición de texto de la ejecución de código para probar específicamente la fidelidad procedimental.

Estos hallazgos indican que los modelos actuales carecen de la fidelidad procedimental necesaria para un refinamiento de datos composicional fiable.