Pesquisadores apresentam o CDR-Bench, um benchmark projetado para avaliar se grandes modelos de linguagem podem executar diretamente e com fidelidade receitas de refinamento de dados multi-etapas onde a composição e a ordem são importantes. O benchmark apresenta 3.462 tarefas em quatro domínios e 29 operadores, usando saídas de referência determinísticas para avaliação exata.
- Experimentos em mais de 10 LLMs state-of-the-art mostram padrões de falha consistentes em configurações composicionais.
- O desempenho degrada-se acentuadamente quando as tarefas exigem composição, e as taxas de sucesso para receitas sensíveis à ordem colapsam.
- O benchmark isola a edição de texto da execução de código para testar especificamente a fidelidade procedimental.
Esses achados indicam que os modelos atuais carecem da fidelidade procedimental necessária para o refinamento de dados composicional confiável.