Peneliti memperkenalkan CDR-Bench, sebuah benchmark yang dirancang untuk mengevaluasi apakah model bahasa besar dapat mengeksekusi resep penyempurnaan data multi-langkah secara langsung dan setia di mana komposisi dan urutan penting. Benchmark ini menampilkan 3.462 tugas di empat domain dan 29 operator, menggunakan output referensi deterministik untuk evaluasi tepat.
- Eksperimen pada lebih dari 10 LLM state-of-the-art menunjukkan pola kegagalan yang konsisten dalam pengaturan komposisi.
- Kinerja menurun tajam ketika tugas memerlukan komposisi, dan tingkat keberhasilan untuk resep sensitif urutan runtuh.
- Benchmark ini mengedit teks dari eksekusi kode secara terpisah untuk secara khusus menguji kesetiaan prosedural.
Temuan ini menunjukkan bahwa model saat ini kurang memiliki kesetiaan prosedural yang diperlukan untuk penyempurnaan data komposisi yang andal.