Peneliti dari Universitas Tsinghua dan Ant Group memperkenalkan IFEval++, sebuah benchmark yang dirancang untuk mengevaluasi "keandalan berorientasi nuansa" dalam model bahasa besar, mengungkapkan bahwa model saat ini mengalami kesulitan signifikan dengan variasi prompt halus meskipun memiliki skor benchmark standar yang tinggi.
- Studi ini mendefinisikan "prompt sepupu" sebagai input yang menyampaikan niat serupa tetapi berbeda dalam pengungkapan kata atau konteks, dan mengusulkan metrik reliable@k untuk mengukur konsistensi di antaranya.
- IFEval++ terdiri dari 541 kasus uji, masing-masing berisi 10 prompt sepupu yang dihasilkan melalui pipeline otomatis menggunakan parafrasa, penambahan pengalih perhatian, dan konfigurasi ulang tugas.
- Evaluasi terhadap 20 model proprietari dan 26 model sumber terbuka menunjukkan penurunan kinerja hingga 61,8% untuk Qwen3-0.6B dan 54,7% untuk GPT-3.5-turbo-1106 saat berpindah dari akurasi IFEval standar ke reliable@10 pada IFEval++.
- Bahkan model paling andal, GPT-5, mengalami penurunan keandalan sebesar 18,3% dalam kondisi bernuansa.
- Para penulis mengidentifikasi penskalaan paralel waktu pengujian melalui pengambilan penolakan sebagai metode perbaikan paling efektif, memungkinkan model yang lebih lemah seperti Qwen3-4B mengalahkan model yang lebih kuat seperti LLaMA-3.3-70B-Instruct.
Temuan ini menyoroti keandalan berorientasi nuansa sebagai kesenjangan kritis dalam kemampuan LLM saat ini dan langkah penting menuju pembangunan sistem AI yang lebih dapat diandalkan dan terpercaya.