Para peneliti memperkenalkan PolyWorkBench, sebuah benchmark yang dirancang untuk mengevaluasi agen model bahasa besar pada alur kerja tempat kerja multibahasa jangka panjang. Ini mengatasi kesenjangan dalam benchmark yang ada yang biasanya mengasumsikan pengaturan monolingual, sedangkan aplikasi dunia nyata sering melibatkan input dan output campuran bahasa.
- Benchmark ini terdiri dari 67 tugas di lima domain: perdagangan, pekerjaan pengetahuan, analisis hukum, lokalisasi, dan manufaktur.
- Agen diminta untuk memproses input multibahasa heterogen, melakukan penalaran iteratif, memanggil alat eksternal, dan menghasilkan output terstruktur.
- Evaluasi memanfaatkan kerangka kerja hibrida yang menggabungkan penilaian struktural, verifikasi eksekusi, dan penilaian semantik berbasis LLM.
- Hasil empiris menunjukkan bahwa agen LLM mutakhir mengalami penurunan kinerja signifikan dalam pengaturan multibahasa dibandingkan dengan pengaturan monolingual.
Analisis menunjukkan bahwa multibahasa memperkenalkan efek kompaun pada langkah penalaran dan eksekusi, menyoroti perlunya pemodelan bersama variasi bahasa dan pengambilan keputusan prosedural.