Makalah ini menyelidiki agen model bahasa besar (LLM) deliberatif dalam tugas pengambilan keputusan bersama kooperatif yang ditandai dengan observasi parsial dan asimetris. Penulis memformalkan skenario ini sebagai masalah yang memerlukan pertukaran informasi melalui deliberasi untuk mencapai imbalan bersama.
- Memperkenalkan benchmark skalabel yang menginstansiasi masalah di berbagai pengaturan tugas dan domain.
- Menetapkan kerangka acuan dan protokol evaluasi untuk agen deliberatif.
- Melakukan evaluasi sistematis terhadap LLM perwakilan pada tugas-tugas ini.
- Menemukan bahwa kolaborasi deliberatif kompleks terus menantang model bahasa mutakhir.
- Mencatat bahwa meskipun alat matematika eksternal membantu, model masih dapat gagal dalam keselarasan atau penalaran.
- Mengungkapkan bahwa deliberasi memungkinkan refleksi dan koreksi kesalahan, kadang-kadang meningkatkan kinerja dibandingkan dengan baseline terpusat.
Karya ini menetapkan dasar untuk mengevaluasi dan meningkatkan agen LLM dalam kolaborasi deliberatif serta memberikan wawasan tentang kekuatan dan keterbatasan sistem multi-agen saat ini.