Para penulis memperkenalkan Incognita, sebuah framework berbasis Concordia yang memisahkan interaksi sosial dari eksekusi grounded untuk mengevaluasi bagaimana agen generatif menangani pengetahuan yang terpartisi di antara peserta yang terisolasi berdasarkan peran. Sistem ini mengarahkan pesan ke entitas spesialis yang memediasi operasi dalam sub-lingkungan deterministik, memungkinkan penilaian komunikasi sebagai eksplorasi dan tindakan sebagai eksploitasi.
- Incognita-Retail mengubah tau-bench retail menjadi lingkungan multi-entitas sambil mempertahankan semantik reward keadaan akhir.
- Tiga model agen generatif dievaluasi pada 18 tugas yang terstratifikasi berdasarkan lebar sosial di seluruh 540 percobaan.
- Tingkat keberhasilan meningkat dari 0% menjadi 8,9% dan 17,2%, sementara finalisasi prematur menurun dari 100% menjadi 87% dan 58%.
- Model yang lebih kuat memicu lebih banyak pengetahuan tersembunyi, menghubungi lebih banyak entitas, dan mencoba lebih banyak penulisan grounded, meskipun keandalan tetap rendah.
Temuan ini menunjukkan bahwa lingkungan tugas yang terdistribusi secara sosial mengekspos perilaku agen kritis seperti ekstraksi pengetahuan, pemilihan sumber, dan keyakinan penyelesaian prematur sebelum keberhasilan yang andal tercapai.