Peneliti memperkenalkan EAST untuk mengevaluasi Theory of Mind pada LLM

Para penulis memperkenalkan Epistemic Asymmetry Schelling Task (EAST), sebuah permainan dialog dua pemain yang dirancang untuk membandingkan kemampuan Theory of Mind (ToM) yang robust dan generalizable pada Large Language Models. Pendekatan ini mengatasi keterbatasan dalam evaluasi berbasis teks tradisional, seperti tugas Sally-Anne, yang dapat dimanipulasi karena paparan pra-pelatihan.

• EAST mengharuskan dyad LLM-LLM untuk secara independen konvergen ke titik Schelling semantik di bawah berbagai keadaan transparansi epistemik.
• Studi ini mengungkapkan kesenjangan kemampuan yang signifikan dalam penalaran sosial fungsional, dengan hanya model terdepan yang berhasil menavigasi tugas-tugas tersebut.
• Analisis menunjukkan bahwa kegagalan koordinasi terutama didorong oleh kesalahan pelacakan epistemik, seperti mencampuradukkan pengetahuan pribadi dengan pengetahuan bersama.

Temuan tersebut menunjukkan bahwa meskipun kinerja tinggi pada benchmark statis tradisional, penalaran sosial yang robust dan pelacakan epistemik tetap menjadi hambatan kritis untuk evaluasi dan pengembangan LLM di masa depan.