Sebuah studi mengevaluasi enam model bahasa frontier pada tugas komunikasi dua agen di mana penanya mengidentifikasi target dari N paragraf Wikipedia menggunakan tepat log2(N) pertanyaan ya/tidak. Eksperimen ini menjalankan 408 permainan di atas kumpulan dokumen berukuran 4 hingga 1024 paragraf, yang mengungkapkan disparitas kinerja signifikan di antara model-model yang diuji.
- Claude Opus hanya menang dalam 28 dari 68 permainan, sementara GLM-5.3, GPT-5.6 Sol, Grok 4.6, Gemini 3.8 Flash, dan Kimi K3 mencapai tingkat kemenangan antara 45% dan 56%.
- Lima model teratas menunjukkan penurunan tingkat kemenangan seiring ukuran kumpulan (r=-0.973), sesuai dengan rumus win=p^(log2 N) dengan p=0.928.
- Kesalahan dibagi rata antara kesalahan jawaban dan kegagalan diskriminasi, dengan Claude Opus membuat 32 dari 34 kesalahan mutlak dengan menjawab "Tidak" secara salah.
- Informasi per pertanyaan berkorelasi positif dengan tingkat kemenangan (r=+0.88), dan hanya dua model yang mengekstrak satu bit penuh per pertanyaan dengan mempartisi berdasarkan judul dokumen.
- Pengeluaran token penalaran bervariasi 4.5x di antara model tetapi menunjukkan sedikit hubungan dengan keberhasilan, karena pertumbuhan jejak tidak sesuai dengan peningkatan keandalan.
Hasilnya menunjukkan bahwa meskipun sebagian besar model terdepan dapat dipisahkan secara marginal dalam pengaturan informasi asimetris ini, Claude Opus secara signifikan mengalami kinerja di bawah rata-rata dibandingkan rekan-rekannya.