Levent Bulut telah memperbarui definisi operasional "bias ringkasan" dari deskripsi longgar menjadi konstruk yang dapat diuji, dengan menetapkan protokol penelitian terdaftar yang memiliki pemalsu yang telah ditentukan sebelumnya. Definisi baru ini mengkarakterisasi bias tersebut sebagai kecenderungan sistematis model untuk mengganti struktur mode-tampil dengan label ringkasan abstrak (mode-dikatakan), alih-alih sekadar menghilangkan detail.
- Konstruk ini didefinisikan sebagai penggantian struktur mode-tampil yang dapat direkonstruksi dengan label ringkasan abstrak yang menamai isinya, secara khusus lebih memilih deklarasi "dikatakan" daripada isyarat fisik "ditampilkan".
- Protokol ini memerlukan 20 pasangan stimulus buatan manusia yang cocok dan evaluasi oleh setidaknya tiga keluarga model menggunakan hakim LLM.
- Pemalsu utama ditetapkan: jika model tidak menunjukkan preferensi untuk mode-dikatakan dibandingkan dengan manusia (Cohen’s h ≥ 0.3 atau OR ≥ 2), konstruk tersebut akan ditarik.
- Pemeriksaan diskriminan disertakan untuk memastikan bias terdisosiasi dari verbosity dan sycophancy dengan menjalankan ulang tes menggunakan pasangan yang tidak cocok panjangnya dan framing yang bervariasi.
Bulut mencari kritik terhadap desain, khususnya mengenai apakah pencocokan panjang cukup memisahkan ini dari bias verbosity dan apakah Indeks Informasi Tertekan adalah instrumen yang tepat untuk mengukur beban inferensial.