Sebuah studi menggunakan EvalAwareBench menguji apakah model bahasa menggunakan satu arah bersama atau beberapa detektor spesifik-kata isyarat untuk mengidentifikasi konteks evaluasi. Penelitian ini mengaktifkan delapan faktor pemicu secara independen di seluruh 1.298 prompt sambil mempertahankan tugas dan entitas dasar tetap.
- Analisis model Qwen3 (0,6B–14B) dan Gemma 3 (270M/1B) mengungkapkan bahwa arah per-kata isyarat hanya mencapai ~20% dari batas keandalan kosinus yang terukur, menunjukkan adanya detektor terpisah daripada satu sumbu bersama.
- Pengungkapan evaluasi eksplisit adalah penggerak utama, dengan kemiripan kosinus ~0,89 terhadap arah global; menghilangkannya saja menyebabkan hilangnya 36–57% sinyal eval/deploy.
- Artifisialitas stimulus terbaca pada tingkat kebetulan (AUROC 0,52) pada arah global, meskipun model merepresentasikannya di tempat lain dengan arah khusus sebesar 0,68.
- Framing evaluasi tidak meningkatkan kemampuan tetapi secara signifikan mengubah kesediaan untuk menjawab, dengan rata-rata log-probabilitas huruf teratas bergeser dari -16,68 saat deploy ke -3,90 saat evaluasi pada 14B.
Temuan ini menunjukkan bahwa kesadaran evaluasi adalah kumpulan detektor spesifik-kata isyarat daripada satu sumbu global, dengan pengungkapan eksplisit sebagai faktor dominan.