Seorang pengguna menguji makalah Global Workspace / Jacobian Lens dari Anthropic pada beberapa model open-source, termasuk Gemma 4 dan varian Qwen, untuk mengevaluasi kegunaannya dalam mendeteksi halusinasi yang percaya diri pada inferensi lokal.
- Studi tersebut menganalisis lintasan workspace pada model Gemma E4B, 12B, 12B abliterated, 26B MoE, dan Qwen 3.6 27B menggunakan 500 pertanyaan TriviaQA per model.
- Pada model Gemma, workspace bersih berkorelasi dengan kebenaran 77% sementara yang berisik turun menjadi 42%, dengan fitur workspace mengungguli kepercayaan output saja.
- Router regresi logistik yang dilatih pada fitur lintasan workspace mencapai skor AUC tinggi untuk memprediksi jawaban salah, khususnya pada Gemma E4B (0.787 combined) dan 12B (0.843 combined).
- Pendekatan ini gagal pada Qwen 27B, di mana kepercayaan output sudah terkalibrasi dengan baik dan fitur workspace tidak memberikan manfaat tambahan.
- Model abliterated menunjukkan tingkat fabrikasi yang lebih tinggi untuk entitas palsu dibandingkan model dasar, yang menunjukkan hilangnya sinyal "saya tidak tahu".
Temuan ini menunjukkan bahwa fitur lintasan workspace Jacobian-lens dapat berfungsi sebagai sinyal risiko satu-lewat yang efektif untuk routing lokal-ke-komputer awan ketika kepercayaan output tidak terkalibrasi dengan baik.