Evaluasi sinyal halusinasi J-Space dari Anthropic pada Qwen3-4B mengungkapkan bahwa noise workspace secara efektif mengarahkan kesalahan berkepercayaan tinggi dalam tugas pengambilan fakta, tetapi buta terhadap mitos yang terinternalisasi dan tidak kompatibel dengan penalaran matematis.
- Pada PopQA, pengarahan oleh noise workspace menangkap kesalahan dengan presisi 100%, sedangkan logprobs output menghasilkan presisi yang lebih buruk dari peluang (87,5%).
- Metrik ini runtuh pada TruthfulQA, di mana model salah 84,9% dari waktu bahkan ketika noise workspace rendah.
- Ambang batas statis yang dikalibrasi pada dataset faktual gagal pada GSM8K karena matematika langkah demi langkah adalah aktivitas berentropi tinggi secara struktural.
Penulis mencatat bahwa noise workspace mendeteksi tebakan epistemik tetapi tidak dapat mendeteksi kekeliruan ontologis, dan berencana menguji penskalaan parameter untuk menemukan di mana logprobs permukaan cocok dengan kejelasan internal.