Qwen3-4B पर Anthropic के J-Space हैलुसिनेशन सिग्नल का एक मूल्यांकन यह दर्शाता है कि वर्कस्पेस शोर तथ्य-प्राप्ति कार्यों में उच्च-विश्वास वाली त्रुटियों को प्रभावी ढंग से रूट करता है, लेकिन आंतरिकृत मिथकों के लिए अंधा है और गणितीय तर्क के साथ असंगत है।
- PopQA पर, वर्कस्पेस शोर द्वारा रूटिंग ने 100% सटीकता के साथ त्रुटियों को पकड़ा, जबकि आउटपुट logprobs ने मौके से भी खराब सटीकता (87.5%) दी।
- मेट्रिक TruthfulQA पर ढह गया, जहां मॉडल 84.9% समय गलत था भले ही वर्कस्पेस शोर कम था।
- तथ्यात्मक डेटासेट पर कैलिब्रेटेड स्थिर थ्रेशोल्ड GSM8K पर टूट गए क्योंकि चरण-दर-चरण गणना एक संरचनात्मक रूप से उच्च-एंट्रॉपिक गतिविधि है।
लेखक नोट करते हैं कि वर्कस्पेस शोर ज्ञानवादी अनुमान का पता लगा सकता है लेकिन अस्तित्ववादी असत्य का नहीं, और सतही logprobs आंतरिक स्पष्टता से मेल खाते हैं यह खोजने के लिए पैरामीटर स्केलिंग का परीक्षण करने की योजना बना रहे हैं।