تكشف تقييم لإشارة هلوسة J-Space من Anthropic على نموذج Qwen3-4B أن ضوضاء مساحة العمل توجه بشكل فعال الأخطاء عالية الثقة في مهام استرجاع الحقائق، لكنها عمياء تجاه الأساطير المتأصلة وغير متوافقة مع الاستدلال الرياضي.
- على PopQA، التقط التوجيه بواسطة ضوضاء مساحة العمل الأخطاء بدقة 100%، بينما أعطت logprobs للإخراج دقة أسوأ من الصدفة (87.5%).
- انهارت المقياس على TruthfulQA، حيث كان النموذج مخطئًا في 84.9% من الأحيان حتى عندما كانت ضوضاء مساحة العمل منخفضة.
- فشلت العتبات الثابتة المعايرة على مجموعات البيانات الواقعية على GSM8K لأن الرياضيات خطوة بخطوة هي نشاط عالي الإنتروبيا هيكلياً.
يلاحظ المؤلف أن ضوضاء مساحة العمل تكتشف التخمين المعرفي لكنها لا تستطيع اكتشاف الباطل الوجودي، ويخطط لاختبار قياس المعلمات للعثور على النقطة التي تتطابق فيها logprobs السطحية مع الوضوح الداخلي.