قام مستخدم باختبار ورقة Global Workspace / Jacobian Lens الخاصة بـ Anthropic على عدة نماذج مفتوحة المصدر، بما في ذلك Gemma 4 ومتغيرات Qwen، لتقييم فائدتها في اكتشاف الهلوسات المتحملة للثقة أثناء الاستدلال المحلي.
- حللت الدراسة مسارات مساحة العمل عبر نماذج Gemma E4B و12B و12B abliterated و26B MoE وQwen 3.6 27B باستخدام 500 سؤال من TriviaQA لكل نموذج.
- على نماذج Gemma، ارتبطت مساحات العمل النظيفة بصحة بنسبة 77% بينما انخفضت المساحات ذات الضوضاء إلى 42%， مع تفوق سمات مساحة العمل على ثقة المخرجات وحدها.
- حقق موجه الانحدار اللوجستي المدرب على سمات مسار مساحة العمل درجات AUC عالية للتنبؤ بالإجابات الخاطئة، لا سيما على Gemma E4B (0.787 combined) و12B (0.843 combined).
- فشلت هذه الطريقة على Qwen 27B، حيث كانت ثقة المخرجات معايرة جيدًا بالفعل ولم تقدم سمات مساحة العمل أي فائدة إضافية.
- أظهرت النماذج abliterated معدلات تصنيع أعلى للكيانات الوهمية مقارنة بالنماذج الأساسية، مما يشير إلى فقدان إشارات "لا أعرف".
تشير النتائج إلى أن سمات مسار مساحة العمل باستخدام عدسة جاكوبيان يمكن أن تعمل كإشارة خطر ذات مرور واحد فعالة لتوجيه من المحلي إلى السحابي عندما تكون ثقة المخرجات غير معايرة بشكل صحيح.