تكشف الأبحاث عن أن النماذج المتقدمة مثل DeepSeek V3 وKimi K2 تقوم باستدلال متعدد الخطوات على رموز حشو خالية من المحتوى دون وجود chain-of-thought مرئي. هذا يخلق حالة حدية للإشراف السلوكي حيث لا تحمل الرموز السطحية أي معلومات حول الاستدلال الأساسي.
- توجه الانتباه الأسئلة عبر مناطق الحشو إلى الإجابات، وتُظهر قراءات logit-lens استرجاع الحقائق في الطبقات المبكرة والتكوين في الطبقات المتأخرة.
- تؤدي عمليات زرع KV-cache عند مواقع الحشو إلى تبديل المخرجات بشكل سببي بين الأمثلة.
- يستعيد خط أنابيب فك التشفير غير الخاضع للإشراف القيم الوسيطة بدقة تتراوح بين 80-95% عبر أربع عائلات مهام دون تسميات ground-truth أو تدريب.
تشير النتائج إلى أن إمكانية المراقبة هي خاصية للمسار الحسابي الكامل للنموذج وليس فقط رموزه السطحية.