शोध से पता चलता है कि DeepSeek V3 और Kimi K2 जैसे फ्रंटियर मॉडल दृश्यमान चेन-ऑफ़-थॉट के बिना, सामग्री-रहित फिलर टोकन पर बहु-चरण तर्क का प्रदर्शन करते हैं। यह एक व्यवहारिक अवहेलना सीमा मामला बनाता है जहाँ सतही टोकन अंतर्निहित तर्क के बारे में कोई जानकारी नहीं लाते हैं।
- ध्यान फिलर क्षेत्रों के माध्यम से प्रश्नों को उत्तरों की ओर रूट करता है, जिसमें लॉगिट-लेंस रीडआउट शुरुआती परतों में तथ्य पुनर्प्राप्ति और देरी परतों में संयोजन दिखाते हैं।
- फिलर स्थानों पर KV-cache प्रत्यारोपण उदाहरणों के बीच आउटपुट को कारणवश बदल देते हैं।
- एक अनादेक्षिक डीकोडिंग पाइपलाइन बिना ground-truth लेबल या प्रशिक्षण के चार कार्य परिवारों में 80-95% सटीकता के साथ मध्यवर्ती मानों को पुनः प्राप्त करती है।
यह निष्कर्ष सुझाव देते हैं कि मॉनिटरएबिलिटी मॉडल के पूर्ण कंप्यूटेशनल ट्रैस का एक गुण है, न कि केवल इसके सतही टोकन का।