शोधकर्ताओं ने LOTUS पेश किया, एक विधि जो hidden states में multi-step reasoning करने के लिए looped padded Transformers का उपयोग करती है, 3B पैरामीटर स्केल पर latent और explicit chain-of-thought के बीच प्रदर्शन अंतर को प्रभावी ढंग से कम करती है। मॉडल R पुनरावृत्तियों में K latent ब्लॉकों को समानांतर में संसाधित करता है, gold CoT-step tokens पर cross-entropy loss के साथ।
- LOTUS 3B स्केल पर explicit CoT प्रदर्शन से मेल खाने वाला पहला latent-CoT विधि है।
- यह token-by-token जनरेशन की तुलना में thought-phase latency को 2.5x से 6.9x तक कम करता है।
- base LM head के माध्यम से post-loop latents को प्रोजेक्ट करने से gold reasoning steps पुनर्प्राप्त होते हैं और वैध intermediate steps उजागर होते हैं।
- Ablations पुष्टि करते हैं कि इस प्रदर्शन के लिए looped backbone और gold CoT tokens पर parallel supervision दोनों आवश्यक हैं।
यह दृष्टिकोण दिखाता है कि latent spaces interpretable और CoT-aligned हो सकते हैं, जटिल reasoning कार्यों के लिए explicit token generation की तुलना में अधिक कुशल विकल्प प्रदान करते हैं।