एक रेडिट उपयोगकर्ता पूछता है कि मल्टी-टोकन प्रेडिक्शन (MTP) ऑटोरेग्रेसिव जनरेशन की विलंबता को बढ़ाए बिना उत्पन्न टोकन की दक्षता से सत्यापन कैसे करता है। पोस्टर यह समझने में संभ्रमित है कि मॉडल का अंतिम परत केवल उस चरण पर उपलब्ध जानकारी का उपयोग करके N पूर्वानुमानित टोकन की सहीता को कैसे पुष्टि कर सकता है।
- उपयोगकर्ता एक परिदृश्य का वर्णन करता है जहां MTP हेड "हरा" का अनुमान लगाते हैं जबकि सही "नीला" होना चाहिए, और पूछते हैं कि इस त्रुटि की पहली तेजी से कैसे की जाती है।
- वे नोट करते हैं कि मानक प्रीफिल कैश को भरता है, लेकिन यह निश्चित नहीं हैं कि बिना प्रत्येक टोकन को पूर्ण मॉडल गहराई से चलाए सत्यापन कैसे होता है।
- एक उद्धृत व्याख्या कारणिक ध्यान मास्क का उपयोग करने की सुझाव देती है ताकि एक बार में एक टोकन प्रीफिल किया जा सके और N टोकन के लिए प्रत्येक के लिए आउटपुट एम्बेडिंग की सत्यापन हो।
- उपयोगकर्ता इस पर चुनौती देते हुए पूछते हैं कि डिकोडर-ओनली LLM MTP हेड द्वारा किए गए काम का मूल्यांकन कैसे कर सकते हैं यदि उन्हें पहले परतों से पर्याप्त संदर्भ नहीं है।
पोस्ट में डिकोडर-ओनली आर्किटेक्चर में MTP सत्यापन के तकनीकी कार्यान्वयन के संबंध में चल रही भ्रम को उजागर किया गया है।