يسأل مستخدم رديت كيف تتحقق التنبؤ متعدد الرموز (MTP) من الرموز المولدة بكفاءة دون تكبد تأخير التوليد الذاتي الانحداري. الكاتب حائر حول كيفية تأكيد الطبقة الأخيرة للنموذج صحة الـ N رمزًا المتوقعة باستخدام المعلومات المتاحة فقط في تلك المرحلة.
- يصف المستخدم سيناريو تتوقع فيه رؤوس MTP "green" بدلاً من "blue" الصحيحة ويتساءل كيف يتم اكتشاف هذا الخطأ بسرعة.
- يلاحظ أن التعبئة المسبقة القياسية تملئ المخازن المؤقتة، لكنه غير متأكد كيف يحدث التحقق دون تمرير كل رمز عبر عمق النموذج الكامل.
- تقترح شرحًا مستشهدًا به استخدام قناع انتباه سببي لتعبئة رمز واحد في كل مرة والتحقق من تضمينات الإخراج لكل من الـ N رموز.
- يتحدى المستخدم هذا بالسؤال عن كيفية قدرة نماذج اللغة فقط بالمفكك (decoder-only LLMs) على الحكم على العمل الذي أنجزته رؤوس MTP إذا كانت تفتقر إلى السياق الكافي من الطبقات السابقة.
يبرز المنشور الارتباك المستمر بشأن التنفيذ التقني للتحقق من MTP في الهياكل التي تعتمد فقط على المفكك.