一位Reddit用户询问Multi-Token Prediction (MTP)如何在不承担自回归生成延迟的情况下高效地验证生成的token。发帖人对模型的最后一层如何仅利用该阶段可用的信息来确认N个预测token的正确性感到困惑。

  • 用户描述了一种情况，其中MTP头预测了错误的“绿色”而非正确的“蓝色”，并想知道这一错误是如何被快速检测到的。
  • 他指出标准预填充会填充缓存，但不确定在不将每个token通过完整模型深度的情况下如何进行验证。
  • 引用的一种解释建议使用因果注意力掩码一次预填充一个token，并为这N个token中的每一个验证输出嵌入。
  • 用户对此提出挑战，询问如果解码器-only LLM缺乏来自早期层的足够上下文，它们如何判断MTP头所做的工作。

该帖子突显了关于仅解码器架构中MTP验证技术实现的持续困惑。