Пользователь Reddit спрашивает, как Multi-Token Prediction (MTP) эффективно проверяет сгенерированные токены без увеличения задержки, характерной для авторегрессионного генерирования. Автор поста не понимает, как последний слой модели может подтвердить правильность N предсказанных токенов, используя только информацию, доступную на этом этапе.

  • Пользователь описывает сценарий, где головы MTP предсказывают «зелёный» вместо правильного «синего», и задаётся вопросом, как эта ошибка быстро обнаруживается.
  • Он отмечает, что стандартный префилл заполняет кэши, но не уверен, как происходит верификация без пропускания каждого токена через всю глубину модели.
  • Приведённое объяснение предполагает использование причинной маски внимания для последовательного префилла одного токена за раз и проверки выходных эмбеддингов для каждого из N токенов.
  • Пользователь ставит под сомнение это, спрашивая, как декодеры-only LLM могут оценивать работу голов MTP, если у них недостаточно контекста из предыдущих слоёв.

Пост подчеркивает сохраняющуюся путаницу относительно технической реализации верификации MTP в архитектурах с одними только декодерами.