Um usuário do Reddit pergunta como a Multi-Token Prediction (MTP) verifica tokens gerados de forma eficiente sem incorrer na latência da geração autoregressiva. O autor está confuso sobre como a última camada do modelo pode confirmar a correção de N tokens previstos usando apenas as informações disponíveis nessa etapa.
- O usuário descreve um cenário onde as cabeças MTP preveem "verde" em vez do correto "azul" e se pergunta como esse erro é detectado rapidamente.
- Ele observa que o pré-preenchimento padrão preenche os caches, mas não tem certeza de como a verificação ocorre sem passar cada token pela profundidade completa do modelo.
- Uma explicação citada sugere usar uma máscara de atenção causal para pré-preencher um token por vez e verificar os embeddings de saída para cada um dos N tokens.
- O usuário desafia isso ao perguntar como LLMs apenas-decoder podem julgar o trabalho feito pelas cabeças MTP se elas não tiverem contexto suficiente das camadas anteriores.
A postagem destaca a confusão persistente em relação à implementação técnica da verificação do MTP em arquiteturas apenas-decoder.