Un utilisateur de Reddit demande comment la prédiction multi-jeton (MTP) vérifie efficacement les jetons générés sans entraîner la latence de la génération autoregressive. L'auteur du message est confus quant à la façon dont la dernière couche du modèle peut confirmer l'exactitude des N jetons prédits en utilisant uniquement les informations disponibles à ce stade.
- L'utilisateur décrit un scénario où les têtes MTP prévoient "green" au lieu de "blue" correct et s'interroge sur la détection rapide de cette erreur.
- Il note que le prefill standard remplit les caches, mais ignore comment la vérification se produit sans faire passer chaque jeton à travers toute la profondeur du modèle.
- Une explication citée suggère d'utiliser un masque d'attention causal pour préremplir un jeton à la fois et vérifier les embeddings de sortie pour chacun des N jetons.
- L'utilisateur conteste cela en demandant comment les LLM uniquement décodeur peuvent juger le travail effectué par les têtes MTP s'ils manquent de contexte suffisant des couches précédentes.
Le post met en évidence la confusion persistante concernant l'implémentation technique de la vérification MTP dans les architectures uniquement décodeur.