Un usuario de Reddit pregunta cómo Multi-Token Prediction (MTP) verifica eficientemente los tokens generados sin incurrir en la latencia de la generación autoregresiva. El autor está confundido sobre cómo la última capa del modelo puede confirmar la corrección de N tokens predichos utilizando únicamente la información disponible en esa etapa.
- El usuario describe un escenario donde las cabezas MTP predicen "verde" en lugar del correcto "azul" y se pregunta cómo se detecta este error rápidamente.
- Señala que el prefill estándar llena las cachés, pero no está seguro de cómo ocurre la verificación sin pasar cada token por toda la profundidad del modelo.
- Una explicación citada sugiere usar una máscara de atención causal para hacer prefill de un token a la vez y verificar los embeddings de salida para cada uno de los N tokens.
- El usuario cuestiona esto al preguntar cómo los LLMs solo-decoder pueden juzgar el trabajo realizado por las cabezas MTP si carecen de contexto suficiente de las capas anteriores.
La publicación destaca la confusión persistente sobre la implementación técnica de la verificación de MTP en arquitecturas de solo-decoder.